Daniel HESSLOW : "Facteurs limitants pour la poursuite de l’escalade des Grands Modèles Linguistiques"s

Résumé : Depuis leur création, les ordinateurs comprennent les langages de programmation structurés mais ont du mal à saisir les langues naturelles humaines. Pour exploiter pleinement la puissance informatique, il est essentiel que les humains et les machines partagent un langage commun.Traditionnellement, l'approche consistait à comprendre la communication humaine et à coder cette connaissance dans des systèmes experts. Cependant, une nouvelle méthode prometteuse a émergé : laisser les machines apprendre directement du texte écrit sans supervision. Ce paradigme place l'apprentissage automatique dans un nouveau contexte. Alors que les techniques précédentes visaient à éviter le surapprentissage sur de petits ensembles de données, nous disposons désormais de données couvrant une grande partie des écrits humains. L'accent est maintenant mis sur l'efficacité et la scalabilité. Contrairement à l'idée que l'augmentation de la taille des données et des modèles produirait des rendements décroissants, les preuves montrent des améliorations constantes des performances des modèles. La principale limitation est liée aux ressources informatiques et à la disponibilité des données. Dans cette thèse, nous explorons comment repousser les limites du traitement du langage naturel avec les grands modèles de langage. Nous examinons le matériel, la conception des architectures et les techniques de traitement des données. Nous montrons finalement comment ces éléments se combinent dans l'entraînement de plusieurs grands modèles, culminant avec Falcon 180B, surpassé seulement par GPT-4 à sa sortie.

Composition du jury : 

Daniel BRUNNER, CNRS Researcher, Université Bourgogne Franche-Comté, Directeur de thèse

Benoît SAGOT, Directeur de recherche, INRIA, Rapporteur

Joni DAMBRE, Professeur, Ghent University, Rapporteur

Marc LELARGE, Professeure chargée de cours, Ecole Polytechnique & INRIA, Examinateur

Laurent DAUDET, Professeur, Paris Cité University, CoDirecteur de thèse

Localisation : salle Amphithéâtre Jean-Jacques Gagnepain - Institut FEMTO-ST 15B, avenue des Montboucons