Language Models are Few-Shot Learners

Tom B. Brown; Benjamin Mann; Nick Ryder; Melanie Subbiah; Jared Kaplan; Prafulla Dhariwal; Arvind Neelakantan; Pranav Shyam; Girish Sastry; Amanda Askell; Sandhini Agarwal; Ariel Herbert-Voss; Gretchen Krueger; Tom Henighan; Rewon Child; Aditya Ramesh; Daniel M. Ziegler; Jeffrey Wu; Clemens Winter; Christopher Hesse; Mark Chen; Eric Sigler; Mateusz Litwin; Scott Gray; Benjamin Chess; Jack Clark; Christopher Berner; Sam McCandlish; Alec Radford; Ilya Sutskever; Dario Amodei

Articles · arXiv 2005.14165

Language Models are Few-Shot Learners

Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss et al.

Publié le 2020-05-28cs.CL arXiv PDF

Lire avec traduction et IA

Résumé en trois lignes

🎯 Les modèles de TAL standards dépendent d'un fine-tuning spécifique sur des milliers d'exemples étiquetés, risquant une mauvaise généralisation hors distribution.
🔧 Entraîner GPT-3 (jusqu'à 175 Mrd de paramètres) sur 300 Mrd de tokens et l'évaluer par conditionnement de prompts in-context sans aucune mise à jour des poids.
📈 En configuration few-shot, GPT-3 175B égale ou approche les modèles avec fine-tuning, atteignant 71,2 % sur TriviaQA et 86,4 % de précision sur LAMBADA.

Résumé

Des travaux récents ont démontré des gains substantiels sur de nombreuses tâches et bancs d'essai de TAL grâce au pré-entraînement sur un vaste corpus de texte suivi d'un fine-tuning sur une tâche spécifique. Bien que généralement agnostique vis-à-vis de la tâche dans son architecture, cette méthode requiert toujours des jeux de données de fine-tuning spécifiques comprenant des milliers ou des dizaines de milliers d'exemples. En revanche, les humains peuvent généralement accomplir une nouvelle tâche linguistique à partir de seulement quelques exemples ou d'instructions simples — ce que les systèmes de TAL actuels peinent encore largement à faire. Nous montrons ici que l'augmentation de l'échelle des modèles de langue améliore grandement les performances few-shot et agnostiques à la tâche, atteignant parfois un niveau compétitif avec les approches antérieures de fine-tuning à l'état de l'art. Plus précisément, nous entraînons GPT-3, un modèle de langue autorégressif de 175 milliards de paramètres, soit 10 fois plus que tout modèle de langue non creux antérieur, et nous testons ses performances en configuration few-shot. Pour toutes les tâches, GPT-3 est appliqué sans aucune mise à jour de gradients ni fine-tuning, les tâches et les démonstrations few-shot étant spécifiées uniquement via une interaction textuelle avec le modèle. GPT-3 obtient de solides performances sur de nombreux jeux de données de TAL, incluant la traduction, les questions-réponses et les tâches de cloze, ainsi que sur plusieurs tâches nécessitant un raisonnement à la volée ou une adaptation de domaine, comme le déchiffrage d'anagrammes, l'utilisation d'un mot nouveau dans une phrase ou l'arithmétique à 3 chiffres. Dans le même temps, nous identifions également certains jeux de données où l'apprentissage few-shot de GPT-3 éprouve encore des difficultés, ainsi que d'autres où GPT-3 fait face à des problèmes méthodologiques liés à l'entraînement sur de grands corpus issus du web. Enfin, nous constatons que GPT-3 peut générer des échantillons d'articles de presse que des évaluateurs humains peinent à distinguer d'articles rédigés par des humains. Nous discutons des impacts sociétaux plus larges de ce résultat et de GPT-3 en général.

Résumé original (anglais)

Recent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task. While typically task-agnostic in architecture, this method still requires task-specific fine-tuning datasets of thousands or tens of thousands of examples. By contrast, humans can generally perform a new language task from only a few examples or from simple instructions - something which current NLP systems still largely struggle to do. Here we show that scaling up language models greatly improves task-agnostic, few-shot performance, sometimes even reaching competitiveness with prior state-of-the-art fine-tuning approaches. Specifically, we train GPT-3, an autoregressive language model with 175 billion parameters, 10x more than any previous non-sparse language model, and test its performance in the few-shot setting. For all tasks, GPT-3 is applied without any gradient updates or fine-tuning, with tasks and few-shot demonstrations specified purely via text interaction with the model. GPT-3 achieves strong performance on many NLP datasets, including translation, question-answering, and cloze tasks, as well as several tasks that require on-the-fly reasoning or domain adaptation, such as unscrambling words, using a novel word in a sentence, or performing 3-digit arithmetic. At the same time, we also identify some datasets where GPT-3's few-shot learning still struggles, as well as some datasets where GPT-3 faces methodological issues related to training on large web corpora. Finally, we find that GPT-3 can generate samples of news articles which human evaluators have difficulty distinguishing from articles written by humans. We discuss broader societal impacts of this finding and of GPT-3 in general.

Guide de lecture

Problème et motivation

Les pipelines standards associant pré-entraînement et fine-tuning nécessitent de grands jeux de données étiquetés spécifiques à la tâche (généralement de milliers à des centaines de milliers d'exemples). Cette exigence limite l'applicabilité générale, augmente la vulnérabilité aux corrélations fallacieuses et s'éloigne de l'apprentissage humain, qui s'adapte aux tâches à l'aide de simples instructions ou de démonstrations minimes. Les tentatives précédentes d'in-context learning avec des modèles plus petits étaient largement distancées par le fine-tuning.

Idées clés

In-Context Meta-Learning : Le modèle acquiert des capacités de reconnaissance de motifs durant le pré-entraînement et réalise l'adaptation à la tâche dans l'espace des activations au moment du test via des passes avant (forward passes), sans aucune mise à jour de gradient.
Spectre de conditionnement : Les tâches sont évaluées selon trois configurations : zero-shot (instruction seule), one-shot (instruction + une démonstration) et few-shot ( $K$ démonstrations, généralement de 10 à 100 dans une fenêtre de 2048 tokens).
Mise à l'échelle prévisible : La loi de puissance empirique gouvernant la perte de validation (validation loss) se traduit par des gains continus de capacités sur les tâches aval à travers 8 tailles de modèles (de 125M à 175B paramètres).

Méthode

GPT-3 utilise une architecture transformer autorégressive identique à celle de GPT-2, à laquelle s'ajoutent des motifs alternés d'attention dense et d'attention parcimonieuse locale en bandes (locally banded sparse attention). Les modèles sont pré-entraînés sur 300 milliards de tokens avec une taille de contexte effective de $n_{ctx} = 2048$ .

Les formulations clés de l'évaluation comprennent :

Vraisemblance de complétion par token : Pour les jeux de données à choix multiples, les complétions candidates sont évaluées en comparant les probabilités normalisées des tokens.
Normalisation inconditionnelle : Sur des benchmarks comme ARC, OpenBookQA et RACE, la vraisemblance du modèle est normalisée par rapport à une base inconditionnelle : $\frac{P ( completion ∣ context )}{P ( completion ∣ answer_context )}$ où $answer_context$ est un prompt générique tel que "Answer: " ou "A: ".
Décodage pour la génération : Les tâches de complétion libre utilisent une recherche par faisceau (beam search) d'une largeur de 4 avec une pénalité de longueur $α = 0, 6$ .

Résultats

Closed-Book QA : GPT-3 175B atteint 71,2 % en few-shot sur TriviaQA (dépassant le modèle RAG fine-tuné en domaine ouvert à 68,0 %), 41,5 % sur WebQuestions et 29,9 % sur Natural Questions.
Modélisation du langage et tests de cloze : Obtient une perplexité de 20,5 sur PTB (en zero-shot). Sur LAMBADA, formuler la tâche sous forme de test de cloze permet d'atteindre 86,4 % de précision en few-shot (+18 % par rapport au SOTA précédent).
Traduction : La traduction vers l'anglais atteint 39,2 BLEU (Fr $\to$ En), 40,6 BLEU (De $\to$ En) et 39,5 BLEU (Ro $\to$ En), surpassant les précédents modèles de référence en NMT non supervisée.
Raisonnement et synthèse : Réussit l'addition à 2 chiffres à 100 % et l'addition à 3 chiffres à 80,4 % en contexte few-shot. Génère des articles de presse synthétiques que les évaluateurs humains ne distinguent des vrais articles qu'avec 52 % de précision (proche du hasard complet).

Limites et questions ouvertes

Tâches en difficulté : Peine sur les comparaisons entre séquences, notamment en NLI (par ex. ANLI, RTE) et Word-in-Context (WiC à 49,4 %, soit le niveau du hasard).
Limites structurelles : L'entraînement purement autorégressif empêche le conditionnement bidirectionnel, ce qui nuit aux tâches nécessitant un retour en arrière ou une relecture complète de la séquence.
Contamination des données : Le scraping massif du web entraîne un chevauchement entre les données d'entraînement et de test, exigeant des audits approfondis de filtrage par $n$ -grammes a posteriori (par ex. sur Winograd et PIQA).
Impacts sociétaux : L'entraînement à l'échelle d'Internet absorbe d'importants biais de genre, raciaux et religieux, et les sorties générées peuvent être exploitées pour la génération malveillante de texte.

Termes clés

in-context learning: Processus d'adaptation en boucle interne par lequel un modèle pré-entraîné déduit et exécute une tâche au moment du test uniquement à partir d'instructions en langage naturel et de démonstrations dans le prompt, sans mise à jour de gradients.
few-shot: Cadre d'évaluation dans lequel le modèle reçoit autant d'exemples de démonstration (généralement de 10 à 100) que sa fenêtre de contexte le permet, accompagnés de la description de la tâche.
one-shot: Condition d'évaluation autorisant une seule démonstration de la tâche, associée à une description de la tâche en langage naturel.
zero-shot: Configuration d'évaluation dans laquelle le modèle reçoit uniquement une instruction en langage naturel décrivant la tâche, sans aucun exemple de démonstration.
closed-book question answering: Réponse à des questions factuelles reposant uniquement sur les connaissances stockées dans les paramètres du modèle, sans accès à des documents externes ni à des systèmes de recherche d'information lors du test.
data contamination: Inclusion accidentelle de bancs d'essai d'évaluation en aval, de jeux de test ou de validation au sein du vaste corpus de pré-entraînement extrait d'Internet.
sparse attention: Modification architecturale alternant des couches d'attention dense et des motifs d'attention parcimonieuse locale en bandes afin d'équilibrer l'efficacité computationnelle sur de longs contextes.
unconditional normalization: Division de la vraisemblance conditionnelle d'une complétion par la probabilité de cette complétion étant donné uniquement un prompt générique, utilisée pour éliminer les biais de longueur et de fréquence dans les tâches à choix multiples.

Questions

Combien de paramètres le modèle GPT-3 complet possède-t-il et comment a-t-il été entraîné ?

GPT-3 possède 175 milliards de paramètres entraînables répartis sur 96 couches, 96 têtes d'attention et une dimension cachée de 12 288. Il a été entraîné sur 300 milliards de tokens issus de Common Crawl filtré, WebText2, Books1, Books2 et Wikipedia à l'aide d'Adam sur des clusters de GPU Microsoft V100.

GPT-3 utilise-t-il le fine-tuning pour les benchmarks en aval ?

Non, tous les résultats principaux de l'article sont évalués sans mise à jour de gradient ni fine-tuning, en s'appuyant uniquement sur des prompts contextuels en zero-shot, one-shot ou few-shot.

Avec quelle facilité les humains parviennent-ils à identifier les articles de presse générés par GPT-3 175B ?

Les évaluateurs humains ont atteint une précision d'environ 52 % pour distinguer les articles de presse courts (~~200 mots) et plus longs (~~500 mots) générés par GPT-3 de ceux écrits par des humains, ce qui est à peine supérieur au hasard pur (50 %).

Sur quelles tâches GPT-3 rencontre-t-il le plus de difficultés ?

GPT-3 obtient de faibles résultats sur les tâches d'inférence en langage naturel (par ex. ANLI et RTE), les comparaisons bidirectionnelles comme Word-in-Context (WiC, avec un score de 49,4 %) et certaines tâches de compréhension de lecture comme QuAC et RACE.

La présentation de cette page a été rédigée par une IA à partir de l'article et peut contenir des erreurs. Consultez l'article pour les détails.

Lire avec traduction et IA