Paper · arXiv 2005.14165
Language Models are Few-Shot Learners
Zusammenfassung in drei Zeilen
- 🎯 Standard-NLP-Modelle setzen auf aufgabenspezifisches Fine-Tuning mit tausenden Beispielen, was die Out-of-Distribution-Generalisierung gefährdet.
- 🔧 GPT-3 (bis zu 175B Parameter) wird auf 300B Tokens trainiert und via In-Context-Prompt-Konditionierung ohne Gewichtsaktualisierungen evaluiert.
- 📈 Im Few-Shot-Setting erreicht GPT-3 175B das Niveau von Fine-Tuning-Modellen mit 71,2 % auf TriviaQA und 86,4 % Genauigkeit auf LAMBADA.
Abstract
Jüngste Arbeiten haben erhebliche Fortschritte bei vielen NLP-Aufgaben und Benchmarks erzielt, indem sie Modelle auf einem großen Textkorpus vortrainierten und anschließend auf eine spezifische Aufgabe feinabstimmten. Obwohl diese Architektur typischerweise aufgabenagnostisch ist, erfordert diese Methode immer noch aufgabenspezifische Fine-Tuning-Datensätze mit Tausenden oder Zehntausenden von Beispielen. Im Gegensatz dazu können Menschen eine neue Sprachaufgabe im Allgemeinen anhand weniger Beispiele oder einfacher Anweisungen bewältigen – etwas, womit aktuelle NLP-Systeme noch weitgehend zu kämpfen haben. Hier zeigen wir, dass die Skalierung von Sprachmodellen die aufgabenagnostische Few-Shot-Leistung erheblich verbessert und mitunter sogar die Wettbewerbsfähigkeit mit früheren State-of-the-Art-Fine-Tuning-Ansätzen erreicht. Konkret trainieren wir GPT-3, ein autoregressives Sprachmodell mit 175 Milliarden Parametern – 10-mal mehr als jedes frühere nicht-sparse Sprachmodell –, und testen dessen Leistung im Few-Shot-Setting. Bei allen Aufgaben wird GPT-3 ohne Gradientenaktualisierungen oder Fine-Tuning angewendet, wobei Aufgaben und Few-Shot-Demonstrationen rein über die Textinteraktion mit dem Modell spezifiziert werden. GPT-3 erzielt starke Leistungen bei vielen NLP-Datensätzen, darunter Übersetzung, Frage-Antwort- und Lückentext-Aufgaben, sowie bei mehreren Aufgaben, die Ad-hoc-Schlussfolgerungen oder Domänenanpassungen erfordern, wie etwa das Entschlüsseln von Wörtern, das Verwenden eines neuen Wortes in einem Satz oder das Ausführen von dreistelliger Arithmetik. Gleichzeitig identifizieren wir auch einige Datensätze, bei denen das Few-Shot-Lernen von GPT-3 nach wie vor Schwierigkeiten hat, sowie einige Datensätze, bei denen GPT-3 methodischen Problemen im Zusammenhang mit dem Training auf großen Webkorpora ausgesetzt ist. Schließlich stellen wir fest, dass GPT-3 Beispiele von Nachrichtenartikeln generieren kann, die menschliche Evaluatoren nur schwer von Texten menschlicher Autoren unterscheiden können. Wir diskutieren breitere gesellschaftliche Auswirkungen dieser Erkenntnis und von GPT-3 im Allgemeinen.
Original-Abstract (Englisch)
Recent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task. While typically task-agnostic in architecture, this method still requires task-specific fine-tuning datasets of thousands or tens of thousands of examples. By contrast, humans can generally perform a new language task from only a few examples or from simple instructions - something which current NLP systems still largely struggle to do. Here we show that scaling up language models greatly improves task-agnostic, few-shot performance, sometimes even reaching competitiveness with prior state-of-the-art fine-tuning approaches. Specifically, we train GPT-3, an autoregressive language model with 175 billion parameters, 10x more than any previous non-sparse language model, and test its performance in the few-shot setting. For all tasks, GPT-3 is applied without any gradient updates or fine-tuning, with tasks and few-shot demonstrations specified purely via text interaction with the model. GPT-3 achieves strong performance on many NLP datasets, including translation, question-answering, and cloze tasks, as well as several tasks that require on-the-fly reasoning or domain adaptation, such as unscrambling words, using a novel word in a sentence, or performing 3-digit arithmetic. At the same time, we also identify some datasets where GPT-3's few-shot learning still struggles, as well as some datasets where GPT-3 faces methodological issues related to training on large web corpora. Finally, we find that GPT-3 can generate samples of news articles which human evaluators have difficulty distinguishing from articles written by humans. We discuss broader societal impacts of this finding and of GPT-3 in general.
Leseleitfaden
Problemstellung und Motivation
Standardmäßige Pipelines aus Vortraining und Fine-Tuning erfordern große, aufgabenspezifische gelabelte Datensätze (typischerweise Tausende bis Hunderttausende von Beispielen). Diese Anforderung schränkt die allgemeine Anwendbarkeit ein, erhöht die Anfälligkeit für Scheinkorrelationen und weicht vom menschlichen Lernen ab, das sich anhand von bloßen Anweisungen oder minimalen Demonstrationen an Aufgaben anpasst. Frühere Versuche des In-Context-Lernens mit kleineren Modellen lagen deutlich hinter dem Fine-Tuning zurück.
Kernideen
- In-Context-Meta-Learning: Das Modell erwirbt während des Pre-Trainings Fähigkeiten zur Mustererkennung und führt die Aufgabenanpassung im Aktivierungsraum während der Forward-Passes zur Testzeit ohne Gradientenaktualisierungen durch.
- Spektrum der Konditionierung: Aufgaben werden in den Einstellungen Zero-Shot (nur Anweisung), One-Shot (Anweisung + eine Demonstration) und Few-Shot ( Demonstrationen, typischerweise 10 bis 100 innerhalb eines 2048-Token-Fensters) getestet.
- Vorhersagbare Skalierung: Das empirische Potenzgesetz-Skalieren (Power-Law Scaling) des Validierungsverlusts schlägt sich in kontinuierlichen Verbesserungen der Downstream-Fähigkeiten über 8 Modellgrößen hinweg (125M bis 175B Parameter) nieder.
Methodik
GPT-3 nutzt eine autoregressive Transformer-Architektur analog zu GPT-2, ergänzt um alternierende dichte und lokal bandförmige Sparse-Attention-Muster. Die Modelle werden auf 300 Milliarden Tokens mit einer effektiven Kontextgröße von vortrainiert.
Wesentliche Evaluierungsformulierungen umfassen:
- Per-Token-Vervollständigungswahrscheinlichkeit: Bei Multiple-Choice-Datensätzen werden Antwortkandidaten durch den Vergleich normalisierter Token-Wahrscheinlichkeiten bewertet.
- Unbedingte Normalisierung: Bei Benchmarks wie ARC, OpenBookQA und RACE wird die Modell-Likelihood gegenüber einer unkonditionierten Baseline normalisiert:
wobei ein generischer Prompt wie
"Answer: "oder"A: "ist. - Generierungs-Decoding: Aufgaben mit freier Textgenerierung nutzen Beam Search mit einer Beam-Breite von 4 und einer Längenstrafe von .
Ergebnisse
- Closed-Book QA: GPT-3 175B erreicht 71,2 % im Few-Shot-Setting auf TriviaQA (was das Open-Domain fine-getunte RAG mit 68,0 % übertrifft), 41,5 % auf WebQuestions und 29,9 % auf Natural Questions.
- Sprachmodellierung & Lückentext: Erzielt eine Perplexität von 20,5 auf PTB (Zero-Shot). Auf LAMBADA führt die Formulierung der Aufgabe als Lückentext-Test zu 86,4 % Few-Shot-Genauigkeit (18 % über dem vorherigen SOTA).
- Übersetzung: Die Übersetzung ins Englische erreicht 39,2 BLEU (Fr En), 40,6 BLEU (De En) und 39,5 BLEU (Ro En) und übertrifft damit frühere unüberwachte NMT-Baselines.
- Schlussfolgern & Synthese: Löst zweistellige Additionen zu 100 % und dreistellige Additionen zu 80,4 % im Few-Shot-Setting. Generiert synthetische Nachrichtenartikel, die menschliche Prüfer nur mit einer Genauigkeit von 52 % (nahe dem Zufallsniveau) von echten Artikeln unterscheiden können.
Grenzen und offene Fragen
- Schwächen bei bestimmten Aufgaben: Zeigt Schwächen bei sequenzübergreifenden Vergleichen, insbesondere bei NLI (z. B. ANLI, RTE) und Word-in-Context (WiC bei 49,4 %, nahe am Zufallsniveau).
- Strukturelle Einschränkungen: Das rein autoregressive Training verhindert eine bidirektionale Konditionierung, was Aufgaben schadet, die ein Zurückblicken oder ein erneutes Lesen der gesamten Sequenz erfordern.
- Datenkontamination: Umfassendes Web-Scraping führt zu Überschneidungen zwischen Trainings- und Testdaten, was aufwendige Post-hoc--Gramm-Filteraudits erforderlich machte (z. B. bei Winograd und PIQA).
- Gesellschaftliche Auswirkungen: Das Training im Internetmaßstab nimmt erhebliche geschlechtsspezifische, rassistische und religiöse Vorurteile (Biases) auf, und die generierten Ausgaben können für böswillige Textgenerierung missbraucht werden.
Schlüsselbegriffe
- in-context learning
- Der Anpassungsprozess in der inneren Schleife, bei dem ein vortrainiertes Modell zur Testzeit eine Aufgabe rein aus natürlichsprachlichen Anweisungen und Prompt-Demonstrationen ohne Gradientenaktualisierungen ableitet und ausführt.
- few-shot
- Ein Evaluierungssetting, bei dem das Modell neben der Aufgabenbeschreibung so viele Demonstrationsbeispiele (typischerweise 10 bis 100) erhält, wie in sein Kontextfenster passen.
- one-shot
- Eine Evaluierungsbedingung, die nur eine einzige Aufgabendemonstration gepaart mit einer natürlichsprachlichen Aufgabenbeschreibung zulässt.
- zero-shot
- Ein Evaluierungsaufbau, bei dem das Modell lediglich eine natürlichsprachliche Anweisung erhält, die die Aufgabe beschreibt, ohne jegliche Demonstrationsbeispiele.
- closed-book question answering
- Das Beantworten von Faktenfragen, das sich ausschließlich auf das in den Modellparametern gespeicherte Wissen stützt, ohne Zugriff auf externe Dokumente oder Retrieval-Systeme zur Testzeit.
- data contamination
- Die unbeabsichtigte Einbindung von Downstream-Evaluierungs-Benchmarks, Test- oder Validierungsdatensätzen in den umfangreichen Pre-Training-Korpus aus Webdaten.
- sparse attention
- Eine architektonische Modifikation, bei der dichte Attention-Schichten mit lokal bandförmigen Sparse-Attention-Mustern abwechseln, um die Recheneffizienz über lange Kontexte hinweg auszugleichen.
- unconditional normalization
- Die Division der bedingten Vervollständigungswahrscheinlichkeit durch die Wahrscheinlichkeit der Vervollständigung gegeben nur ein generischer Prompt, um Längen- und Frequenzverzerrungen bei Multiple-Choice-Aufgaben zu eliminieren.
Fragen
Wie viele Parameter hat das vollständige GPT-3-Modell und wie wurde es trainiert?
GPT-3 verfügt über 175 Milliarden trainierbare Parameter verteilt auf 96 Schichten, 96 Attention-Heads und eine Hidden-Dimension von 12.288. Es wurde über 300 Milliarden Tokens auf gefiltertem Common Crawl, WebText2, Books1, Books2 und Wikipedia unter Verwendung von Adam auf Microsoft V100 GPU-Clustern trainiert.
Verwendet GPT-3 Fine-Tuning für Downstream-Benchmarks?
Nein, alle Hauptergebnisse der Arbeit werden ohne Gradientenaktualisierungen oder Fine-Tuning ausgewertet und stützen sich ausschließlich auf Zero-Shot-, One-Shot- oder Few-Shot-Kontext-Prompts.
Wie leicht können Menschen von GPT-3 175B generierte Nachrichtenartikel identifizieren?
Menschliche Prüfer erzielten eine Genauigkeit von etwa 52 % bei der Unterscheidung von kurzen (200 Wörter) und längeren (500 Wörter) von GPT-3 generierten Nachrichtenartikeln gegenüber von Menschen geschriebenen Artikeln, was kaum über dem Zufallsniveau (50 %) liegt.
Bei welchen Aufgaben tut sich GPT-3 am schwersten?
GPT-3 schneidet bei Natural Language Inference-Aufgaben (z. B. ANLI und RTE), bidirektionalen Vergleichen wie Word-in-Context (WiC mit einem Score von 49,4 %) und bestimmten Leseverständnisaufgaben wie QuAC und RACE schwach ab.
Die Übersicht auf dieser Seite wurde von einer KI aus dem Paper erstellt und kann Fehler enthalten. Details stehen im Paper.