Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

Leseleitfaden

Problem und Motivation

Standardmäßiges Few-Shot-Prompting liefert Sprachmodellen Input–Output-Beispiele und ermöglicht so eine starke Leistung bei vielen direkten Frage-Antwort-Aufgaben. Bei mehrschrittigen Reasoning-Aufgaben – wie etwa Grundschularithmetik, mehrstufigen Commonsense-Fragen und symbolischen Manipulationen – führt die bloße Skalierung der Modellgröße unter Standard-Prompting jedoch oft zu flachen Skalierungskurven und schwacher Leistung. Bisherige Ansätze zur Lösung mehrschrittiger Probleme stützten sich entweder auf das Trainieren bzw. Fine-Tuning spezialisierter Rationale-Modelle (die große Mengen teurer, überwachter Rationale-Daten erfordern) oder auf formale neuro-symbolische Repräsentationen. Die Arbeit untersucht, ob universelle Sprachmodelle mehrschrittiges logisches Schließen vollständig In-Context und ohne jegliche Parameter-Updates durchführen können.

Kernideen

• Chain-of-Thought-Dekomposition: Menschen zerlegen komplexe Probleme in aufeinanderfolgende Denkschritte, bevor sie eine Antwort formulieren. Sprachmodelle können dieses Verhalten nachahmen, wenn sie durch In-Context-Demonstrationen angeleitet werden, die als Tripel strukturiert sind: $⟨\text{Input},\text{Chain of Thought},\text{Output}⟩$.
• Emergenz bei Skalierung: Chain-of-Thought-Prompting (CoT) bringt für kleine Modelle ($<10\text{B}$ Parameter) keine nennenswerten Verbesserungen – und verschlechtert oft sogar die Leistung. Es emergiert erst ab Modellen mit $\sim 100\text{B}$ Parametern als effektive Fähigkeit.
• Variable Zwischenberechnung: Die Generierung natürlichsprachlicher Token ermöglicht es dem Modell, schwierigeren mehrschrittigen Problemen dynamisch zusätzliche Rechenleistung (über die autoregressive Token-Generierung) zuzuweisen, was eine direkte Antwortvorhersage nicht leisten kann.

Methode (mit den wichtigsten Gleichungen)

Die Methode modifiziert das Few-Shot-Prompting-Paradigma. Anstatt mit Input–Output-Paaren $(x_i,y_i)$ zu prompten: $${\mathcal{P}}_{\text{standard}}=\{(x_1,y_1),(x_2,y_2),\dots ,(x_k,y_k)\}$$ wobei das Modell direkt $P(y\mid x,{\mathcal{P}}_{\text{standard}})$ berechnet, fügt Chain-of-Thought-Prompting vor der finalen Antwort eine natürlichsprachliche Argumentationskette $c_i=(c_{i,1},c_{i,2},\dots ,c_{i,m})$ ein: $${\mathcal{P}}_{\text{CoT}}=\{(x_1,c_1,y_1),(x_2,c_2,y_2),\dots ,(x_k,c_k,y_k)\}$$ Zur Inferenzzeit für eine Testeingabe $x$ generiert das Modell autoregressiv sowohl die Argumentationskette als auch die Antwort: $$P(c,y\mid x,{\mathcal{P}}_{\text{CoT}})=\prod _{t=1}^{|c|}P(c_t\mid x,{\mathcal{P}}_{\text{CoT}},c_{<t})\prod _{j=1}^{|y|}P(y_j\mid x,{\mathcal{P}}_{\text{CoT}},c,y_{<j})$$ Für arithmetische Benchmarks evaluieren die Autoren zudem eine nachträgliche Erweiterung um einen externen Taschenrechner: Mathematische Gleichungen, die innerhalb von $c$ generiert werden, werden mittels Pythons eval ausgewertet, und die Ergebnisse werden über String-Matching weitergereicht, um Rechenfehler bei der Arithmetik zu vermeiden.

Ergebnisse (mit den wichtigsten Zahlen)

• Arithmetisches Schließen (GSM8K): Auf GSM8K erreicht Standard-Prompting mit PaLM 540B 17,9 %, wohingegen 8-Shot-CoT-Prompting 56,9 % (und 58,6 % mit externem Taschenrechner) erzielt. Dies übertrifft das zuvor beste überwachte Ergebnis von 55 % durch feinabgestimmtes GPT-3 175B mit Verifizierer. Codex erreicht 63,1 % (65,4 % mit Taschenrechner).
• Weitere mathematische Benchmarks: PaLM 540B erreicht 79,0 % auf SVAMP (ggü. 69,4 % Standard), 73,9 % auf ASDiv (ggü. 72,1 % Standard), 35,8 % auf AQuA (ggü. 25,2 % Standard) und 93,3 % auf MAWPS (ggü. 79,2 % Standard).
• Commonsense Reasoning: PaLM 540B CoT setzt mit 75,6 % einen neuen State-of-the-Art-Wert auf StrategyQA (ggü. 68,6 % Standard und 69,4 % als bisherigem überwachten Bestwert) und übertrifft menschliche Sportbegeisterte bei Sports Understanding (95,4 % ggü. 84,0 %).
• Symbolische Manipulation & Längengeneralisierung: Bei der Verkettung des letzten Buchstabens (Last-Letter Concatenation) verbessert sich PaLM 540B in-domain (2 Wörter) von 7,6 % (Standard) auf 99,4 % (CoT). Beim Out-of-Domain-Test auf 4 Wörtern fällt das Standard-Prompting auf 0,0 % ab, während CoT eine Genauigkeit von 63,0 % beibehält.
• Ablationen: Ablationsstudien auf LaMDA 137B bestätigen, dass reine Gleichungs-Prompts ("equation only", 5,4 % auf GSM8K), variable Rechenzeit nur über Punkte ("variable compute only", 6,4 %) sowie Argumentation nach der Antwort ("reasoning after answer", 6,1 %) nicht an standardmäßiges CoT-Prompting (14,3 %) heranreichen. Dies zeigt, dass Zwischenschritte in natürlicher Sprache vor der Antwort essenziell sind.

Limitationen und offene Fragen

• Keine Garantie für faktische Korrektheit: Generierte Ketten können untreu, semantisch fehlerhaft oder halluziniert sein und führen manchmal nur durch Zufall zur richtigen Antwort (insbesondere bei binären oder Multiple-Choice-Formaten).
• Einschränkung durch Modellgröße: Die Technik ist für den Einsatz in Produktionsumgebungen teuer, da sie Modelle mit $\sim 100\text{B}+$ Parametern benötigt, um zuverlässig zu funktionieren.
• Offene Frage nach echtem logischen Schließen: Das Papier weist darauf hin, dass die bloße Nachahmung menschlicher Begründungen kein Beweis dafür ist, dass die zugrunde liegenden neuronalen Repräsentationen tatsächlich formale logische Schlüsse ziehen.