ReAct: Synergizing Reasoning and Acting in Language Models

Shunyu Yao; Jeffrey Zhao; Dian Yu; Nan Du; Izhak Shafran; Karthik Narasimhan; Yuan Cao

Paper · arXiv 2210.03629

ReAct: Synergizing Reasoning and Acting in Language Models

Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan Cao

Veröffentlicht 2022-10-06cs.CLcs.AIcs.LG arXiv PDF

Mit Übersetzung und KI lesen

Zusammenfassung in drei Zeilen

🎯 LLMs mit reinem Chain-of-Thought schlussfolgern isoliert und halluzinieren, während reine Handlungsagenten kein Arbeitsgedächtnis und keine strategische Planung besitzen.
🔧 Erweitert die Aktionsräume von Agenten um freisprachliche Gedanken, die mit physischen/API-Aktionen verschachtelt sind, um dynamisch zu planen, zu verfolgen und zu handeln.
📈 ReAct erzielt 71 % Erfolg auf ALFWorld und 40,0 % auf WebShop, übertrifft Imitations-/RL-Baselines und reduziert Halluzinationen bei QA drastisch.

Abstract

Während große Sprachmodelle (LLMs) beeindruckende Fähigkeiten bei Aufgaben des Sprachverständnisses und der interaktiven Entscheidungsfindung gezeigt haben, wurden ihre Fähigkeiten zum logischen Schlussfolgern (z. B. Chain-of-Thought-Prompting) und Handeln (z. B. Aktionsplangenerierung) bislang primär als getrennte Themenbereiche erforscht. In dieser Arbeit untersuchen wir den Einsatz von LLMs zur verschachtelten Generierung von Argumentationsspuren und aufgabenspezifischen Aktionen. Dies ermöglicht eine stärkere Synergie zwischen beiden: Argumentationsspuren helfen dem Modell, Aktionspläne abzuleiten, zu verfolgen und zu aktualisieren sowie Ausnahmen zu handhaben, während Aktionen die Interaktion mit externen Quellen wie Wissensdatenbanken oder Umgebungen erlauben, um zusätzliche Informationen zu sammeln. Wir wenden unseren Ansatz namens ReAct auf ein vielfältiges Spektrum an Sprach- und Entscheidungsfindungsaufgaben an und demonstrieren dessen Überlegenheit gegenüber modernen Baselines sowie eine verbesserte menschliche Interpretierbarkeit und Vertrauenswürdigkeit gegenüber Methoden ohne Argumentations- oder Handlungskomponenten. Konkret überwindet ReAct bei der Beantwortung von Fragen (HotpotQA) und der Faktenverifikation (Fever) durch die Interaktion mit einer einfachen Wikipedia-API Probleme wie Halluzinationen und Fehlerfortpflanzung, die beim Chain-of-Thought-Reasoning vorherrschen, und erzeugt menschenähnliche Problemlösungstrajektorien, die besser interpretierbar sind als Baselines ohne Argumentationsspuren. Bei zwei interaktiven Entscheidungsfindungs-Benchmarks (ALFWorld und WebShop) übertrifft ReAct Imitation- und Reinforcement-Learning-Methoden mit einer absoluten Erfolgsrate von 34 % bzw. 10 %, während es mit lediglich einem oder zwei In-Context-Beispielen gepromptet wird. Projektseite mit Code: https://react-lm.github.io

Original-Abstract (Englisch)

While large language models (LLMs) have demonstrated impressive capabilities across tasks in language understanding and interactive decision making, their abilities for reasoning (e.g. chain-of-thought prompting) and acting (e.g. action plan generation) have primarily been studied as separate topics. In this paper, we explore the use of LLMs to generate both reasoning traces and task-specific actions in an interleaved manner, allowing for greater synergy between the two: reasoning traces help the model induce, track, and update action plans as well as handle exceptions, while actions allow it to interface with external sources, such as knowledge bases or environments, to gather additional information. We apply our approach, named ReAct, to a diverse set of language and decision making tasks and demonstrate its effectiveness over state-of-the-art baselines, as well as improved human interpretability and trustworthiness over methods without reasoning or acting components. Concretely, on question answering (HotpotQA) and fact verification (Fever), ReAct overcomes issues of hallucination and error propagation prevalent in chain-of-thought reasoning by interacting with a simple Wikipedia API, and generates human-like task-solving trajectories that are more interpretable than baselines without reasoning traces. On two interactive decision making benchmarks (ALFWorld and WebShop), ReAct outperforms imitation and reinforcement learning methods by an absolute success rate of 34% and 10% respectively, while being prompted with only one or two in-context examples. Project site with code: https://react-lm.github.io

Leseleitfaden

Problem und Motivation

Große Sprachmodelle (LLMs) glänzen beim logischen Schließen über Chain-of-Thought (CoT) und bei der Entscheidungsfindung durch die Ausgabe ausführbarer Befehle. Diese beiden Fähigkeiten wurden jedoch bisher meist isoliert voneinander betrachtet:

CoT-Reasoning ist ungebunden (ungrounded): Das Modell verlässt sich ausschließlich auf unveränderliche interne Repräsentationen, was es anfällig für faktische Halluzinationen, mangelndes aktuelles Wissen und kumulative Fehlerfortpflanzung macht.
Reine Aktionssysteme bilden Kontexte direkt auf Aktionen in der Umgebung ab: Ihnen fehlt ein explizites Arbeitsgedächtnis, um abstrakte Ziele zu formulieren, Zwischenziele zu verwalten oder auf unerwartete Zustandsänderungen zu reagieren.

Inspiriert vom menschlichen inneren Monolog untersucht diese Arbeit, ob die Verzahnung von Argumentationsschritten mit Umgebungsinteraktionen eine sich gegenseitig verstärkende Schleife erzeugt: Das logische Schließen leitet Aktionen an, während das Feedback aus Aktionen das logische Schließen erdet.

Kernideen

Erweiterung des Aktionsraums (Action Space Augmentation): Der Aktionsraum des Agenten wird um sprachliche Gedanken erweitert, die keine externe Beobachtung erzeugen, aber den internen Kontext aktualisieren.
Dichte vs. spärliche Gedanken-Regime: Je nach Aufgabe können Gedanken eng gekoppelt sein (schrittweise abwechselnd für Multi-Hop-QA) oder asynchron und spärlich ausfallen (nur zur Planung oder bei unerwarteten Ereignissen in Spielen mit langem Zeithorizont).
Hybrides Schließen: Die Kombination von internem parametrischem Wissen (über CoT-Self-Consistency) mit abgerufenen externen Rückmeldungen (über ReAct) balanciert faktische Präzision und Argumentationsflexibilität aus.

Methode (mit den wichtigsten Gleichungen)

Betrachten wir eine interaktive Umgebung, in der ein Agent zum Zeitpunkt $t$ eine Beobachtung $o_{t} \in O$ erhält, einen Trajektorienkontext $c_{t} = (o_{1}, a_{1}, \dots, o_{t - 1}, a_{t - 1}, o_{t})$ verwaltet und gemäß der Policy $π (a_{t} ∣ c_{t})$ handelt.

ReAct erweitert den Aktionsraum zu: $\hat{A} = A \cup L$ wobei $L$ der Raum freisprachlicher Ausdrücke ist.

Generiert ein Agent eine Umweltaktion $\overset{a}{^}_{t} \in A$ , liefert die Umgebung eine Beobachtung $o_{t} \in O$ zurück, woraus der nächste Kontext $c_{t + 1} = (c_{t}, \overset{a}{^}_{t}, o_{t})$ entsteht.
Generiert ein Agent einen Gedanken $\overset{a}{^}_{t} \in L$ , wird keine externe Beobachtung generiert; der Gedanke wird direkt an den Agentenkontext angehängt: $c_{t + 1} = (c_{t}, \overset{a}{^}_{t})$ .

Für Wissensaufgaben (HotpotQA, FEVER) ist die API-Aktionsmenge $A = {Search [entity], Lookup [string], Finish [answer]}$ . Für hybride Setups gilt:

$ReAct \to CoT-SC$ : Wenn ReAct nicht innerhalb einer festen Schrittanzahl endet (z. B. 7 für HotpotQA, 5 für FEVER), erfolgt ein Fallback auf Mehrheitsentscheidungen aus CoT-Self-Consistency.
$CoT-SC \to ReAct$ : Fällt die Mehrheitsübereinstimmung unter $n$ Stichproben unter $n /2$ , erfolgt ein Fallback auf ReAct.

Ergebnisse (mit den wichtigsten Zahlen)

Wissensbasiertes Schließen (PaLM-540B):
- Auf HotpotQA erreicht die Kombination beider Regime ( $ReAct \to CoT-SC$ ) 35,1 % Exact Match (EM) im Vergleich zu Standard (28,7 %), CoT (29,4 %) und Act (25,7 %).
- Auf FEVER erzielt $CoT-SC \to ReAct$ 64,6 % Genauigkeit gegenüber Standard (57,1 %) und CoT (56,3 %).
- Die Fehleranalyse zeigt, dass ReAct bei HotpotQA in 0 % seiner Fehlerfälle halluziniert, während Halluzinationen für 56 % der CoT-Fehler verantwortlich sind.
Entscheidungsfindung (ALFWorld & WebShop):
- Auf ALFWorld erreicht Best-of-6 ReAct eine durchschnittliche Erfolgsrate von 71 % (und 57 % im Durchschnitt über alle Prompts), womit es reine Aktionsansätze (bestens 45 %), Prompts im Stil von Inner Monologue (bestens 53 %) und den Imitation-Learning-Agenten BUTLER (bestens 37 %), der auf $1 0^{5}$ Trajektorien trainiert wurde, übertrifft.
- Auf WebShop erzielt 1-Shot ReAct eine Erfolgsrate von 40,0 % und einen durchschnittlichen Score von 66,6, was Baselines aus Imitation + Reinforcement Learning (28,7 % Erfolg, 62,4 Score) schlägt, die auf über 10.000 Instruktionen trainiert wurden.
Fine-Tuning: Das Bootstrapping von PaLM-8B und PaLM-62B mit 3.000 selbstgenerierten korrekten Trajektorien macht ReAct zum Spitzenreiter, wobei ein feinabgestimmtes PaLM-8B ReAct alle 62B-Prompting-Methoden übertrifft.

Limitationen und offene Fragen

Grenzen des In-Context-Promptings: Aufgrund von Beschränkungen des Kontextfensters können LLMs nur eine Handvoll Demonstrationen (1–6 Beispiele) sehen, was es schwierig macht, riesige Aktionsräume rein über Prompts zu beherrschen.
Such-Entgleisung & Endlosschleifen: Bei Greedy-Decoding führen uninformative Suchergebnisse in 23 % der Fehlerfälle zum Scheitern von ReAct, wodurch sich das Modell mitunter in repetitiven Schleifen verfängt.
Sicherheit & Tool-Ausführung: Das Gewähren externer Aktionen in offenen Umgebungen birgt das Risiko unbeabsichtigter Aktionen (z. B. das Ausführen unerwünschter Web-Transaktionen oder das Abrufen sensibler Daten).

Schlüsselbegriffe

ReAct: Ein promptbasiertes Paradigma, das große Sprachmodelle dazu anleitet, verschachtelte Argumentationsspuren und domänenspezifische Aktionen zur allgemeinen Aufgabenlösung zu generieren.
Chain-of-Thought (CoT): Ein Prompting-Ansatz, bei dem Modelle interne Argumentationsschritte ausgeben, bevor sie eine endgültige Antwort generieren, ohne Aktionen in externen Umgebungen auszuführen.
Action Space Augmentation: Die formale Erweiterung der diskreten Aktionsmenge eines Agenten um beliebige natürlichsprachliche Äußerungen, die als Gedanken definiert sind und die Umgebung nicht verändern.
Inner Monologue (IM): Eine Baseline und ein früherer Ansatz, bei dem die Gedanken des Sprachmodells primär auf externes Umgebungsfeedback statt auf flexible interne strategische Planung beschränkt sind.
CoT-SC: Chain-of-Thought-Prompting gekoppelt mit Self-Consistency, bei dem Antworten mehrfach mit einer Temperatur ungleich null generiert und per Mehrheitsentscheid ausgewählt werden.
ALFWorld: Eine textbasierte interaktive Umgebung auf Basis des ALFRED-Benchmarks, die mehrstufige Zielzerlegung, Navigation und Objektmanipulation im Haushalt testet.
WebShop: Ein realistischer Benchmark für die Webnavigation mit 1,18 Millionen realen, von Amazon gecrawlten Produkten, bei dem die Fähigkeit eines Agenten bewertet wird, Textanweisungen entsprechende Artikel zu durchsuchen und zu kaufen.
Self-Reflection / Thought Editing: Human-in-the-Loop-Intervention, bei der ein Operator die Trajektorie des Modells korrigiert oder steuert, indem er manuell einen generierten sprachlichen Gedanken anpasst, anstatt Gewichte oder den Aktionsverlauf zu modifizieren.

Fragen

Warum ist ReAct weniger anfällig für Halluzinationen als herkömmliches Chain-of-Thought?

CoT stützt sich rein auf das interne parametrische Gedächtnis, das häufig nicht existierende Fakten erfindet. ReAct überprüft externe Quellen (wie Wikipedia-APIs) durch konkrete Aktionen und erdet nachfolgende Gedanken direkt in abgerufenen Beobachtungen.

Wie unterscheidet sich ReAct von WebGPT oder SayCan?

WebGPT und SayCan konzentrieren sich auf die Vorhersage von Aktionen oder Plänen mithilfe von menschlichem Feedback oder Affordanzmodellen, ohne das Modell explizit dazu anzuleiten, seine eigenen verbalen Argumentationsspuren in einer verschachtelten Schleife zu verwalten, zu zerlegen und anzupassen.

Was passiert, wenn eine Suche in ReAct keine nützlichen Ergebnisse liefert?

Suchfehler machten etwa 23 % der Fehlerfälle von ReAct auf HotpotQA aus; Modelle tun sich manchmal schwer, Abfragen neu zu formulieren, und bleiben bei Greedy-Decoding in sich wiederholenden Aktionsschleifen stecken.

Wie funktioniert Human-in-the-Loop Thought Editing in ReAct?

Da Argumentationsspuren in natürlicher Sprache vorliegen, kann ein Mensch eine fehlschlagende Trajektorie inspizieren und ein oder zwei Zwischengedanken spontan bearbeiten, um den Agenten ohne Feinabstimmung der Parameter sofort aus Schleifen oder falschen Annahmen herauszuführen.

Die Übersicht auf dieser Seite wurde von einer KI aus dem Paper erstellt und kann Fehler enthalten. Details stehen im Paper.

Mit Übersetzung und KI lesen