ReAct: Synergizing Reasoning and Acting in Language Models

Shunyu Yao; Jeffrey Zhao; Dian Yu; Nan Du; Izhak Shafran; Karthik Narasimhan; Yuan Cao

Articles · arXiv 2210.03629

ReAct : Synergiser le raisonnement et l'action dans les modèles de langage

ReAct: Synergizing Reasoning and Acting in Language Models

Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan Cao

Publié le 2022-10-06cs.CLcs.AIcs.LG arXiv PDF

Lire avec traduction et IA

Résumé en trois lignes

🎯 Les LLM effectuant un pur raisonnement par chaîne de pensée raisonnent de façon isolée et hallucinent, tandis que les agents limités à l'action manquent de mémoire de travail et de planification stratégique.
🔧 Augmenter l'espace d'action de l'agent avec des pensées en langage naturel libre, entrelacées avec des actions physiques/API, pour planifier, suivre et agir de manière dynamique.
📈 ReAct atteint 71 % de réussite sur ALFWorld et 40,0 % sur WebShop, surpassant les références d'imitation/RL tout en réduisant considérablement les hallucinations en QA.

Résumé

Bien que les grands modèles de langage (LLM) aient démontré des capacités impressionnantes sur des tâches de compréhension du langage et de prise de décision interactive, leurs aptitudes au raisonnement (ex. incitation par chaîne de pensée) et à l'action (ex. génération de plans d'action) ont principalement été étudiées comme des sujets distincts. Dans cet article, nous explorons l'utilisation des LLM pour générer à la fois des traces de raisonnement et des actions spécifiques à la tâche de manière entrelacée, permettant une plus grande synergie entre les deux : les traces de raisonnement aident le modèle à induire, suivre et mettre à jour des plans d'action tout en gérant les exceptions, tandis que les actions lui permettent d'interagir avec des sources externes, telles que des bases de connaissances ou des environnements, afin de recueillir des informations supplémentaires. Nous appliquons notre approche, nommée ReAct, à un ensemble diversifié de tâches linguistiques et de prise de décision, et démontrons son efficacité par rapport à des références de l'état de l'art, ainsi qu'une interprétabilité humaine et une fiabilité améliorées par rapport aux méthodes dépourvues de composantes de raisonnement ou d'action. Concrètement, sur la réponse à des questions (HotpotQA) et la vérification de faits (Fever), ReAct surmonte les problèmes d'hallucination et de propagation d'erreurs fréquents dans le raisonnement par chaîne de pensée en interagissant avec une API Wikipédia simple, et génère des trajectoires de résolution de tâches semblables à celles d'humains, plus interprétables que les références sans traces de raisonnement. Sur deux benchmarks de prise de décision interactive (ALFWorld et WebShop), ReAct surpasse les méthodes d'apprentissage par imitation et par renforcement avec un taux de réussite absolu supérieur de 34 % et 10 % respectivement, tout en n'étant guidé que par un ou deux exemples en contexte. Site du projet avec le code : https://react-lm.github.io

Résumé original (anglais)

While large language models (LLMs) have demonstrated impressive capabilities across tasks in language understanding and interactive decision making, their abilities for reasoning (e.g. chain-of-thought prompting) and acting (e.g. action plan generation) have primarily been studied as separate topics. In this paper, we explore the use of LLMs to generate both reasoning traces and task-specific actions in an interleaved manner, allowing for greater synergy between the two: reasoning traces help the model induce, track, and update action plans as well as handle exceptions, while actions allow it to interface with external sources, such as knowledge bases or environments, to gather additional information. We apply our approach, named ReAct, to a diverse set of language and decision making tasks and demonstrate its effectiveness over state-of-the-art baselines, as well as improved human interpretability and trustworthiness over methods without reasoning or acting components. Concretely, on question answering (HotpotQA) and fact verification (Fever), ReAct overcomes issues of hallucination and error propagation prevalent in chain-of-thought reasoning by interacting with a simple Wikipedia API, and generates human-like task-solving trajectories that are more interpretable than baselines without reasoning traces. On two interactive decision making benchmarks (ALFWorld and WebShop), ReAct outperforms imitation and reinforcement learning methods by an absolute success rate of 34% and 10% respectively, while being prompted with only one or two in-context examples. Project site with code: https://react-lm.github.io

Guide de lecture

Problème et motivation

Les grands modèles de langage (LLM) excellent dans le raisonnement via la chaîne de pensée (Chain-of-Thought ou CoT) et dans la prise de décision en générant des commandes exploitables. Cependant, ces deux capacités ont généralement été étudiées de manière isolée :

Le raisonnement CoT n'est pas ancré dans la réalité : le modèle s'appuie exclusivement sur des représentations internes figées, ce qui le rend sujet aux hallucinations factuelles, au manque de connaissances actualisées et à la propagation d'erreurs en cascade.
Les systèmes basés uniquement sur l'action associent directement les contextes à des actions dans l'environnement : ils manquent d'une mémoire de travail explicite pour formuler des objectifs abstraits, maintenir des sous-objectifs intermédiaires ou gérer des changements d'état inattendus.

Inspiré par le langage intérieur humain, cet article examine si l'entrelacement d'étapes de raisonnement avec des interactions environnementales crée une boucle de renforcement mutuel : le raisonnement guide les actions, tandis que le retour d'information des actions ancre le raisonnement.

Idées clés

Extension de l'espace d'action : L'espace d'action de l'agent est élargi pour inclure des pensées linguistiques qui ne produisent aucune observation externe, mais mettent à jour le contexte interne.
Régimes de pensée denses vs clairsemés : Selon la tâche, les pensées peuvent être étroitement couplées (alternance étape par étape pour la QA multi-sauts) ou asynchrones et clairsemées (utilisées uniquement lors de la planification ou de la gestion d'imprévus dans des jeux à long terme).
Raisonnement hybride : L'association de connaissances paramétriques internes (via l'auto-cohérence CoT) et de retours externes récupérés (via ReAct) équilibre la précision factuelle et l'agilité de raisonnement.

Méthode (avec les équations clés)

Considérons un environnement interactif où, au temps $t$ , un agent reçoit une observation $o_{t} \in O$ , maintient un contexte de trajectoire $c_{t} = (o_{1}, a_{1}, \dots, o_{t - 1}, a_{t - 1}, o_{t})$ et agit selon une politique $π (a_{t} ∣ c_{t})$ .

ReAct étend l'espace d'action à : $\hat{A} = A \cup L$ où $L$ est l'espace des expressions en langage libre.

Si un agent génère une action environnementale $\overset{a}{^}_{t} \in A$ , l'environnement renvoie une observation $o_{t} \in O$ , formant le contexte suivant $c_{t + 1} = (c_{t}, \overset{a}{^}_{t}, o_{t})$ .
Si un agent génère une pensée $\overset{a}{^}_{t} \in L$ , aucune observation externe n'est générée ; la pensée est directement ajoutée au contexte de l'agent : $c_{t + 1} = (c_{t}, \overset{a}{^}_{t})$ .

Pour les tâches de connaissances (HotpotQA, FEVER), l'ensemble d'actions de l'API est $A = {Search [entity], Lookup [string], Finish [answer]}$ . Pour les configurations hybrides :

$ReAct \to CoT-SC$ : Si ReAct ne se termine pas en un nombre d'étapes défini (par exemple, 7 pour HotpotQA, 5 pour FEVER), basculer vers le vote majoritaire de l'auto-cohérence CoT.
$CoT-SC \to ReAct$ : Si l'accord majoritaire parmi $n$ échantillons tombe sous $n /2$ , basculer vers ReAct.

Résultats (avec les chiffres les plus importants)

Raisonnement sur les connaissances (PaLM-540B) :
- Sur HotpotQA, la combinaison des deux régimes ( $ReAct \to CoT-SC$ ) atteint 35,1 % d'appariement exact (EM) contre 28,7 % pour le standard, 29,4 % pour CoT et 25,7 % pour Act.
- Sur FEVER, $CoT-SC \to ReAct$ atteint une précision de 64,6 % contre 57,1 % pour le standard et 56,3 % pour CoT.
- L'analyse des erreurs montre que ReAct n'hallucine dans aucun de ses cas d'échec (0 %) sur HotpotQA, alors que l'hallucination représente 56 % des échecs de CoT.
Prise de décision (ALFWorld et WebShop) :
- Sur ALFWorld, ReAct best-of-6 obtient un taux de réussite moyen de 71 % (et une moyenne sur l'ensemble des prompts de 57 %), surpassant Act-only (meilleur score à 45 %), le prompting de style Inner Monologue (meilleur score à 53 %) et l'agent d'apprentissage par imitation BUTLER (meilleur score à 37 %) entraîné sur $1 0^{5}$ trajectoires.
- Sur WebShop, ReAct en 1-shot atteint un taux de réussite de 40,0 % et un score moyen de 66,6, surpassant les références d'imitation + apprentissage par renforcement (28,7 % de réussite, score de 62,4) entraînées sur plus de 10 000 instructions.
Fine-tuning : L'amorçage de PaLM-8B et PaLM-62B avec 3 000 trajectoires correctes auto-générées place ReAct en tête des performances, ReAct affiné sur PaLM-8B dépassant toutes les méthodes de prompting sur le modèle 62B.

Limites et questions ouvertes

Limites du prompting en contexte : En raison des contraintes de fenêtre de contexte, les LLM ne peuvent observer qu'un nombre restreint de démonstrations (1 à 6 exemples), ce qui rend difficile la maîtrise de vastes espaces d'action uniquement à partir de prompts.
Déraillement de la recherche et boucles : Avec un décodage glouton, les résultats de recherche non informatifs provoquent l'échec de ReAct dans 23 % des cas d'erreur, enfermant parfois le modèle dans des boucles répétitives.
Sécurité et exécution d'outils : Accorder aux LLM la capacité d'effectuer des actions externes dans des environnements ouverts introduit des risques d'actions involontaires (par exemple, exécuter des transactions web non souhaitées ou récupérer des données sensibles).

Termes clés

ReAct: Un paradigme basé sur des prompts qui incite les grands modèles de langage à générer de manière entrelacée des traces de raisonnement et des actions spécifiques à un domaine pour la résolution de tâches générales.
Chain-of-Thought (CoT): Une méthode d'incitation où les modèles produisent des étapes de raisonnement interne avant de générer une réponse finale, sans effectuer d'actions dans des environnements externes.
Action Space Augmentation: L'élargissement formel de l'ensemble d'actions discrètes d'un agent pour y inclure des énoncés arbitraires en langage naturel, définis comme des pensées ne modifiant pas l'environnement.
Inner Monologue (IM): Une référence et approche antérieure où la pensée du modèle de langage est principalement restreinte aux retours de l'environnement externe plutôt qu'à une planification stratégique interne flexible.
CoT-SC: Incitation par chaîne de pensée combinée à l'auto-cohérence, où les réponses sont échantillonnées plusieurs fois avec une température non nulle et sélectionnées par vote majoritaire.
ALFWorld: Un environnement interactif basé sur du texte, fondé sur le benchmark ALFRED, qui évalue la décomposition d'objectifs domestiques multi-étapes, la navigation et la manipulation d'objets.
WebShop: Un benchmark de navigation web réaliste comprenant 1,18 million de produits réels extraits d'Amazon, évaluant la capacité d'un agent à parcourir et acheter des articles satisfaisant des instructions textuelles.
Self-Reflection / Thought Editing: Intervention humaine dans la boucle où un opérateur corrige ou guide la trajectoire du modèle en ajustant manuellement une pensée linguistique générée, plutôt qu'en modifiant les poids ou les historiques d'actions.

Questions

Pourquoi ReAct est-il moins sujet aux hallucinations que la chaîne de pensée standard ?

CoT repose uniquement sur une mémoire paramétrique interne, qui fabrique fréquemment des faits inexistants. ReAct consulte des sources externes (comme des API Wikipédia) via des actions concrètes, ancrant les pensées ultérieures directement dans les observations recueillies.

En quoi ReAct diffère-t-il de WebGPT ou SayCan ?

WebGPT et SayCan se concentrent sur la prédiction d'actions ou de plans à l'aide de retours humains ou de modèles d'affordance, sans inciter explicitement le modèle à maintenir, décomposer et ajuster ses propres traces verbales de raisonnement dans une boucle entrelacée.

Que se passe-t-il lorsque la recherche ne donne aucun résultat utile dans ReAct ?

Les échecs de recherche représentaient environ 23 % des cas d'échec de ReAct sur HotpotQA ; les modèles peinent parfois à reformuler leurs requêtes et restent coincés dans des boucles d'actions répétitives avec un décodage glouton.

Comment fonctionne l'édition de pensée avec humain dans la boucle dans ReAct ?

Les traces de raisonnement étant en langage naturel, un humain peut inspecter une trajectoire défaillante et modifier une ou deux pensées intermédiaires à la volée, sortant immédiatement l'agent des boucles ou des fausses croyances sans nécessiter de réentraînement des paramètres.

La présentation de cette page a été rédigée par une IA à partir de l'article et peut contenir des erreurs. Consultez l'article pour les détails.

Lire avec traduction et IA