ReAct: Synergizing Reasoning and Acting in Language Models

Shunyu Yao; Jeffrey Zhao; Dian Yu; Nan Du; Izhak Shafran; Karthik Narasimhan; Yuan Cao

Artículos · arXiv 2210.03629

ReAct: Sinergia entre razonamiento y acción en modelos de lenguaje

ReAct: Synergizing Reasoning and Acting in Language Models

Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan Cao

Publicado 2022-10-06cs.CLcs.AIcs.LG arXiv PDF

Leer con traducción e IA

Resumen en tres líneas

🎯 Los LLMs que realizan únicamente chain-of-thought razonan de forma aislada y alucinan, mientras que los agentes basados solo en acciones carecen de memoria de trabajo y planificación estratégica.
🔧 Se amplía el espacio de acción del agente con pensamientos en lenguaje libre intercalados con acciones físicas o de API para planificar, monitorizar y actuar dinámicamente.
📈 ReAct alcanza un 71% de éxito en ALFWorld y un 40.0% en WebShop, superando a líneas base de imitación/RL a la vez que reduce drásticamente las alucinaciones en QA.

Resumen

Si bien los modelos de lenguaje de gran tamaño (LLMs) han demostrado capacidades impresionantes en tareas de comprensión del lenguaje y toma de decisiones interactiva, sus habilidades para razonar (por ejemplo, mediante chain-of-thought prompting) y actuar (por ejemplo, la generación de planes de acción) se han estudiado principalmente como temas separados. En este artículo, exploramos el uso de LLMs para generar tanto trazas de razonamiento como acciones específicas de la tarea de forma intercalada, lo que permite una mayor sinergia entre ambas: las trazas de razonamiento ayudan al modelo a inducir, monitorizar y actualizar planes de acción, así como a gestionar excepciones, mientras que las acciones le permiten interactuar con fuentes externas, tales como bases de conocimiento o entornos, para recopilar información adicional. Aplicamos nuestro enfoque, denominado ReAct, a un conjunto diverso de tareas de lenguaje y toma de decisiones, y demostramos su eficacia frente a líneas base de vanguardia, además de una mayor interpretabilidad humana y confiabilidad en comparación con métodos que carecen de componentes de razonamiento o acción. En concreto, en respuestas a preguntas (HotpotQA) y verificación de hechos (Fever), ReAct supera los problemas de alucinación y propagación de errores prevalentes en el razonamiento chain-of-thought al interactuar con una API simple de Wikipedia, y genera trayectorias de resolución de tareas de aspecto humano que son más interpretables que las de las líneas base sin trazas de razonamiento. En dos benchmarks de toma de decisiones interactiva (ALFWorld y WebShop), ReAct supera a los métodos de aprendizaje por imitación y por refuerzo con una tasa de éxito absoluta superior en un 34% y un 10% respectivamente, utilizando únicamente uno o dos ejemplos en contexto en el prompt. Sitio web del proyecto con código: https://react-lm.github.io

Resumen original (inglés)

While large language models (LLMs) have demonstrated impressive capabilities across tasks in language understanding and interactive decision making, their abilities for reasoning (e.g. chain-of-thought prompting) and acting (e.g. action plan generation) have primarily been studied as separate topics. In this paper, we explore the use of LLMs to generate both reasoning traces and task-specific actions in an interleaved manner, allowing for greater synergy between the two: reasoning traces help the model induce, track, and update action plans as well as handle exceptions, while actions allow it to interface with external sources, such as knowledge bases or environments, to gather additional information. We apply our approach, named ReAct, to a diverse set of language and decision making tasks and demonstrate its effectiveness over state-of-the-art baselines, as well as improved human interpretability and trustworthiness over methods without reasoning or acting components. Concretely, on question answering (HotpotQA) and fact verification (Fever), ReAct overcomes issues of hallucination and error propagation prevalent in chain-of-thought reasoning by interacting with a simple Wikipedia API, and generates human-like task-solving trajectories that are more interpretable than baselines without reasoning traces. On two interactive decision making benchmarks (ALFWorld and WebShop), ReAct outperforms imitation and reinforcement learning methods by an absolute success rate of 34% and 10% respectively, while being prompted with only one or two in-context examples. Project site with code: https://react-lm.github.io

Guía de lectura

Problema y motivación

Los modelos de lenguaje de gran tamaño (LLMs) destacan en el razonamiento mediante Chain-of-Thought (CoT) y en la toma de decisiones al emitir comandos ejecutables. Sin embargo, estas dos capacidades se han estudiado típicamente de forma aislada:

El razonamiento CoT carece de anclaje externo (ungrounded): el modelo se apoya exclusivamente en representaciones internas congeladas, lo que lo hace propenso a alucinaciones factuales, a la falta de conocimiento actualizado y a la propagación acumulativa de errores.
Los sistemas basados únicamente en acciones mapean contextos directamente a acciones en el entorno: carecen de una memoria de trabajo explícita para formular objetivos abstractos, mantener subobjetivos intermedios o gestionar cambios de estado imprevistos.

Inspirado en el habla interna humana, este artículo investiga si intercalar pasos de razonamiento con interacciones con el entorno crea un bucle de refuerzo mutuo: el razonamiento guía las acciones, mientras que la retroalimentación de las acciones ancla el razonamiento.

Ideas clave

Aumento del espacio de acciones (Action Space Augmentation): Se amplía el espacio de acciones del agente para incluir pensamientos en lenguaje natural que no producen observaciones externas, pero actualizan el contexto interno.
Regímenes de pensamiento densos vs. dispersos: Según la tarea, los pensamientos pueden estar estrechamente acoplados (alternándose paso a paso para QA multienlace) o ser asíncronos y dispersos (utilizados únicamente al planificar o gestionar sorpresas en juegos de horizonte largo).
Razonamiento híbrido: Combinar el conocimiento paramétrico interno (mediante CoT con self-consistency) con la retroalimentación externa recuperada (mediante ReAct) equilibra la precisión factual con la agilidad de razonamiento.

Método (con las ecuaciones clave)

Considérese un entorno interactivo donde en el instante $t$ , un agente recibe una observación $o_{t} \in O$ , mantiene un contexto de trayectoria $c_{t} = (o_{1}, a_{1}, \dots, o_{t - 1}, a_{t - 1}, o_{t})$ y actúa conforme a una política $π (a_{t} ∣ c_{t})$ .

ReAct expande el espacio de acciones a: $\hat{A} = A \cup L$ donde $L$ es el espacio de expresiones en lenguaje libre.

Si un agente genera una acción en el entorno $\overset{a}{^}_{t} \in A$ , el entorno devuelve una observación $o_{t} \in O$ , formando el siguiente contexto $c_{t + 1} = (c_{t}, \overset{a}{^}_{t}, o_{t})$ .
Si un agente genera un pensamiento $\overset{a}{^}_{t} \in L$ , no se produce ninguna observación externa; el pensamiento se concatena directamente al contexto del agente: $c_{t + 1} = (c_{t}, \overset{a}{^}_{t})$ .

Para tareas de conocimiento (HotpotQA, FEVER), el conjunto de acciones de la API es $A = {Search [entity], Lookup [string], Finish [answer]}$ . Para configuraciones híbridas:

$ReAct \to CoT-SC$ : Si ReAct no finaliza dentro de un número fijo de pasos (por ejemplo, 7 para HotpotQA, 5 para FEVER), se recurre a la votación por mayoría de CoT self-consistency.
$CoT-SC \to ReAct$ : Si el consenso mayoritario entre las $n$ muestras cae por debajo de $n /2$ , se recurre a ReAct.

Resultados (con las cifras más importantes)

Razonamiento basado en conocimiento (PaLM-540B):
- En HotpotQA, la combinación de ambos regímenes ( $ReAct \to CoT-SC$ ) logra un 35.1% de Exact Match (EM) frente a Standard (28.7%), CoT (29.4%) y Act (25.7%).
- En FEVER, $CoT-SC \to ReAct$ alcanza una exactitud del 64.6% frente a Standard (57.1%) y CoT (56.3%).
- El análisis de errores muestra que ReAct alucina en el 0% de sus casos de fallo en HotpotQA, mientras que las alucinaciones representan el 56% de los fallos de CoT.
Toma de decisiones (ALFWorld y WebShop):
- En ALFWorld, ReAct best-of-6 alcanza una tasa de éxito media del 71% (y una media entre prompts del 57%), superando a Act-only (mejor 45%), al prompting estilo Inner Monologue (mejor 53%) y al agente de aprendizaje por imitación BUTLER (mejor 37%), entrenado sobre $1 0^{5}$ trayectorias.
- En WebShop, ReAct 1-shot logra una tasa de éxito del 40.0% y una puntuación media de 66.6, superando a las líneas base de imitación + aprendizaje por refuerzo (28.7% de éxito, 62.4 de puntuación) entrenadas con más de 10 000 instrucciones.
Ajuste fino (Finetuning): Inicializar (bootstrapping) PaLM-8B y PaLM-62B con 3000 trayectorias correctas autogeneradas convierte a ReAct en el mejor modelo, logrando que PaLM-8B con ajuste fino en ReAct supere a todos los métodos de prompting en 62B.

Limitaciones y preguntas abiertas

Límites del prompting en contexto: Debido a las restricciones de la ventana de contexto, los LLMs solo pueden observar un número reducido de demostraciones (1–6 ejemplos), lo que dificulta dominar espacios de acción masivos exclusivamente a partir de prompts.
Desviación y bucles en búsquedas: Con decodificación greedy, las respuestas de búsqueda poco informativas hacen que ReAct falle en el 23% de los casos de error, atrapando ocasionalmente al modelo en bucles repetitivos.
Seguridad y ejecución de herramientas: Otorgar a los LLMs la capacidad de ejecutar acciones externas en entornos abiertos introduce riesgos de acciones no deseadas (por ejemplo, realizar transacciones web no previstas o recuperar datos confidenciales).

Términos clave

ReAct: Paradigma basado en prompts que guía a modelos de lenguaje de gran tamaño a intercalar trazas de razonamiento y acciones específicas de un dominio para la resolución general de tareas.
Chain-of-Thought (CoT): Enfoque de prompting en el que los modelos generan pasos de razonamiento interno antes de producir una respuesta final, sin interactuar con entornos externos.
Action Space Augmentation: Expansión formal del conjunto discreto de acciones de un agente para incluir emisiones arbitrarias en lenguaje natural, designadas como pensamientos que no alteran el entorno.
Inner Monologue (IM): Línea base y enfoque previo donde el pensamiento del modelo de lenguaje se restringe principalmente a la retroalimentación externa del entorno, en lugar de a una planificación estratégica interna flexible.
CoT-SC: Prompting de cadena de pensamiento acoplado con autoconsistencia (self-consistency), donde las respuestas se muestrean múltiples veces con una temperatura no nula y se eligen por votación de la mayoría.
ALFWorld: Entorno interactivo basado en texto, derivado del benchmark ALFRED, que evalúa la descomposición de objetivos domésticos multietapa, la navegación y la manipulación de objetos.
WebShop: Benchmark realista de navegación web que contiene 1.18 millones de productos reales extraídos de Amazon, evaluado según la capacidad del agente para explorar y comprar artículos que satisfagan instrucciones textuales.
Self-Reflection / Thought Editing: Intervención humana en el bucle donde un operador corrige o guía la trayectoria del modelo ajustando manualmente un pensamiento en lenguaje generado, en lugar de modificar los pesos o el historial de acciones.

Preguntas

¿Por qué ReAct es menos propenso a las alucinaciones que el Chain-of-Thought estándar?

CoT depende puramente de la memoria paramétrica interna, la cual a menudo fabrica hechos inexistentes. ReAct consulta fuentes externas (como APIs de Wikipedia) mediante acciones concretas, anclando los pensamientos posteriores directamente en las observaciones recuperadas.

¿En qué se diferencia ReAct de WebGPT o SayCan?

WebGPT y SayCan se centran en predecir acciones o planes utilizando retroalimentación humana o modelos de viabilidad (affordance), sin requerir explícitamente al modelo mantener, descomponer y ajustar sus propias trazas de razonamiento verbal en un bucle interactivo.

¿Qué sucede cuando la búsqueda no arroja resultados útiles en ReAct?

Los fallos en la búsqueda representaron aproximadamente el 23% de los errores de ReAct en HotpotQA; bajo decodificación greedy, los modelos a veces tienen dificultades para reformular consultas y se quedan atrapados en bucles de acciones repetitivas.

¿Cómo funciona la edición de pensamientos con humanos en el bucle en ReAct?

Dado que las trazas de razonamiento están en lenguaje natural legible, un operador humano puede inspeccionar una trayectoria fallida y editar uno o dos pensamientos intermedios al instante, sacando al agente de bucles o creencias falsas sin necesidad de ajustar sus parámetros.

La explicación de esta página la escribió una IA a partir del artículo y puede contener errores. Consulte el artículo para los detalles.

Leer con traducción e IA