ReAct: Synergizing Reasoning and Acting in Language Models

Shunyu Yao; Jeffrey Zhao; Dian Yu; Nan Du; Izhak Shafran; Karthik Narasimhan; Yuan Cao

Artigos · arXiv 2210.03629

ReAct: Sinergia entre Raciocínio e Ação em Modelos de Linguagem

ReAct: Synergizing Reasoning and Acting in Language Models

Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan Cao

Publicado em 2022-10-06cs.CLcs.AIcs.LG arXiv PDF

Ler com tradução e IA

Resumo em três linhas

🎯 LLMs executando puro chain-of-thought raciocinam isoladamente e alucinam, enquanto agentes act-only carecem de memória de trabalho e planejamento estratégico.
🔧 Aumente os espaços de ação do agente com pensamentos em linguagem livre intercalados com ações físicas/de API para planejar, monitorar e agir dinamicamente.
📈 O ReAct alcança 71% de sucesso no ALFWorld e 40,0% no WebShop, superando baselines de imitação/RL e reduzindo drasticamente alucinações em QA.

Resumo

Embora grandes modelos de linguagem (LLMs) tenham demonstrado capacidades impressionantes em tarefas de compreensão de linguagem e tomada de decisão interativa, suas habilidades de raciocínio (por exemplo, prompting de chain-of-thought) e de ação (por exemplo, geração de planos de ação) foram estudadas majoritariamente como tópicos separados. Neste artigo, exploramos o uso de LLMs para gerar tanto rastros de raciocínio quanto ações específicas da tarefa de maneira intercalada, permitindo uma maior sinergia entre ambos: os rastros de raciocínio ajudam o modelo a induzir, monitorar e atualizar planos de ação, bem como a lidar com exceções, enquanto as ações permitem que ele interaja com fontes externas, como bases de conhecimento ou ambientes, para coletar informações adicionais. Aplicamos nossa abordagem, chamada ReAct, a um conjunto diversificado de tarefas de linguagem e tomada de decisão e demonstramos sua eficácia em relação a linhas de base do estado da arte, além de melhor interpretabilidade humana e confiabilidade em comparação a métodos sem componentes de raciocínio ou de ação. Concretamente, em perguntas e respostas (HotpotQA) e verificação de fatos (Fever), o ReAct supera problemas de alucinação e propagação de erros prevalentes no raciocínio por chain-of-thought ao interagir com uma API simples da Wikipedia, gerando trajetórias de resolução de tarefas semelhantes às humanas que são mais interpretáveis do que as linhas de base sem rastros de raciocínio. Em dois benchmarks de tomada de decisão interativa (ALFWorld e WebShop), o ReAct supera métodos de imitação e de aprendizado por reforço em uma taxa de sucesso absoluta de 34% e 10%, respectivamente, utilizando apenas um ou dois exemplos no contexto (in-context). Site do projeto com código: https://react-lm.github.io

Resumo original (inglês)

While large language models (LLMs) have demonstrated impressive capabilities across tasks in language understanding and interactive decision making, their abilities for reasoning (e.g. chain-of-thought prompting) and acting (e.g. action plan generation) have primarily been studied as separate topics. In this paper, we explore the use of LLMs to generate both reasoning traces and task-specific actions in an interleaved manner, allowing for greater synergy between the two: reasoning traces help the model induce, track, and update action plans as well as handle exceptions, while actions allow it to interface with external sources, such as knowledge bases or environments, to gather additional information. We apply our approach, named ReAct, to a diverse set of language and decision making tasks and demonstrate its effectiveness over state-of-the-art baselines, as well as improved human interpretability and trustworthiness over methods without reasoning or acting components. Concretely, on question answering (HotpotQA) and fact verification (Fever), ReAct overcomes issues of hallucination and error propagation prevalent in chain-of-thought reasoning by interacting with a simple Wikipedia API, and generates human-like task-solving trajectories that are more interpretable than baselines without reasoning traces. On two interactive decision making benchmarks (ALFWorld and WebShop), ReAct outperforms imitation and reinforcement learning methods by an absolute success rate of 34% and 10% respectively, while being prompted with only one or two in-context examples. Project site with code: https://react-lm.github.io

Guia de leitura

Problema e motivação

Grandes modelos de linguagem (LLMs) destacam-se no raciocínio via Chain-of-Thought (CoT) e na tomada de decisões ao emitir comandos acionáveis. No entanto, essas duas capacidades têm sido tipicamente estudadas de forma isolada:

O raciocínio CoT não é fundamentado (ungrounded): o modelo baseia-se exclusivamente em representações internas congeladas, o que o torna propenso a alucinações factuais, falta de conhecimento atualizado e propagação cumulativa de erros.
Sistemas baseados apenas em ações (action-only) mapeiam contextos diretamente para ações no ambiente: eles carecem de uma memória de trabalho explícita para formular objetivos abstratos, manter subobjetivos intermediários ou lidar com mudanças de estado inesperadas.

Inspirado pelo discurso interno humano, este artigo investiga se intercalar passos de raciocínio com interações no ambiente cria um ciclo de reforço mútuo: o raciocínio orienta as ações, enquanto o feedback das ações fundamenta o raciocínio.

Ideias-chave

Action Space Augmentation (Aumento do Espaço de Ações): O espaço de ações do agente é expandido para incluir pensamentos em linguagem natural que não geram observações externas, mas atualizam o contexto interno.
Regimes de Pensamento Denso vs. Esparso: Dependendo da tarefa, os pensamentos podem ser fortemente acoplados (alternando passo a passo para QA multi-hop) ou assíncronos e esparsos (utilizados apenas no planejamento ou ao lidar com surpresas em jogos de longo horizonte).
Raciocínio Híbrido: Combinar o conhecimento paramétrico interno (via autoconsistência de CoT) com o feedback externo recuperado (via ReAct) equilibra precisão factual com agilidade de raciocínio.

Método (com as equações principais)

Considere um ambiente interativo onde, no tempo $t$ , um agente recebe uma observação $o_{t} \in O$ , mantém o contexto de trajetória $c_{t} = (o_{1}, a_{1}, \dots, o_{t - 1}, a_{t - 1}, o_{t})$ e atua de acordo com a política $π (a_{t} ∣ c_{t})$ .

O ReAct expande o espaço de ações para: $\hat{A} = A \cup L$ onde $L$ é o espaço de expressões de linguagem em formato livre.

Se o agente gera uma ação ambiental $\overset{a}{^}_{t} \in A$ , o ambiente retorna uma observação $o_{t} \in O$ , compondo o próximo contexto $c_{t + 1} = (c_{t}, \overset{a}{^}_{t}, o_{t})$ .
Se o agente gera um pensamento $\overset{a}{^}_{t} \in L$ , nenhuma observação externa é produzida; o pensamento é diretamente anexado ao contexto do agente: $c_{t + 1} = (c_{t}, \overset{a}{^}_{t})$ .

Para tarefas de conhecimento (HotpotQA, FEVER), o conjunto de ações da API é $A = {Search [entity], Lookup [string], Finish [answer]}$ . Para configurações híbridas:

$ReAct \to CoT-SC$ : Se o ReAct não finalizar dentro de um número fixo de passos (por exemplo, 7 para o HotpotQA, 5 para o FEVER), recorre-se à votação por maioria do CoT com autoconsistência.
$CoT-SC \to ReAct$ : Se a concordância da maioria entre as $n$ amostras cair abaixo de $n /2$ , recorre-se ao ReAct.

Resultados (com os números mais importantes)

Raciocínio de Conhecimento (PaLM-540B):
- No HotpotQA, a combinação de ambos os regimes ( $ReAct \to CoT-SC$ ) atinge 35,1% de Exact Match (EM) em comparação com o Padrão (28,7%), CoT (29,4%) e Act (25,7%).
- No FEVER, $CoT-SC \to ReAct$ alcança 64,6% de Acurácia contra o Padrão (57,1%) e CoT (56,3%).
- A análise de erros demonstra que o ReAct alucina em 0% dos seus casos de falha no HotpotQA, ao passo que a alucinação é responsável por 56% das falhas do CoT.
Tomada de Decisão (ALFWorld & WebShop):
- No ALFWorld, o ReAct (best-of-6) atinge uma taxa média de sucesso de 71% (e média de 57% entre prompts), superando a abordagem apenas com ações (Act-only, melhor 45%), prompting estilo Inner Monologue (melhor 53%) e o agente de aprendizado por imitação BUTLER (melhor 37%) treinado em $1 0^{5}$ trajetórias.
- No WebShop, o ReAct 1-shot atinge uma taxa de sucesso de 40,0% e uma pontuação média de 66,6, superando as linhas de base de imitação + aprendizado por reforço (28,7% de sucesso, pontuação de 62,4) treinadas em mais de 10.000 instruções.
Finetuning: Inicializar o PaLM-8B e o PaLM-62B com 3.000 trajetórias corretas autogeradas torna o ReAct o modelo de melhor desempenho, com o ReAct ajustado no PaLM-8B superando todos os métodos de prompting no modelo de 62B.

Limitações e perguntas em aberto

Limites de In-Context Prompting: Devido às restrições da janela de contexto, os LLMs só conseguem observar um número reduzido de demonstrações (1–6 exemplos), o que torna desafiador dominar espaços massivos de ação puramente a partir de prompts.
Falhas de Busca e Loops: Sob decodificação gananciosa (greedy decoding), retornos de busca sem informações úteis fazem o ReAct falhar em 23% dos casos de erro, ocasionalmente prendendo o modelo em loops repetitivos.
Segurança e Execução de Ferramentas: Conceder aos LLMs a capacidade de executar ações externas em ambientes abertos introduz riscos de ações indesejadas (por exemplo, executar transações indesejadas na web ou recuperar dados confidenciais).

Termos-chave

ReAct: Um paradigma baseado em prompting que instrui grandes modelos de linguagem a gerar rastros de raciocínio e ações específicas de domínio intercalados para a resolução de tarefas gerais.
Chain-of-Thought (CoT): Uma abordagem de prompting na qual os modelos geram etapas internas de raciocínio antes de produzir uma resposta final, sem executar ações em ambientes externos.
Action Space Augmentation: A expansão formal do conjunto de ações discretas de um agente para incluir enunciados arbitrários em linguagem natural, categorizados como pensamentos que não alteram o ambiente.
Inner Monologue (IM): Uma linha de base e abordagem anterior na qual o pensamento do modelo de linguagem é restrito primariamente ao feedback externo do ambiente, em vez de um planejamento estratégico interno flexível.
CoT-SC: Prompting de Chain-of-Thought associado à autoconsistência (self-consistency), no qual respostas são amostradas múltiplas vezes com temperatura diferente de zero e selecionadas por votação da maioria.
ALFWorld: Um ambiente interativo baseado em texto baseado no benchmark ALFRED que avalia a decomposição de metas domésticas em várias etapas, navegação e manipulação de objetos.
WebShop: Um benchmark realista de navegação na web com 1,18 milhão de produtos reais extraídos da Amazon, avaliado pela capacidade de um agente navegar e comprar itens que atendam a instruções em texto.
Self-Reflection / Thought Editing: Intervenção com humanos no circuito (human-in-the-loop) na qual um operador corrige ou orienta a trajetória do modelo ajustando manualmente um pensamento de linguagem gerado, em vez de modificar pesos ou históricos de ações.

Perguntas

Por que o ReAct é menos propenso a alucinações do que o Chain-of-Thought padrão?

O CoT baseia-se puramente na memória paramétrica interna, que frequentemente inventa fatos inexistentes. O ReAct consulta fontes externas (como APIs da Wikipedia) por meio de ações concretas, fundamentando os pensamentos subsequentes diretamente nas observações obtidas.

Como o ReAct difere do WebGPT ou do SayCan?

O WebGPT e o SayCan focam em prever ações ou planos usando feedback humano ou modelos de affordance, sem induzir explicitamente o modelo a manter, decompor e ajustar seus próprios rastros de raciocínio verbal em um ciclo intercalado.

O que acontece quando a busca não retorna resultados úteis no ReAct?

Falhas na busca representaram cerca de 23% dos casos de erro do ReAct no HotpotQA; os modelos às vezes têm dificuldade em reformular consultas e ficam presos em loops de ações repetitivas sob decodificação gananciosa (greedy decoding).

Como funciona a edição de pensamentos com humanos no circuito (human-in-the-loop) no ReAct?

Como os rastros de raciocínio estão em linguagem natural, um ser humano pode inspecionar uma trajetória com falhas e editar um ou dois pensamentos intermediários em tempo real, retirando imediatamente o agente de loops ou crenças falsas sem a necessidade de fine-tuning de parâmetros.

A explicação desta página foi escrita por IA a partir do artigo e pode conter erros. Consulte o artigo para os detalhes.

Ler com tradução e IA