ReAct: Synergizing Reasoning and Acting in Language Models

Shunyu Yao; Jeffrey Zhao; Dian Yu; Nan Du; Izhak Shafran; Karthik Narasimhan; Yuan Cao

論文 · arXiv 2210.03629

ReAct：在語言模型中協同推理與行動

ReAct: Synergizing Reasoning and Acting in Language Models

Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan Cao

發表於 2022-10-06cs.CLcs.AIcs.LG arXiv PDF

用 XYZNOT 閱讀（全文翻譯與 AI 講解）

三句話總結

🎯 僅進行純思維鏈推理的 LLM 處於封閉狀態且容易產生幻覺，而僅採取行動的 Agent 則缺乏工作記憶與策略規劃能力。
🔧 將自由形式的語言思考融入 Agent 的行動空間，並與實體/API 行動交錯執行，以動態地規劃、追蹤與行動。
📈 ReAct 在 ALFWorld 達到 71% 的成功率，在 WebShop 達到 40.0%，超越模仿/強化學習基準，同時大幅減少 QA 任務中的幻覺。

摘要

大型語言模型（LLM）在語言理解與互動決策任務中展現了令人驚豔的能力，但其推理能力（例如思維鏈提示，chain-of-thought prompting）與行動能力（例如行動計畫生成）主要仍被作為獨立課題分別研究。在本文中，我們探討如何利用 LLM 以交錯方式同時生成推理軌跡與特定任務行動，進而促進兩者更緊密的協同效應：推理軌跡協助模型歸納、追蹤並更新行動計畫以及處理例外狀況，而行動則讓模型能夠與外部來源（如知識庫或環境）互動以獲取額外資訊。我們將此方法命名為 ReAct，並應用於多種語言與決策任務中。實驗結果證明，相較於最先進的基準模型，ReAct 不僅具備卓越的有效性，且比起缺乏推理或行動組件的方法，展現了更高的人類可解釋性與可信度。具體而言，在問答（HotpotQA）與事實驗證（Fever）任務中，ReAct 透過與簡易的 Wikipedia API 互動，克服了思維鏈推理中常見的幻覺與錯誤傳播問題，並產生比缺乏推理軌跡的基準更具可解釋性、類似人類解決任務的軌跡。在兩個互動決策基準（ALFWorld 與 WebShop）上，ReAct 僅需一至兩個情境範例提示，成功率便分別以 34% 和 10% 的絕對優勢超越了模仿學習與強化學習方法。專案網站與程式碼：https://react-lm.github.io

英文原文摘要

While large language models (LLMs) have demonstrated impressive capabilities across tasks in language understanding and interactive decision making, their abilities for reasoning (e.g. chain-of-thought prompting) and acting (e.g. action plan generation) have primarily been studied as separate topics. In this paper, we explore the use of LLMs to generate both reasoning traces and task-specific actions in an interleaved manner, allowing for greater synergy between the two: reasoning traces help the model induce, track, and update action plans as well as handle exceptions, while actions allow it to interface with external sources, such as knowledge bases or environments, to gather additional information. We apply our approach, named ReAct, to a diverse set of language and decision making tasks and demonstrate its effectiveness over state-of-the-art baselines, as well as improved human interpretability and trustworthiness over methods without reasoning or acting components. Concretely, on question answering (HotpotQA) and fact verification (Fever), ReAct overcomes issues of hallucination and error propagation prevalent in chain-of-thought reasoning by interacting with a simple Wikipedia API, and generates human-like task-solving trajectories that are more interpretable than baselines without reasoning traces. On two interactive decision making benchmarks (ALFWorld and WebShop), ReAct outperforms imitation and reinforcement learning methods by an absolute success rate of 34% and 10% respectively, while being prompted with only one or two in-context examples. Project site with code: https://react-lm.github.io

論文解讀

問題與動機

大型語言模型（LLM）擅長透過思維鏈（CoT）進行推理，並能透過輸出可執行的指令來進行決策。然而，這兩種能力通常被分開研究：

CoT 推理缺乏現實依據（ungrounded）：模型完全依賴凍結的內部表徵，容易出現事實性幻覺、缺乏最新知識，並導致錯誤連鎖傳播。
純行動（Action-only）系統直接將情境映射到環境行動：它們缺乏明確的工作記憶來制定抽象目標、維持中繼子目標或處理非預期的狀態變化。

受到人類內部語言（inner speech）的啟發，本文探討將推理步驟與環境互動交錯進行是否能創造互補循環：推理引導行動，而行動回饋則為推理提供現實依據。

核心概念

行動空間擴充（Action Space Augmentation）： Agent 的行動空間被擴展，納入不產生外部觀察但能更新內部情境的語言思考。
密集與稀疏思考模式（Dense vs. Sparse Thought Regimes）： 根據任務不同，思考可以緊密耦合（如多跳問答中的逐步交替），也可以是非同步且稀疏的（僅在長維度遊戲中進行規劃或處理意外時使用）。
混合推理（Hybrid Reasoning）： 將內部參數知識（透過 CoT 自我一致性）與檢索到的外部回饋（透過 ReAct）結合，平衡事實精準度與推理靈活性。

方法（與關鍵公式）

考慮一個互動環境，在時間步 $t$ ，Agent 接收觀察值 $o_{t} \in O$ ，維持軌跡情境 $c_{t} = (o_{1}, a_{1}, \dots, o_{t - 1}, a_{t - 1}, o_{t})$ ，並根據策略 $π (a_{t} ∣ c_{t})$ 採取行動。

ReAct 將行動空間擴充為： $\hat{A} = A \cup L$ 其中 $L$ 為自由形式語言表達的空間。

若 Agent 產生環境行動 $\overset{a}{^}_{t} \in A$ ，環境會返回觀察值 $o_{t} \in O$ ，形成下一個情境 $c_{t + 1} = (c_{t}, \overset{a}{^}_{t}, o_{t})$ 。
若 Agent 產生思考 $\overset{a}{^}_{t} \in L$ ，則不會產生外部觀察值；該思考會直接附加到 Agent 的情境中： $c_{t + 1} = (c_{t}, \overset{a}{^}_{t})$ 。

對於知識任務（HotpotQA、FEVER），API 行動集為 $A = {Search [entity], Lookup [string], Finish [answer]}$ 。對於混合配置：

$ReAct \to CoT-SC$ ： 若 ReAct 未在固定步數內完成（例如 HotpotQA 為 7 步，FEVER 為 5 步），則退回使用 CoT 自我一致性的多數決機制。
$CoT-SC \to ReAct$ ： 若 $n$ 個樣本中的多數一致性低於 $n /2$ ，則退回使用 ReAct。

結果（關鍵數據）

知識推理（PaLM-540B）：
- 在 HotpotQA 上，結合兩種機制（ $ReAct \to CoT-SC$ ）達到 35.1% 完全匹配率（EM），相較之下 Standard 為 28.7%、CoT 為 29.4%、Act 為 25.7%。
- 在 FEVER 上， $CoT-SC \to ReAct$ 達到 64.6% 準確率，高於 Standard（57.1%）與 CoT（56.3%）。
- 錯誤分析顯示，在 HotpotQA 的失敗案例中，ReAct 產生幻覺的比例為 0%，而幻覺佔了 CoT 失敗案例的 56%。
決策制定（ALFWorld 與 WebShop）：
- 在 ALFWorld 上，6 次取最佳（best-of-6）的 ReAct 達到了 71% 的平均成功率（跨 prompt 平均為 57%），超越純 Act（最佳 45%）、Inner Monologue 風格提示（最佳 53%），以及在 $1 0^{5}$ 條軌跡上訓練的模仿學習 Agent BUTLER（最佳 37%）。
- 在 WebShop 上，1-shot ReAct 達到 40.0% 成功率 與 66.6 平均分數，擊敗在超過 10,000 條指令上訓練的模仿學習 + 強化學習基準（28.7% 成功率，62.4 分）。
微調（Finetuning）： 利用 3,000 條自我生成的正確軌跡對 PaLM-8B 和 PaLM-62B 進行引導訓練（bootstrapping），使 ReAct 成為表現最佳的模型，其中微調後的 PaLM-8B ReAct 甚至超越了所有 62B 的 prompt 方法。

限制與開放研究問題

情境內提示限制（In-Context Prompting Limits）： 由於 context window 限制，LLM 只能觀察少數示範案例（1–6 個範例），僅憑 prompt 難以完全掌握龐大的行動空間。
搜尋失軌與迴圈（Search Derailment & Loops）： 在貪婪解碼（greedy decoding）下，無效的搜尋結果會導致 ReAct 在 23% 的錯誤案例中失敗，偶爾會使模型陷入重複的死迴圈。
安全性與工具執行（Safety & Tool Execution）： 賦予 LLM 在開放環境中執行外部行動的能力會帶來非預期行動的風險（例如執行未授權的網路交易或擷取敏感資料）。

關鍵術語

ReAct: 一種基於 prompt 的典範，引導大型語言模型交錯生成推理軌跡與領域特定行動，以解決通用任務。
Chain-of-Thought (CoT): 一種提示方法，模型在生成最終答案之前會先輸出內部推理步驟，而無需在外部環境中採取行動。
Action Space Augmentation: 將 Agent 的離散行動集進行形式化擴充，以納入任意自然語言表達，這些表達被視為不會改變外部環境的「思考」。
Inner Monologue (IM): 一種基準與既有方法，語言模型的思考主要受限於外部環境回饋，而非靈活的內部策略規劃。
CoT-SC: 結合自我一致性（self-consistency）的思維鏈提示，以非零溫度多次取樣答案，並透過多數決選出最終答案。
ALFWorld: 一個基於 ALFRED 基準的文字互動環境，用於測試多步驟家庭目標分解、導航與物體操作。
WebShop: 一個真實的網路導航基準，包含從 Amazon 抓取的 118 萬個真實商品，評估 Agent 根據文字指令瀏覽並購買合適商品的能力。
Self-Reflection / Thought Editing: 一種人機協同（human-in-the-loop）介入方式，操作員藉由手動調整生成的語言思考來糾正或引導模型的軌跡，而非修改模型權重或行動歷史。

常見問題

為什麼 ReAct 比標準的 Chain-of-Thought 更不容易產生幻覺？

CoT 完全依賴內部的參數記憶，這經常會捏造出不存在的事實。ReAct 透過具體行動查詢外部來源（如 Wikipedia API），使後續的思考能直接建立在檢索到的觀察結果之上。

ReAct 與 WebGPT 或 SayCan 有何不同？

WebGPT 與 SayCan 專注於利用人類回饋或可供性模型（affordance models）來預測行動或計畫，而沒有明確提示模型在交錯迴圈中維持、分解並調整自身的語言推理軌跡。

當 ReAct 搜尋不到有用結果時會發生什麼事？

搜尋失敗約佔 ReAct 在 HotpotQA 失敗案例的 23%；在貪婪解碼下，模型有時難以重新構思查詢，並會陷入重複的行動迴圈中。

ReAct 中的人機協同思考編輯（thought editing）是如何運作的？

由於推理軌跡是以純文字呈現，人類可以直接檢視失敗的軌跡並即時編輯一或兩個中間思考，無需微調參數即可立即引導 Agent 擺脫迴圈或錯誤認知。

本頁解讀由 AI 根據論文生成，可能有錯誤；細節請以原文為準。

用 XYZNOT 閱讀（全文翻譯與 AI 講解）