ReAct: Synergizing Reasoning and Acting in Language Models

Shunyu Yao; Jeffrey Zhao; Dian Yu; Nan Du; Izhak Shafran; Karthik Narasimhan; Yuan Cao

論文 · arXiv 2210.03629

ReAct: 大規模言語モデルにおける推論と行動の相乗効果

ReAct: Synergizing Reasoning and Acting in Language Models

Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan Cao

公開日 2022-10-06cs.CLcs.AIcs.LG arXiv PDF

XYZNOT で読む（全文翻訳と AI 解説）

3行まとめ

🎯 純粋なChain-of-Thoughtを行うLLMは孤立して推論するためハルシネーションを起こしやすく、行動のみのエージェントは作業メモリや戦略的計画性を欠いている。
🔧 エージェントの行動空間を拡張し、物理的/API行動と交互に自由形式の言語思考を挟み込むことで、動的な計画立案、追跡、行動を実現。
📈 ReActはALFWorldで71%、WebShopで40.0%の成功率を達成し、QAでのハルシネーションを劇的に削減しながら模倣学習/強化学習ベースラインを上回った。

概要

大規模言語モデル（LLM）は言語理解や対話型の意思決定タスクにおいて優れた能力を示していますが、推論能力（Chain-of-Thoughtプロンプティングなど）と行動能力（行動計画の生成など）は主に別々のトピックとして研究されてきました。本論文では、LLMを用いて推論トレースとタスク固有の行動を交互に生成し、両者の相乗効果を高める手法を探究します。推論トレースはモデルによる行動計画の誘導、追跡、更新や例外処理を支援し、行動は知識ベースや環境などの外部ソースと連携して追加情報を収集することを可能にします。本研究では、このアプローチをReActと名付け、多様な言語タスクおよび意思決定タスクに適用しました。その結果、最先端のベースラインを上回る有効性を示したほか、推論または行動のコンポーネントを持たない手法と比較して人間の解釈可能性と信頼性が向上することを実証しました。具体的には、質問応答（HotpotQA）と事実検証（Fever）において、ReActはシンプルなWikipedia APIと相互作用することでChain-of-Thought推論に蔓延するハルシネーションやエラーの伝播といった問題を克服し、推論トレースのないベースラインよりも解釈しやすい人間らしいタスク解決軌跡を生成します。また、2つの対話型意思決定ベンチマーク（ALFWorldおよびWebShop）において、ReActはコンテキスト内のわずか1〜2例のプロンプト提示のみで、模倣学習や強化学習の手法をそれぞれ絶対成功率で34%および10%上回りました。コードを含むプロジェクトサイト: https://react-lm.github.io

英語の原文概要

While large language models (LLMs) have demonstrated impressive capabilities across tasks in language understanding and interactive decision making, their abilities for reasoning (e.g. chain-of-thought prompting) and acting (e.g. action plan generation) have primarily been studied as separate topics. In this paper, we explore the use of LLMs to generate both reasoning traces and task-specific actions in an interleaved manner, allowing for greater synergy between the two: reasoning traces help the model induce, track, and update action plans as well as handle exceptions, while actions allow it to interface with external sources, such as knowledge bases or environments, to gather additional information. We apply our approach, named ReAct, to a diverse set of language and decision making tasks and demonstrate its effectiveness over state-of-the-art baselines, as well as improved human interpretability and trustworthiness over methods without reasoning or acting components. Concretely, on question answering (HotpotQA) and fact verification (Fever), ReAct overcomes issues of hallucination and error propagation prevalent in chain-of-thought reasoning by interacting with a simple Wikipedia API, and generates human-like task-solving trajectories that are more interpretable than baselines without reasoning traces. On two interactive decision making benchmarks (ALFWorld and WebShop), ReAct outperforms imitation and reinforcement learning methods by an absolute success rate of 34% and 10% respectively, while being prompted with only one or two in-context examples. Project site with code: https://react-lm.github.io

論文解説

問題意識と動機

大規模言語モデル（LLM）は、Chain-of-Thought（CoT）による推論や、実行可能なコマンドの出力による意思決定において優れた能力を発揮します。しかし、これら2つの能力は通常、別個に研究されてきました。

CoT推論はグラウンディングされていません。モデルは凍結された内部表現のみに依存するため、事実のハルシネーション、最新知識の欠如、複合的なエラー伝播を起こしやすい傾向があります。
行動のみ（Action-only）のシステムは、コンテキストを環境行動へと直接マッピングします。そのため、抽象的な目標の策定、中間サブゴールの維持、あるいは予期せぬ状態変化への対処を行うための明示的な作業メモリを欠いています。

人間の内言語（inner speech）に着想を得た本論文では、推論ステップと環境との相互作用を交互に組み合わせることで、推論が行動を導き、行動のフィードバックが推論をグラウンディングするという相互強化ループが生まれるかを検証しています。

主要なアイデア

Action Space Augmentation（行動空間の拡張）: 外部の観測は生み出さないものの、内部コンテキストを更新する言語思考を含めるようにエージェントの行動空間を拡張します。
密な思考レジーム vs. 疎な思考レジーム: タスクに応じて、思考は密に結合される場合（マルチホップQAのようにステップごとに交互に行う）と、非同期かつ疎に行われる場合（長期的なゲームにおいて計画立案や想定外の事態への対処時のみ使用する）があります。
ハイブリッド推論: 内部のパラメトリック知識（CoT self-consistency経由）と検索された外部フィードバック（ReAct経由）を組み合わせることで、事実の正確性と推論の柔軟性のバランスを取ります。

手法（主要な数式を含む）

対話型環境において、エージェントが時刻 $t$ に観測 $o_{t} \in O$ を受け取り、軌跡コンテキスト $c_{t} = (o_{1}, a_{1}, \dots, o_{t - 1}, a_{t - 1}, o_{t})$ を保持し、方策 $π (a_{t} ∣ c_{t})$ に従って行動する場合を考えます。

ReActは行動空間を次のように拡張します： $\hat{A} = A \cup L$ ここで、 $L$ は自由形式の言語表現の空間です。

エージェントが環境行動 $\overset{a}{^}_{t} \in A$ を生成した場合、環境は観測 $o_{t} \in O$ を返し、次のコンテキスト $c_{t + 1} = (c_{t}, \overset{a}{^}_{t}, o_{t})$ が形成されます。
エージェントが思考 $\overset{a}{^}_{t} \in L$ を生成した場合、外部観測は生成されず、その思考がエージェントのコンテキストに直接追加されます： $c_{t + 1} = (c_{t}, \overset{a}{^}_{t})$ 。

知識タスク（HotpotQA、FEVER）の場合、API行動セットは $A = {Search [entity], Lookup [string], Finish [answer]}$ となります。ハイブリッド設定では以下の通りです：

$ReAct \to CoT-SC$ : ReActが一定のステップ数以内（例：HotpotQAでは7ステップ、FEVERでは5ステップ）で終了しない場合、CoT self-consistencyによる多数決にフォールバックします。
$CoT-SC \to ReAct$ : $n$ 個のサンプルにおける多数派の合意が $n /2$ を下回った場合、ReActにフォールバックします。

結果（重要な数値）

知識推論（PaLM-540B）:
- HotpotQAにおいて、両方のレジームを組み合わせた構成（ $ReAct \to CoT-SC$ ）は 35.1%のExact Match (EM) を達成し、Standard（28.7%）、CoT（29.4%）、Act（25.7%）を上回りました。
- FEVERにおいて、 $CoT-SC \to ReAct$ は 64.6%の精度 を達成し、Standard（57.1%）およびCoT（56.3%）を上回りました。
- エラー分析によると、HotpotQAにおけるReActの失敗事例のうちハルシネーションは0%であったのに対し、CoTの失敗事例では56%をハルシネーションが占めていました。
意思決定（ALFWorldおよびWebShop）:
- ALFWorldにおいて、best-of-6のReActは平均成功率 71%（プロンプト間の平均は57%）を達成し、Act-only（ベスト45%）、Inner Monologueスタイルのプロンプティング（ベスト53%）、および $1 0^{5}$ 件の軌跡で学習された模倣学習エージェントBUTLER（ベスト37%）を上回りました。
- WebShopにおいて、1-shotのReActは 40.0%の成功率 と 66.6の平均スコア を達成し、10,000件以上の指示で学習された模倣学習＋強化学習のベースライン（成功率28.7%、スコア62.4）を打ち負かしました。
ファインチューニング: PaLM-8BおよびPaLM-62Bを、自身が生成した3,000件の正しい軌跡でブートストラップ学習させることで、ReActは最高のパフォーマンスを示し、ファインチューニングされたPaLM-8B ReActはすべての62Bプロンプティング手法を上回りました。

限界点と今後の課題

In-Context Promptingの限界: コンテキストウィンドウの制約により、LLMはわずかな実例（1〜6例のexemplar）しか確認できず、プロンプトのみから膨大な行動空間を習得することは依然として困難です。
検索の脱線とループ: 貪欲法（greedy decoding）による生成では、有用な検索結果が得られないことが原因でReActのエラー事例の23%で失敗が発生し、モデルが反復的なループに陥ることがあります。
安全性とツールの実行: オープンな環境においてLLMに外部行動を許可すると、意図しない行動（例：望まないWebトランザクションの実行や機密データの取得）を引き起こすリスクが生じます。

重要用語

ReAct: 大規模言語モデルにプロンプトを与え、一般的なタスク解決のために推論トレースと言語固有の行動を交互に生成させるプロンプトベースのパラダイム。
Chain-of-Thought (CoT): 外部環境で行動を起こすことなく、最終的な回答を生成する前にモデルが内部の推論ステップを出力するプロンプティング手法。
Action Space Augmentation: 環境を変更しない思考として指定された任意の自然言語発話を含むように、エージェントの離散行動セットを形式的に拡張すること。
Inner Monologue (IM): 言語モデルの思考が、柔軟な内部戦略計画ではなく、主に外部環境のフィードバックに制限されるベースラインおよび先行アプローチ。
CoT-SC: Chain-of-Thoughtプロンプティングに自己整合性（self-consistency）を組み合わせた手法。非ゼロの温度で回答を複数回サンプリングし、多数決で選択する。
ALFWorld: ALFREDベンチマークに基づくテキストベースの対話型環境。複数ステップにわたる家庭内の目標分解、ナビゲーション、物体操作をテストする。
WebShop: Amazonから収集した実世界の118万点の商品を扱うリアルなWebナビゲーションベンチマーク。テキストの指示を満たす商品を閲覧・購入するエージェントの能力によって評価される。
Self-Reflection / Thought Editing: 重みや行動履歴を変更するのではなく、生成された言語思考を手動で調整することで、オペレーターがモデルの軌跡を修正または誘導するHuman-in-the-loop介入。

よくある質問

なぜReActは通常のChain-of-Thoughtよりもハルシネーションを起こしにくいのですか？

CoTは内部のパラメトリックメモリのみに依存しているため、存在しない事実を捏造することが頻繁にあります。ReActは具体的な行動を通じて外部ソース（Wikipedia APIなど）を確認し、その後の思考を取得した観測データに直接グラウンディングさせます。

ReActはWebGPTやSayCanとどのように異なりますか？

WebGPTやSayCanは、人間のフィードバックやアフォーダンスモデルを用いて行動や計画を予測することに焦点を当てており、モデル自身が交互ループの中で言語による推論トレースを明示的に維持、分解、調整するようプロンプトを与えるわけではありません。

ReActで検索しても有用な結果が得られない場合はどうなりますか？

HotpotQAにおけるReActの失敗事例のうち約23%が検索の失敗によるものでした。モデルはクエリの再定式化に苦戦することがあり、貪欲法（greedy decoding）環境下では反復的な行動ループに陥る場合があります。

ReActにおけるHuman-in-the-loopの思考編集（thought editing）はどのように機能しますか？

推論トレースは平易な英語であるため、人間が失敗しつつある軌跡を確認し、途中の1〜2個の思考をその場で編集することで、パラメータのファインチューニングを行うことなくエージェントをループや誤った思い込みから即座に復帰させることができます。

このページの解説は AI が論文から作成したもので、誤りを含む場合があります。詳細は原文をご確認ください。

XYZNOT で読む（全文翻訳と AI 解説）