Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

論文解説

問題設定と動機

標準的なfew-shotプロンプティングは言語モデルに入出力の例示を与えることで、多くの直接的な質問応答タスクで高い性能を発揮する。しかし、小学校レベルの算術、マルチホップな常識推論、記号操作といったマルチステップ推論タスクでは、標準的なプロンプティングのもとでモデルサイズをスケールさせてもスケーリング曲線が平坦になり、性能が伸び悩むことが多い。マルチステップ問題を解決しようとする従来のアプローチは、専用の根拠（rationale）モデルの訓練／ファインチューニング（コストの高い大量の教師あり推論データが必要）か、形式的なニューロシンボリック表現のいずれかに依存していた。本論文は、パラメータの更新を一切行わずに、汎用言語モデルがコンテキスト内（in-context）だけでマルチステップ推論を完遂できるかを検証する。

主要なアイデア

• 思考の連鎖による分解（Chain-of-Thought Decomposition）: 人間は答えを導く前に、複雑な問題を一連の推論ステップに分解する。言語モデルも、$⟨\text{入力},\text{思考の連鎖},\text{出力}⟩$ という三つ組で構成されたコンテキスト内デモンストレーションによって誘導されることで、この挙動を模倣できる。
• スケールによる創発（Emergence at Scale）: chain-of-thought (CoT) プロンプティングは、小規模なモデル（$<10\text{B}$ パラメータ）では有意義な改善をもたらさず、むしろ性能を低下させることが多い。この手法が有効な能力として創発するのは、$\sim 100\text{B}$ パラメータ以上のモデルに限られる。
• 可変の中間計算（Variable Intermediate Computation）: 自然言語トークンを生成することにより、モデルは（自己回帰的なトークン生成を通じて）難易度の高いマルチステップ問題に対して動的により多くの計算資源を割り当てることができる。これは直接回答を予測する手法では不可能である。

手法（主要な数式を含む）

本手法はfew-shotプロンプティングのパラダイムを修正するものである。入力と出力のペア $(x_i,y_i)$ でプロンプトを構成し、モデルが直接 $P(y\mid x,{\mathcal{P}}_{\text{standard}})$ を計算する標準的な手法： $${\mathcal{P}}_{\text{standard}}=\{(x_1,y_1),(x_2,y_2),\dots ,(x_k,y_k)\}$$ に対して、chain-of-thoughtプロンプティングは最終回答の前に自然言語の推論連鎖 $c_i=(c_{i,1},c_{i,2},\dots ,c_{i,m})$ を挿入する： $${\mathcal{P}}_{\text{CoT}}=\{(x_1,c_1,y_1),(x_2,c_2,y_2),\dots ,(x_k,c_k,y_k)\}$$ テスト入力 $x$ に対する推論時において、モデルは推論連鎖と回答の両方を自己回帰的に生成する： $$P(c,y\mid x,{\mathcal{P}}_{\text{CoT}})=\prod _{t=1}^{|c|}P(c_t\mid x,{\mathcal{P}}_{\text{CoT}},c_{<t})\prod _{j=1}^{|y|}P(y_j\mid x,{\mathcal{P}}_{\text{CoT}},c,y_{<j})$$ 算術ベンチマークにおいて、著者らは事後的な外部計算機による拡張も評価している。$c$ の内部で生成された数式をPythonの eval で評価し、その結果を文字列マッチングによって後続のテキストへ伝播させることで、算術計算ミスを防ぐ。

結果（最も重要な数値）

• 算術推論 (GSM8K): GSM8Kにおいて、PaLM 540Bの標準プロンプティングは17.9%にとどまるのに対し、8-shot CoTプロンプティングは56.9%（外部計算機併用で58.6%）を達成し、検証器を用いたファインチューニング済みGPT-3 175Bによる従来の教師あり最高記録55%を上回った。Codexは63.1%（計算機併用で65.4%）を達成した。
• その他の数学ベンチマーク: PaLM 540Bは、SVAMPで79.0%（標準は69.4%）、ASDivで73.9%（標準は72.1%）、AQuAで35.8%（標準は25.2%）、MAWPSで93.3%（標準は79.2%）に達した。
• 常識推論: PaLM 540B CoTはStrategyQAで75.6%（標準は68.6%、従来の教師あり最高は69.4%）と新たなSoTAを樹立し、Sports Understandingではスポーツ愛好家の人間を上回った（95.4% vs. 84.0%）。
• 記号操作と長さの汎化: 最後の文字の連結（last-letter concatenation）タスクにおいて、PaLM 540Bはドメイン内（2単語）で7.6%（標準）から99.4%（CoT）へと向上した。ドメイン外となる4単語でテストした場合、標準プロンプティングは0.0%に急落するが、CoTは63.0%の精度を維持した。
• アブレーション実験: LaMDA 137Bによるアブレーション実験では、「数式のみ（equation only）」のプロンプティング（GSM8Kで5.4%）、「ドットによる可変計算量のみ（variable compute only）」（6.4%）、「回答後の推論（reasoning after answer）」（6.1%）はいずれも標準のCoTプロンプティング（14.3%）に及ばず、回答の前に自然言語の中間ステップを挟むことが不可欠であることが確認された。

限界と未解決の課題

• 事実に基づいた推論の非保証: 生成された推論連鎖は、不正確、意味的に欠陥がある、またはハルシネーションを起こしている場合があり、偶然正しい答えに行き着くこともある（特に二値分類や多肢選択形式において顕著）。
• モデル規模の制約: この手法が安定して機能するには $\sim 100\text{B}+$ 以上のパラメータを持つモデルが必要となるため、本番環境での運用コストが高い。
• 真の推論に関する未解決問題: 人間の思考過程を模倣することが、基底にあるニューラル表現が形式的な推論を実行していることの証明にはならないと本論文でも指摘されている。