Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

Jason Wei; Xuezhi Wang; Dale Schuurmans; Maarten Bosma; Brian Ichter; Fei Xia; Ed Chi; Quoc Le; Denny Zhou

論文 · arXiv 2201.11903

思維鏈提示激發大型語言模型的推理能力 (Chain-of-Thought Prompting Elicits Reasoning in Large Language Models)

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, Denny Zhou

發表於 2022-01-28cs.CLcs.AI arXiv PDF

用 XYZNOT 閱讀（全文翻譯與 AI 講解）

三句話總結

🎯 標準少樣本提示無法執行複雜的多步驟推理（算術、常識、符號），並呈現平坦的規模擴展曲線（scaling curves）。
🔧 在預測最終答案之前，將少樣本範例擴展為思維鏈——即由中間推理步驟組成的自然語言序列。
📈 使用 8 個思維鏈範例的 PaLM 540B 在 GSM8K 上達到 56.9% 的準確率（搭配外部計算機時為 58.6%），優於帶有驗證器的微調 GPT-3。

摘要

我們探討了生成思維鏈（chain of thought）——即一系列中間推理步驟——如何顯著提升大型語言模型執行複雜推理的能力。具體而言，我們展示了此類推理能力如何透過一種名為「思維鏈提示（chain of thought prompting）」的簡單方法，在足夠大的語言模型中自然湧現；該方法在提示範例中提供少數思維鏈示範。在三個大型語言模型上的實驗表明，思維鏈提示改善了一系列算術、常識和符號推理任務的表現。其實證增益十分顯著。例如，僅使用八個思維鏈範例對 540B 參數的語言模型進行提示，就在 GSM8K 數學應用題基準測試中達到了最先進的準確率，甚至超越了經過驗證器輔助的微調 GPT-3。

英文原文摘要

We explore how generating a chain of thought -- a series of intermediate reasoning steps -- significantly improves the ability of large language models to perform complex reasoning. In particular, we show how such reasoning abilities emerge naturally in sufficiently large language models via a simple method called chain of thought prompting, where a few chain of thought demonstrations are provided as exemplars in prompting. Experiments on three large language models show that chain of thought prompting improves performance on a range of arithmetic, commonsense, and symbolic reasoning tasks. The empirical gains can be striking. For instance, prompting a 540B-parameter language model with just eight chain of thought exemplars achieves state of the art accuracy on the GSM8K benchmark of math word problems, surpassing even finetuned GPT-3 with a verifier.

論文解讀

問題與動機

標準少樣本提示（few-shot prompting）為語言模型提供輸入—輸出範例，使其在許多直接問答任務中展現強大效能。然而，在多步驟推理任務中——例如國小算術、多跳常識問答和符號操作——在標準提示下單純擴大模型規模往往只會得到平坦的規模擴展曲線（scaling curves）與不佳的表現。先前嘗試解決多步驟問題的方法，若非依賴訓練／微調專門的推導過程模型（需要大量昂貴的監督推導數據），就是仰賴形式化的神經符號表示法。本論文探討通用語言模型是否能在完全不更新任何參數的情況下，僅透過上下文（in-context）執行多步驟推理。

核心概念

思維鏈分解（Chain-of-Thought Decomposition）： 人類在給出答案前，會將複雜問題分解為連續的推理步驟。當語言模型在上下文示範的引導下，結構化為三元組時，也能模仿這種行為： $⟨ input, chain of thought, output ⟩$ 。
規模湧現（Emergence at Scale）： 思維鏈（CoT）提示對於小型模型（ $< 10 B$ 參數）並無顯著改善——甚至往往會降低效能。只有當模型規模達到約 $100 B$ 參數以上時，它才會成為一種有效的湧現能力。
可變中間計算（Variable Intermediate Computation）： 生成自然語言標元（tokens）允許模型動態分配額外的計算量（透過自迴歸標元生成）於更難的多步驟問題，這是直接預測答案所無法做到的。

方法（含核心公式）

此方法修改了少樣本提示範式。不再僅使用輸入—輸出對 $(x_{i}, y_{i})$ 進行提示： $P_{standard} = {(x_{1}, y_{1}), (x_{2}, y_{2}), \dots, (x_{k}, y_{k})}$ 在標準情況下模型直接計算 $P (y ∣ x, P_{standard})$ ；而思維鏈提示則在最終答案之前插入一個自然語言推理鏈 $c_{i} = (c_{i, 1}, c_{i, 2}, \dots, c_{i, m})$ ： $P_{CoT} = {(x_{1}, c_{1}, y_{1}), (x_{2}, c_{2}, y_{2}), \dots, (x_{k}, c_{k}, y_{k})}$ 在測試輸入 $x$ 的推論階段，模型以自迴歸方式同時生成推理鏈與答案： $P (c, y ∣ x, P_{CoT}) = t = 1 \prod ∣ c ∣ P (c_{t} ∣ x, P_{CoT}, c_{< t}) j = 1 \prod ∣ y ∣ P (y_{j} ∣ x, P_{CoT}, c, y_{< j})$ 針對算術基準測試，作者還評估了一種事後外部計算機擴展：使用 Python 的 eval 來計算 $c$ 內部生成的數學方程式，並透過字串匹配向前傳播結果，以防止算術計算上的失誤。

結果（含重要數據）

算術推理（GSM8K）： 在 GSM8K 上，PaLM 540B 搭配標準提示達到 17.9%，而 8-shot CoT 提示則達到 56.9%（搭配外部計算機為 58.6%），超越了微調 GPT-3 175B 搭配驗證器所創下的 55% 監督最佳紀錄。Codex 達到 63.1%（搭配計算機為 65.4%）。
其他數學基準： PaLM 540B 在 SVAMP 上達到 79.0%（標準為 69.4%），在 ASDiv 上達到 73.9%（標準為 72.1%），在 AQuA 上達到 35.8%（標準為 25.2%），在 MAWPS 上達到 93.3%（標準為 79.2%）。
常識推理： PaLM 540B CoT 在 StrategyQA 上創下 75.6% 的新 SOTA（標準為 68.6%，先前監督最佳為 69.4%），並在 Sports Understanding 上超越人類體育愛好者（95.4% vs. 84.0%）。
符號操作與長度泛化： 在最後字母串接任務中，PaLM 540B 在領域內（2 個單詞）從 7.6%（標準）提升至 99.4%（CoT）。當在領域外（4 個單詞）進行測試時，標準提示降至 0.0%，而 CoT 仍保有 63.0% 的準確率。
消融實驗： 在 LaMDA 137B 上的消融實驗證實，「僅方程式」提示（GSM8K 上為 5.4%）、「僅透過點符號的可變計算」（6.4%）以及「答案後推理」（6.1%）均無法與標準 CoT 提示（14.3%）媲美，證明答案前產生的中間自然語言步驟至關重要。

局限性與開放問題

無法保證事實推理： 生成的思維鏈可能不忠實、存在語意缺陷或產生幻覺，有時僅是巧合得出正確答案（特別是在二元選擇或多選題格式中）。
模型規模限制： 該技術在生產環境中的部署成本高昂，因為它需要大約 $100 B +$ 以上參數的模型才能可靠運作。
是否為真正推理的開放問題： 論文指出，模仿人類的推導過程並不意味著底層的神經表示正在執行形式化推理。

關鍵術語

chain of thought: 在預測問題的最終答案之前，生成的一系列連貫的中間自然語言推理步驟。
chain-of-thought prompting: 一種提示策略，在不更新模型權重的情況下，將少樣本範例格式化為「輸入、中間推理鏈和輸出」的三元組。
emergent ability: 在較小語言模型中不存在或會產生負面影響，只有當模型規模超過特定門檻（約 100B 參數）時才會出現的能力。
GSM8K: 一個由 1,319 道高品質、多步驟國小數學應用題組成的基準測試，解題需要 2 到 8 個算術步驟。
standard prompting: 標準少樣本上下文學習設定，其中示範僅由輸入和最終輸出對組成。
length generalization: 模型在測試時對包含比少樣本範例中所展示更多步驟或更長序列長度的推理鏈取得成功的能力。
external calculator: 一種事後評估機制，從生成的思維鏈中擷取方程式，使用 Python 的 eval 執行它們，並更新後續文本。
variable compute: 分配可變數量的中間生成標元，以允許在更難的問題上投入更多計算量。

常見問題

為什麼思維鏈提示在小型語言模型上會失效？

小於約 10B 參數的模型通常會生成流暢但不合邏輯或重複的思維鏈，並在基本符號對應和算術上遇到困難，導致其表現比直接回答更差。

思維鏈提示對提示字句和標註者的敏感度如何？

雖然具體準確率在不同標註者和提示風格之間存在差異，但在三位獨立標註者以及來自 GSM8K 隨機樣本的實驗顯示，所有 CoT 變體始終大幅優於標準提示。

直接生成方程式能否提供與自然語言推理相同的好處？

不能。在像 GSM8K 這樣的複雜數據集上，LaMDA 137B 的「僅方程式」提示僅達到 5.4% 的準確率，而 CoT 達到 14.3%，因為如果沒有中間自然語言步驟，將語意轉化為單一方程式的難度太高。

思維鏈能否幫助語言模型泛化到比提示中看到的更長的輸入？

可以。在最後字母串接和硬幣拋擲等符號任務中，即使提示僅示範 2 步序列，CoT 仍使 PaLM 540B 等模型能夠泛化到 3 步和 4 步的領域外輸入。

本頁解讀由 AI 根據論文生成，可能有錯誤；細節請以原文為準。

用 XYZNOT 閱讀（全文翻譯與 AI 講解）