Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

Jason Wei; Xuezhi Wang; Dale Schuurmans; Maarten Bosma; Brian Ichter; Fei Xia; Ed Chi; Quoc Le; Denny Zhou

งานวิจัย · arXiv 2201.11903

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, Denny Zhou

เผยแพร่ 2022-01-28cs.CLcs.AI arXiv PDF

อ่านพร้อมคำแปลและ AI

สรุปสามบรรทัด

🎯 Standard few-shot prompting ล้มเหลวในการให้เหตุผลหลายขั้นตอนที่ซับซ้อน (เลขคณิต, สามัญสำนึก, เชิงสัญลักษณ์) และแสดงกราฟการขยายขนาด (scaling curves) ที่คงที่
🔧 เสริมตัวอย่างแบบ few-shot ด้วย chain of thought ซึ่งเป็นลำดับขั้นตอนการให้เหตุผลระดับกลางในรูปแบบภาษาธรรมชาติ ก่อนที่จะทำนายคำตอบสุดท้าย
📈 PaLM 540B ที่ใช้ตัวอย่าง chain-of-thought 8 ตัวอย่าง มีความแม่นยำถึง 56.9% บน GSM8K (58.6% เมื่อใช้เครื่องคิดเลขภายนอก) ซึ่งมีประสิทธิภาพเหนือกว่า finetuned GPT-3 ที่ใช้ verifier

บทคัดย่อ

เราศึกษาว่าการสร้างกระบวนการคิด (chain of thought) ซึ่งเป็นลำดับของขั้นตอนการให้เหตุผลระดับกลาง ช่วยเพิ่มความสามารถของโมเดลภาษาขนาดใหญ่ในการให้เหตุผลที่ซับซ้อนได้อย่างมีนัยสำคัญอย่างไร โดยเฉพาะอย่างยิ่ง เราแสดงให้เห็นว่าความสามารถในการให้เหตุผลดังกล่าวเกิดขึ้นเองตามธรรมชาติในโมเดลภาษาที่มีขนาดใหญ่เพียงพอ ผ่านวิธีง่ายๆ ที่เรียกว่า chain of thought prompting ซึ่งเป็นการให้ตัวอย่างกระบวนการคิดสองสามข้อเป็นตัวอย่างประกอบใน prompt ผลการทดลองในโมเดลภาษาขนาดใหญ่สามโมเดลแสดงให้เห็นว่า chain of thought prompting ช่วยปรับปรุงประสิทธิภาพในงานด้านเลขคณิต การให้เหตุผลเชิงสามัญสำนึก และการให้เหตุผลเชิงสัญลักษณ์ ผลลัพธ์เชิงประจักษ์ที่ได้นั้นน่าประทับใจมาก ตัวอย่างเช่น การ prompt โมเดลภาษาขนาด 540B พารามิเตอร์ด้วยตัวอย่างกระบวนการคิดเพียง 8 ตัวอย่าง สามารถทำความถูกต้องระดับ state of the art บนชุดทดสอบโจทย์ปัญหาคณิตศาสตร์ GSM8K ซึ่งเหนือกว่า GPT-3 ที่ผ่านการ finetune ร่วมกับตัวตรวจสอบ (verifier)

บทคัดย่อต้นฉบับ (ภาษาอังกฤษ)

We explore how generating a chain of thought -- a series of intermediate reasoning steps -- significantly improves the ability of large language models to perform complex reasoning. In particular, we show how such reasoning abilities emerge naturally in sufficiently large language models via a simple method called chain of thought prompting, where a few chain of thought demonstrations are provided as exemplars in prompting. Experiments on three large language models show that chain of thought prompting improves performance on a range of arithmetic, commonsense, and symbolic reasoning tasks. The empirical gains can be striking. For instance, prompting a 540B-parameter language model with just eight chain of thought exemplars achieves state of the art accuracy on the GSM8K benchmark of math word problems, surpassing even finetuned GPT-3 with a verifier.

คู่มือการอ่าน

ปัญหาและแรงจูงใจ

Standard few-shot prompting จะให้ตัวอย่างคู่ input–output แก่โมเดลภาษา ซึ่งช่วยให้ทำงานตอบคำถามแบบตรงไปตรงมาได้ดี อย่างไรก็ตาม ในงานที่ต้องใช้การให้เหตุผลหลายขั้นตอน เช่น โจทย์เลขคณิตระดับประถม คำถามสามัญสำนึกแบบ multi-hop และการจัดการสัญลักษณ์ การเพิ่มขนาดโมเดลเพียงอย่างเดียวภายใต้ standard prompting มักจะให้กราฟการขยายขนาดที่แบนราบและได้ประสิทธิภาพต่ำ แนวทางก่อนหน้านี้ที่พยายามแก้ปัญหาแบบหลายขั้นตอนต้องพึ่งพาการเทรนหรือ fine-tune โมเดลระบุเหตุผลเฉพาะทาง (ซึ่งต้องใช้ข้อมูลกำกับเหตุผลจำนวนมากและมีราคาแพง) หรือการใช้ตัวแทนเชิงสัญลักษณ์ประสาทรูปนัย (formal neuro-symbolic representations) งานวิจัยนี้จึงตรวจสอบว่าโมเดลภาษาสำหรับงานทั่วไปสามารถดำเนินการให้เหตุผลหลายขั้นตอนในบริบท (in-context) ทั้งหมดได้หรือไม่ โดยไม่ต้องอัปเดตพารามิเตอร์ใดๆ

แนวคิดหลัก

Chain-of-Thought Decomposition: มนุษย์จะย่อยปัญหาที่ซับซ้อนออกเป็นขั้นตอนการให้เหตุผลตามลำดับก่อนที่จะบอกคำตอบ โมเดลภาษาสามารถเลียนแบบพฤติกรรมนี้ได้เมื่อได้รับคำแนะนำผ่านตัวอย่างในบริบทที่จัดโครงสร้างเป็นสามส่วน: $⟨ input, chain of thought, output ⟩$
Emergence at Scale: Chain-of-thought (CoT) prompting ไม่ได้ให้การปรับปรุงที่มีนัยสำคัญ และมักจะทำให้ประสิทธิภาพลดลงในโมเดลขนาดเล็ก ( $< 10 B$ พารามิเตอร์) ความสามารถนี้จะปรากฏเป็นความสามารถที่มีประสิทธิภาพเฉพาะในโมเดลที่มีพารามิเตอร์ตั้งแต่ $\sim 100 B$ ขึ้นไปเท่านั้น
Variable Intermediate Computation: การสร้างโทเค็นภาษาธรรมชาติช่วยให้โมเดลสามารถจัดสรรการคำนวณเพิ่มเติมแบบไดนามิก (ผ่านการสร้างโทเค็นแบบ autoregressive) สำหรับปัญหาหลายขั้นตอนที่ยากขึ้น ซึ่งการทำนายคำตอบโดยตรงไม่สามารถทำได้

ระเบียบวิธี (พร้อมสมการสำคัญ)

วิธีนี้เป็นการปรับเปลี่ยนกระบวนทัศน์ของ few-shot prompting แทนที่จะ prompt ด้วยคู่ input–output $(x_{i}, y_{i})$ : $P_{standard} = {(x_{1}, y_{1}), (x_{2}, y_{2}), \dots, (x_{k}, y_{k})}$ ซึ่งโมเดลจะคำนวณ $P (y ∣ x, P_{standard})$ โดยตรง ส่วน chain-of-thought prompting จะแทรกลำดับการให้เหตุผลที่เป็นภาษาธรรมชาติ $c_{i} = (c_{i, 1}, c_{i, 2}, \dots, c_{i, m})$ เข้าไปก่อนคำตอบสุดท้าย: $P_{CoT} = {(x_{1}, c_{1}, y_{1}), (x_{2}, c_{2}, y_{2}), \dots, (x_{k}, c_{k}, y_{k})}$ ในขั้นตอนการอนุมาน (inference) สำหรับข้อมูลทดสอบ $x$ โมเดลจะสร้างทั้งลำดับการให้เหตุผลและคำตอบแบบ autoregressive: $P (c, y ∣ x, P_{CoT}) = t = 1 \prod ∣ c ∣ P (c_{t} ∣ x, P_{CoT}, c_{< t}) j = 1 \prod ∣ y ∣ P (y_{j} ∣ x, P_{CoT}, c, y_{< j})$ สำหรับชุดทดสอบทางเลขคณิต ผู้เขียนยังได้ประเมินส่วนขยายเครื่องคิดเลขภายนอกแบบ post-hoc โดยสมการทางคณิตศาสตร์ที่สร้างขึ้นภายใน $c$ จะได้รับการคำนวณโดยใช้ eval ของ Python และส่งต่อผลลัพธ์ผ่านการจับคู่สตริง เพื่อป้องกันข้อผิดพลาดในการคำนวณเลขคณิต

ผลการทดลอง (พร้อมตัวเลขที่สำคัญที่สุด)

Arithmetic Reasoning (GSM8K): บน GSM8K การใช้ standard prompting กับ PaLM 540B ทำได้ 17.9% ในขณะที่ 8-shot CoT prompting ทำได้ 56.9% (และ 58.6% เมื่อใช้เครื่องคิดเลขภายนอก) ซึ่งก้าวข้ามสถิติแบบ supervised ที่ดีที่สุดก่อนหน้าคือ 55% จาก GPT-3 175B ที่ fine-tune ร่วมกับ verifier ส่วน Codex ทำได้ 63.1% (65.4% เมื่อใช้เครื่องคิดเลข)
ชุดทดสอบคณิตศาสตร์อื่นๆ: PaLM 540B ทำได้ 79.0% บน SVAMP (เทียบกับ 69.4% ในแบบ standard), 73.9% บน ASDiv (เทียบกับ 72.1% ในแบบ standard), 35.8% บน AQuA (เทียบกับ 25.2% ในแบบ standard) และ 93.3% บน MAWPS (เทียบกับ 79.2% ในแบบ standard)
Commonsense Reasoning: PaLM 540B CoT สร้างสถิติ state of the art ใหม่บน StrategyQA ที่ 75.6% (เทียบกับ 68.6% ในแบบ standard และ 69.4% สำหรับ supervised ที่ดีที่สุดก่อนหน้า) และมีประสิทธิภาพเหนือกว่ามนุษย์ที่ชื่นชอบกีฬาใน Sports Understanding (95.4% เทียบกับ 84.0%)
Symbolic Manipulation & Length Generalization: ในงานเชื่อมต่อตัวอักษรตัวสุดท้าย (last-letter concatenation) PaLM 540B ขยับจาก 7.6% (standard) เป็น 99.4% (CoT) ในโดเมนเดียวกัน (2 คำ) เมื่อทดสอบนอกโดเมนกับคำ 4 คำ standard prompting ลดลงเหลือ 0.0% ในขณะที่ CoT ยังคงความแม่นยำไว้ได้ที่ 63.0%
Ablations: การศึกษาการตัดทอนองค์ประกอบ (ablations) บน LaMDA 137B ยืนยันว่าการ prompt แบบ "สมการเท่านั้น" (5.4% บน GSM8K), "คำนวณแปรผันด้วยจุดเท่านั้น" (6.4%) และ "การให้เหตุผลหลังคำตอบ" (6.1%) ไม่สามารถเทียบเท่ากับ CoT prompting แบบมาตรฐาน (14.3%) ได้ ซึ่งแสดงให้เห็นว่าขั้นตอนภาษาธรรมชาติระดับกลางก่อนได้คำตอบนั้นมีความจำเป็นอย่างยิ่ง

ข้อจำกัดและประเด็นเปิด

ไม่รับประกันการให้เหตุผลที่เป็นจริง: ลำดับความคิดที่สร้างขึ้นอาจไม่ตรงกับความเป็นจริง มีข้อบกพร่องทางความหมาย หรือเกิดอาการประสาทหลอน (hallucination) บางครั้งอาจได้คำตอบที่ถูกต้องโดยบังเอิญ (โดยเฉพาะในรูปแบบคำตอบแบบไบนารีหรือแบบปรนัย)
ข้อจำกัดด้านขนาดโมเดล: เทคนิคนี้มีค่าใช้จ่ายสูงในการให้บริการในสภาพแวดล้อมจริง (production) เนื่องจากต้องใช้โมเดลที่มีขนาด $\sim 100 B +$ พารามิเตอร์ขึ้นไปจึงจะทำงานได้อย่างน่าเชื่อถือ
คำถามปลายเปิดเกี่ยวกับการให้เหตุผลที่แท้จริง: บทความชี้ให้เห็นว่าการเลียนแบบเหตุผลของมนุษย์ไม่ได้พิสูจน์ว่าการแทนค่าของโครงข่ายประสาทเทียมพื้นฐานนั้นดำเนินการให้เหตุผลเชิงรูปนัยอย่างแท้จริง

คำศัพท์สำคัญ

chain of thought: ลำดับขั้นตอนการให้เหตุผลด้วยภาษาธรรมชาติระดับกลางที่สอดคล้องกัน ซึ่งสร้างขึ้นก่อนการทำนายคำตอบสุดท้ายของปัญหา
chain-of-thought prompting: กลยุทธ์การ prompt ที่ตัวอย่างแบบ few-shot ถูกจัดรูปแบบเป็นกลุ่มสามองค์ประกอบ ได้แก่ ข้อมูลนำเข้า ลำดับการให้เหตุผลระดับกลาง และผลลัพธ์ โดยไม่ต้องอัปเดตค่าน้ำหนักของโมเดล
emergent ability: ความสามารถที่ไม่พบหรือส่งผลเสียในโมเดลภาษาขนาดเล็ก และจะปรากฏขึ้นเมื่อขนาดของโมเดลข้ามผ่านเกณฑ์ที่กำหนดเท่านั้น (ประมาณ 100B พารามิเตอร์)
GSM8K: ชุดทดสอบโจทย์ปัญหาคณิตศาสตร์ระดับประถมที่มีคุณภาพสูงและมีหลายขั้นตอนจำนวน 1,319 ข้อ ซึ่งต้องใช้ขั้นตอนเลขคณิต 2 ถึง 8 ขั้นตอนในการแก้ปัญหา
standard prompting: การตั้งค่า in-context learning แบบ few-shot มาตรฐาน โดยตัวอย่างการสาธิตจะประกอบด้วยคู่ของข้อมูลนำเข้าและผลลัพธ์สุดท้ายเท่านั้น
length generalization: ความสามารถของโมเดลในการทำงานสำเร็จในขั้นตอนการทดสอบบนลำดับการให้เหตุผลที่มีจำนวนขั้นตอนมากกว่า หรือมีความยาวของลำดับมากกว่าที่แสดงไว้ในตัวอย่าง few-shot
external calculator: กลไกการประเมินแบบ post-hoc ที่แยกสมการออกจาก chain of thought ที่สร้างขึ้น นำไปประมวลผลด้วยฟังก์ชัน eval ของ Python และอัปเดตข้อความต่อเนื่องที่ตามมา
variable compute: การจัดสรรจำนวนโทเค็นระดับกลางในการสร้างคำตอบอย่างแปรผัน เพื่อเปิดโอกาสให้มีการประมวลผลมากขึ้นสำหรับปัญหาที่ยากขึ้น

คำถามที่พบบ่อย

เหตุใด chain-of-thought prompting จึงล้มเหลวในโมเดลภาษาขนาดเล็ก?

โมเดลที่มีพารามิเตอร์ต่ำกว่าประมาณ 10B มักจะสร้าง chain of thought ที่สละสลวยแต่ไร้ตรรกะหรือซ้ำซาก และมีปัญหากับการจับคู่สัญลักษณ์ขั้นพื้นฐานรวมถึงการคิดเลข ส่งผลให้ประสิทธิภาพต่ำกว่าการตอบคำถามโดยตรง

Chain-of-thought prompting มีความอ่อนไหวต่อสำนวนใน prompt และผู้เขียน prompt มากน้อยเพียงใด?

แม้ว่าความแม่นยำที่แน่นอนจะแตกต่างกันไปตามผู้เขียน prompt และรูปแบบของ prompt แต่การทดลองกับผู้เขียน prompt สามคนอิสระและการสุ่มตัวอย่างจาก GSM8K แสดงให้เห็นว่า CoT ทุกรูปแบบมีประสิทธิภาพเหนือกว่า standard prompting อย่างสม่ำเสมอในสัดส่วนที่มาก

การสร้างสมการโดยตรงให้ประโยชน์เทียบเท่ากับการให้เหตุผลด้วยภาษาธรรมชาติหรือไม่?

ไม่เท่ากัน ในชุดข้อมูลที่ซับซ้อนอย่าง GSM8K การ prompt ด้วยสมการอย่างเดียวมีความแม่นยำเพียง 5.4% บน LaMDA 137B เมื่อเทียบกับ 14.3% ของ CoT เนื่องจากการแปลงความหมายของโจทย์ออกมาเป็นสมการเดียวมีความท้าทายมากเกินไปหากไม่มีขั้นตอนภาษาธรรมชาติระดับกลาง

Chain of thought สามารถช่วยให้โมเดลภาษาอนุมานไปยังอินพุตที่มีขนาดยาวกว่าที่เห็นใน prompt ได้หรือไม่?

ได้ ในงานเชิงสัญลักษณ์ เช่น การเชื่อมต่อตัวอักษรตัวสุดท้ายและการโยนเหรียญ CoT ช่วยให้โมเดลอย่าง PaLM 540B สามารถอนุมานไปยังอินพุต 3 ขั้นตอนและ 4 ขั้นตอนนอกโดเมนได้ แม้ว่า prompt จะแสดงเฉพาะลำดับที่เป็น 2 ขั้นตอนก็ตาม

คำอธิบายในหน้านี้เขียนโดย AI จากงานวิจัยและอาจมีข้อผิดพลาด โปรดอ่านต้นฉบับเพื่อดูรายละเอียด

อ่านพร้อมคำแปลและ AI