Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

Jason Wei; Xuezhi Wang; Dale Schuurmans; Maarten Bosma; Brian Ichter; Fei Xia; Ed Chi; Quoc Le; Denny Zhou

शोध पत्र · arXiv 2201.11903

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, Denny Zhou

प्रकाशित 2022-01-28cs.CLcs.AI arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 मानक फ़्यू-शॉट प्रॉम्प्टिंग जटिल बहु-चरणीय रीज़निंग (अंकगणित, सामान्य ज्ञान, प्रतीकात्मक) करने में विफल रहती है और सपाट स्केलिंग वक्र (flat scaling curves) प्रदर्शित करती है।
🔧 अंतिम उत्तर की भविष्यवाणी करने से पहले फ़्यू-शॉट उदाहरणों को chain of thought—मध्यवर्ती रीज़निंग चरणों के एक प्राकृतिक भाषा अनुक्रम—के साथ संवर्धित करना।
📈 8 chain-of-thought उदाहरणों के साथ PaLM 540B ने GSM8K पर 56.9% सटीकता (बाहरी कैलकुलेटर के साथ 58.6%) हासिल की, जिसने वेरीफ़ायर के साथ फ़ाइन-ट्यून किए गए GPT-3 को पीछे छोड़ दिया।

सार

हम इस बात का अध्ययन करते हैं कि कैसे विचारों की एक श्रृंखला (chain of thought) — यानी मध्यवर्ती तार्किक चरणों का एक क्रम — उत्पन्न करने से बड़े लैंग्वेज मॉडल्स की जटिल रीज़निंग करने की क्षमता में उल्लेखनीय सुधार होता है। विशेष रूप से, हम दिखाते हैं कि पर्याप्त रूप से बड़े लैंग्वेज मॉडल्स में ऐसी रीज़निंग क्षमताएं chain of thought prompting नामक एक सरल पद्धति के माध्यम से स्वाभाविक रूप से उभरती हैं, जहाँ प्रॉम्प्टिंग में उदाहरणों के रूप में कुछ chain of thought के नमूने दिए जाते हैं। तीन बड़े लैंग्वेज मॉडल्स पर किए गए प्रयोग दर्शाते हैं कि chain of thought prompting अंकगणितीय, सामान्य ज्ञान और प्रतीकात्मक रीज़निंग कार्यों की एक विस्तृत श्रृंखला पर प्रदर्शन को बेहतर बनाती है। इसके अनुभवजन्य लाभ अत्यधिक प्रभावशाली हो सकते हैं। उदाहरण के लिए, 540B-पैरामीटर वाले लैंग्वेज मॉडल को केवल आठ chain of thought उदाहरणों के साथ प्रॉम्प्ट करने पर गणितीय शब्द समस्याओं के GSM8K बेंचमार्क पर स्टेट-ऑफ-द-आर्ट सटीकता प्राप्त होती है, जो वेरीफ़ायर के साथ फ़ाइन-ट्यून किए गए GPT-3 से भी बेहतर प्रदर्शन करती है।

मूल सार (अंग्रेज़ी)

We explore how generating a chain of thought -- a series of intermediate reasoning steps -- significantly improves the ability of large language models to perform complex reasoning. In particular, we show how such reasoning abilities emerge naturally in sufficiently large language models via a simple method called chain of thought prompting, where a few chain of thought demonstrations are provided as exemplars in prompting. Experiments on three large language models show that chain of thought prompting improves performance on a range of arithmetic, commonsense, and symbolic reasoning tasks. The empirical gains can be striking. For instance, prompting a 540B-parameter language model with just eight chain of thought exemplars achieves state of the art accuracy on the GSM8K benchmark of math word problems, surpassing even finetuned GPT-3 with a verifier.

पढ़ने की गाइड

समस्या और प्रेरणा

मानक फ़्यू-शॉट प्रॉम्प्टिंग लैंग्वेज मॉडल्स को इनपुट-आउटपुट उदाहरण प्रदान करती है, जिससे कई प्रत्यक्ष प्रश्न-उत्तर कार्यों में बेहतरीन प्रदर्शन संभव होता है। हालांकि, बहु-चरणीय रीज़निंग कार्यों पर—जैसे प्राथमिक विद्यालय का अंकगणित, मल्टी-हॉप सामान्य ज्ञान प्रश्न और प्रतीकात्मक हेरफेर—मानक प्रॉम्प्टिंग के तहत मॉडल के आकार को केवल बढ़ाने से अक्सर सपाट स्केलिंग वक्र और खराब प्रदर्शन ही मिलता है। बहु-चरणीय समस्याओं को हल करने का प्रयास करने वाले पूर्व दृष्टिकोण या तो विशेष रैशनेल (तर्क) मॉडल्स को प्रशिक्षित/फ़ाइन-ट्यून करने (जिसके लिए बड़ी मात्रा में महंगे सुपरवाइज़्ड डेटा की आवश्यकता होती है) या औपचारिक न्यूरो-सिम्बोलिक अभ्यावेदन पर निर्भर थे। यह शोधपत्र जांच करता है कि क्या सामान्य-उद्देश्यीय लैंग्वेज मॉडल्स बिना किसी पैरामीटर अपडेट के पूरी तरह से इन-कॉन्टेक्स्ट रूप में बहु-चरणीय रीज़निंग निष्पादित कर सकते हैं।

मुख्य विचार

Chain-of-Thought Decomposition: मनुष्य किसी उत्तर पर पहुँचने से पहले जटिल समस्याओं को क्रमिक रीज़निंग चरणों में विभाजित करते हैं। लैंग्वेज मॉडल्स इस व्यवहार की नकल तब कर सकते हैं जब उन्हें ट्रिपलेट्स के रूप में संरचित इन-कॉन्टेक्स्ट उदाहरणों द्वारा निर्देशित किया जाए: $⟨ input, chain of thought, output ⟩$ ।
Emergence at Scale: Chain-of-thought (CoT) प्रॉम्प्टिंग छोटे मॉडल्स ( $< 10 B$ पैरामीटर्स) के लिए कोई सार्थक सुधार प्रदान नहीं करती है—और अक्सर प्रदर्शन को खराब कर देती है। यह केवल $\sim 100 B$ पैरामीटर्स या उससे अधिक वाले मॉडल्स में एक प्रभावी क्षमता के रूप में उभरती है।
Variable Intermediate Computation: प्राकृतिक भाषा टोकन उत्पन्न करने से मॉडल कठिन बहु-चरणीय समस्याओं के लिए (ऑटोरिग्रैसिव टोकन जनरेशन के माध्यम से) अतिरिक्त कंप्यूट को गतिशील रूप से आवंटित कर सकता है, जो प्रत्यक्ष उत्तर भविष्यवाणी में संभव नहीं है।

विधि (मुख्य समीकरणों के साथ)

यह विधि फ़्यू-शॉट प्रॉम्प्टिंग प्रतिमान को संशोधित करती है। इनपुट-आउटपुट युग्मों $(x_{i}, y_{i})$ के साथ प्रॉम्प्ट करने के बजाय: $P_{standard} = {(x_{1}, y_{1}), (x_{2}, y_{2}), \dots, (x_{k}, y_{k})}$ जहाँ मॉडल सीधे $P (y ∣ x, P_{standard})$ की गणना करता है, chain-of-thought प्रॉम्प्टिंग अंतिम उत्तर से पहले एक प्राकृतिक भाषा रीज़निंग श्रृंखला $c_{i} = (c_{i, 1}, c_{i, 2}, \dots, c_{i, m})$ जोड़ती है: $P_{CoT} = {(x_{1}, c_{1}, y_{1}), (x_{2}, c_{2}, y_{2}), \dots, (x_{k}, c_{k}, y_{k})}$ परीक्षण इनपुट $x$ के लिए इन्फ़रेंस के समय, मॉडल ऑटोरिग्रैसिव तरीके से रीज़निंग श्रृंखला और उत्तर दोनों उत्पन्न करता है: $P (c, y ∣ x, P_{CoT}) = t = 1 \prod ∣ c ∣ P (c_{t} ∣ x, P_{CoT}, c_{< t}) j = 1 \prod ∣ y ∣ P (y_{j} ∣ x, P_{CoT}, c, y_{< j})$ अंकगणितीय बेंचमार्क के लिए, लेखक एक पोस्ट-हॉक बाहरी कैलकुलेटर एक्सटेंशन का भी मूल्यांकन करते हैं: अंकगणितीय गणना त्रुटियों को रोकने के लिए $c$ के भीतर उत्पन्न गणितीय समीकरणों का मूल्यांकन पायथन के eval का उपयोग करके किया जाता है, और स्ट्रिंग मिलान के माध्यम से परिणामों को आगे बढ़ाया जाता है।

परिणाम (सबसे महत्वपूर्ण आंकड़ों के साथ)

अंकगणितीय रीज़निंग (GSM8K): GSM8K पर, PaLM 540B पर मानक प्रॉम्प्टिंग 17.9% हासिल करती है, जबकि 8-शॉट CoT प्रॉम्प्टिंग 56.9% (और बाहरी कैलकुलेटर के साथ 58.6%) प्राप्त करती है, जिसने वेरीफ़ायर के साथ फ़ाइन-ट्यून किए गए GPT-3 175B के 55% के पूर्व सुपरवाइज़्ड रिकॉर्ड को पीछे छोड़ दिया। Codex 63.1% (कैलकुलेटर के साथ 65.4%) प्राप्त करता है।
अन्य गणितीय बेंचमार्क: PaLM 540B SVAMP पर 79.0% (बनाम 69.4% मानक), ASDiv पर 73.9% (बनाम 72.1% मानक), AQuA पर 35.8% (बनाम 25.2% मानक), और MAWPS पर 93.3% (बनाम 79.2% मानक) तक पहुँचता है।
सामान्य ज्ञान रीज़निंग: PaLM 540B CoT ने StrategyQA पर 75.6% (बनाम 68.6% मानक और 69.4% पूर्व सुपरवाइज़्ड रिकॉर्ड) के साथ एक नया स्टेट-ऑफ-द-आर्ट स्थापित किया और Sports Understanding पर मानव खेल प्रेमियों से बेहतर प्रदर्शन किया (95.4% बनाम 84.0%)।
प्रतीकात्मक हेरफेर और लंबाई का सामान्यीकरण: अंतिम-अक्षर संयोजन (last-letter concatenation) पर, PaLM 540B इन-डोमेन (2 शब्द) में 7.6% (मानक) से 99.4% (CoT) पर पहुँच जाता है। जब 4 शब्दों पर आउट-ऑफ-डोमेन परीक्षण किया गया, तो मानक प्रॉम्प्टिंग 0.0% पर गिर जाती है, जबकि CoT 63.0% सटीकता बनाए रखती है।
एब्लेशन (Ablations): LaMDA 137B पर किए गए एब्लेशन पुष्टि करते हैं कि "केवल समीकरण" प्रॉम्प्टिंग (GSM8K पर 5.4%), बिंदुओं के माध्यम से "केवल परिवर्तनीय कंप्यूट" (6.4%), और "उत्तर के बाद रीज़निंग" (6.1%) मानक CoT प्रॉम्प्टिंग (14.3%) की बराबरी करने में विफल रहते हैं, जो दर्शाता है कि उत्तर से पहले मध्यवर्ती प्राकृतिक भाषा चरण अनिवार्य हैं।

सीमाएं और खुले प्रश्न

तथ्यात्मक रूप से सही रीज़निंग की गारंटी नहीं: उत्पन्न श्रृंखलाएं अविश्वसनीय, अर्थ की दृष्टि से त्रुटिपूर्ण या मतिभ्रमित (hallucinated) हो सकती हैं, जो कभी-कभी केवल संयोग से सही उत्तर तक पहुँच जाती हैं (विशेष रूप से बाइनरी या बहुविकल्पीय प्रारूपों में)।
मॉडल स्केल की बाधा: उत्पादन परिवेश में इस तकनीक को परोसना महंगा है क्योंकि इसे विश्वसनीय रूप से काम करने के लिए $\sim 100 B +$ पैरामीटर्स वाले मॉडल्स की आवश्यकता होती है।
वास्तविक रीज़निंग का खुला प्रश्न: शोधपत्र में उल्लेख किया गया है कि मानवीय तर्कों की नकल करना यह साबित नहीं करता है कि अंतर्निहित न्यूरल अभ्यावेदन औपचारिक रीज़निंग को निष्पादित करते हैं।

मुख्य शब्द

chain of thought: किसी समस्या के अंतिम उत्तर की भविष्यवाणी करने से पहले उत्पन्न किए गए मध्यवर्ती प्राकृतिक भाषा रीज़निंग चरणों की एक सुसंगत श्रृंखला।
chain-of-thought prompting: एक प्रॉम्प्टिंग रणनीति जहाँ मॉडल वेट्स को अपडेट किए बिना फ़्यू-शॉट उदाहरणों को इनपुट, मध्यवर्ती रीज़निंग श्रृंखला और आउटपुट ट्रिपलेट्स के रूप में स्वरूपित किया जाता है।
emergent ability: एक ऐसी क्षमता जो छोटे लैंग्वेज मॉडल्स में अनुपस्थित या हानिकारक होती है और केवल तभी प्रकट होती है जब मॉडल का पैमाना एक सीमा (लगभग 100B पैरामीटर्स) को पार कर जाता है।
GSM8K: 1,319 उच्च-गुणवत्ता वाली, प्राथमिक विद्यालय की बहु-चरणीय गणितीय शब्द समस्याओं का एक बेंचमार्क, जिन्हें हल करने के लिए 2 से 8 अंकगणितीय चरणों की आवश्यकता होती है।
standard prompting: मानक फ़्यू-शॉट इन-कॉन्टेक्स्ट लर्निंग सेटअप जहाँ उदाहरणों में केवल इनपुट और अंतिम आउटपुट युग्म शामिल होते हैं।
length generalization: परीक्षण के समय ऐसी रीज़निंग श्रृंखलाओं पर सफल होने की मॉडल की क्षमता, जिनमें फ़्यू-शॉट उदाहरणों में दिखाए गए चरणों की तुलना में अधिक चरण या बड़े अनुक्रम की लंबाई होती है।
external calculator: एक पोस्ट-हॉक मूल्यांकन तंत्र जो उत्पन्न chain of thought से समीकरण निकालता है, उन्हें पायथन के eval के साथ निष्पादित करता है, और डाउनस्ट्रीम टेक्स्ट को अपडेट करता है।
variable compute: कठिन समस्याओं पर अधिक कंप्यूटेशन की अनुमति देने के लिए मध्यवर्ती जेनरेशन टोकन की परिवर्तनीय संख्या का आवंटन।

प्रश्न

छोटे लैंग्वेज मॉडल्स के लिए chain-of-thought प्रॉम्प्टिंग विफल क्यों हो जाती है?

~10B पैरामीटर्स से कम के मॉडल आमतौर पर धाराप्रवाह लेकिन अतार्किक या दोहराव वाली विचार श्रृंखलाएं उत्पन्न करते हैं और बुनियादी सिंबल मैपिंग और अंकगणित में कठिनाई महसूस करते हैं, जिससे प्रत्यक्ष उत्तर देने की तुलना में प्रदर्शन खराब होता है।

Chain-of-thought प्रॉम्प्टिंग, प्रॉम्प्ट की शब्दावली और व्याख्याकारों (annotators) के प्रति कितनी संवेदनशील है?

यद्यपि सटीक सटीकता अलग-अलग व्याख्याकारों और प्रॉम्प्ट शैलियों में भिन्न होती है, तीन स्वतंत्र व्याख्याकारों और GSM8K के यादृच्छिक नमूनों के प्रयोग दिखाते हैं कि सभी CoT वेरिएंट लगातार बड़े अंतर से मानक प्रॉम्प्टिंग से बेहतर प्रदर्शन करते हैं।

क्या सीधे एक समीकरण उत्पन्न करना प्राकृतिक भाषा रीज़निंग के समान ही लाभ प्रदान करता है?

नहीं। GSM8K जैसे जटिल डेटासेट्स पर, समीकरण-मात्र प्रॉम्प्टिंग LaMDA 137B पर केवल 5.4% सटीकता प्राप्त करती है, जबकि CoT के साथ यह 14.3% है, क्योंकि मध्यवर्ती प्राकृतिक भाषा चरणों के बिना एकल समीकरण में सिमेंटिक अनुवाद करना बहुत चुनौतीपूर्ण होता है।

क्या chain of thought लैंग्वेज मॉडल्स को प्रॉम्प्ट में देखे गए इनपुट की तुलना में लंबे इनपुट के लिए सामान्यीकरण करने में मदद कर सकती है?

हाँ। अंतिम-अक्षर संयोजन और सिक्का उछालने (coin flip) जैसे प्रतीकात्मक कार्यों पर, CoT PaLM 540B जैसे मॉडल्स को 3-चरणीय और 4-चरणीय आउट-ऑफ-डोमेन इनपुट के लिए सामान्यीकृत करने में सक्षम बनाती है, जबकि प्रॉम्प्ट में केवल 2-चरणीय अनुक्रम प्रदर्शित किए गए थे।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें