Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

Jason Wei; Xuezhi Wang; Dale Schuurmans; Maarten Bosma; Brian Ichter; Fei Xia; Ed Chi; Quoc Le; Denny Zhou

الأوراق البحثية · arXiv 2201.11903

الحث بسلسلة الأفكار يستثير قدرات الاستدلال في النماذج اللغوية الكبيرة

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, Denny Zhou

تاريخ النشر 2022-01-28cs.CLcs.AI arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 يفشل الحث القياسي قليل الأمثلة في تنفيذ الاستدلال المعقد متعدد الخطوات (الحسابي، المنطقي، والرمزي) ويُظهر منحنيات توسع بيانية مسطحة.
🔧 تعزيز الأمثلة التوضيحية القليلة بسلسلة أفكار — وهي تسلسل باللغة الطبيعية لخطوات استدلالية وسيطة — قبل التنبؤ بالإجابة النهائية.
📈 حقق PaLM 540B المزود بـ 8 أمثلة لسلسلة الأفكار دقة بلغت 56.9% على GSM8K (و58.6% باستخدام آلة حاسبة خارجية)، متفوقًا على GPT-3 المضبوط دقيقًا والمزود بـ verifier.

الملخص

نستكشف كيف يؤدي توليد سلسلة من الأفكار (chain of thought) — وهي سلسلة من خطوات الاستدلال الوسيطة — إلى تحسين قدرة النماذج اللغوية الكبيرة بشكل ملحوظ على تنفيذ الاستدلال المعقد. وعلى وجه الخصوص، نوضح كيف تنبثق قدرات الاستدلال هذه تلقائيًا في النماذج اللغوية الكبيرة بما يكفي عبر طريقة بسيطة تُسمى الحث بسلسلة الأفكار (chain of thought prompting)، حيث يتم تقديم بضعة أمثلة توضيحية تتضمن سلاسل أفكار ضمن موجهات الحث. تُظهر التجارب على ثلاثة نماذج لغوية كبيرة أن الحث بسلسلة الأفكار يحسن الأداء في مجموعة من مهام الاستدلال الحسابي، والمنطقي الفطري (commonsense)، والرمزي. وقد كانت المكاسب التجريبية مذهلة؛ فعلى سبيل المثال، أدى حث نموذج لغوي يضم 540 مليار معلَمَة بثمانية أمثلة توضيحية فقط لسلسلة الأفكار إلى تحقيق دقة تمثل أفضل أداء حالي على مقياس GSM8K للمسائل الرياضية الكلامية، متفوقًا حتى على نموذج GPT-3 المضبوط دقيقًا والمزود بأداة تحقق (verifier).

الملخص الأصلي (بالإنجليزية)

We explore how generating a chain of thought -- a series of intermediate reasoning steps -- significantly improves the ability of large language models to perform complex reasoning. In particular, we show how such reasoning abilities emerge naturally in sufficiently large language models via a simple method called chain of thought prompting, where a few chain of thought demonstrations are provided as exemplars in prompting. Experiments on three large language models show that chain of thought prompting improves performance on a range of arithmetic, commonsense, and symbolic reasoning tasks. The empirical gains can be striking. For instance, prompting a 540B-parameter language model with just eight chain of thought exemplars achieves state of the art accuracy on the GSM8K benchmark of math word problems, surpassing even finetuned GPT-3 with a verifier.

دليل القراءة

المشكلة والدافع

يمنح الحث القياسي قليل الأمثلة (standard few-shot prompting) النماذج اللغوية أمثلة تتكون من مدخلات ومخرجات، مما يحقق أداءً قويًا في العديد من مهام الإجابة المباشرة عن الأسئلة. ومع ذلك، في مهام الاستدلال متعدد الخطوات — مثل الحساب لمستوى المرحلة الابتدائية، وأسئلة الحس المشترك متعددة القفزات، والمعالجات الرمزية — فإن مجرد زيادة حجم النموذج في ظل الحث القياسي غالبًا ما يؤدي إلى منحنيات توسع مسطحة وأداء ضعيف. اعتمدت المحاولات السابقة لحل المشكلات متعددة الخطوات إما على تدريب/ضبط دقيق لنماذج مبررات متخصصة (والتي تتطلب كميات هائلة من بيانات المبررات المشرفة والمكلفة) أو على تمثيلات عصبية-رمزية رسمية. تبحث هذه الورقة فيما إذا كان بإمكان النماذج اللغوية العامة تنفيذ الاستدلال متعدد الخطوات بالكامل داخل السياق (in-context) دون أي تحديث لأوزان النموذج.

الأفكار الرئيسية

التفكيك بسلسلة الأفكار (Chain-of-Thought Decomposition): يقوم البشر بتفكيك المشكلات المعقدة إلى خطوات استدلالية متسلسلة قبل صياغة الإجابة. يمكن للنماذج اللغوية محاكاة هذا السلوك عندما تسترشد بأمثلة ضمن السياق مهيكلة في صورة ثلاثيات: $⟨ input, chain of thought, output ⟩$ .
الانبثاق مع زيادة الحجم (Emergence at Scale): لا يقدم الحث بسلسلة الأفكار (CoT) تحسينات ذات مغزى — وغالبًا ما يقلل من الأداء — للنماذج الصغيرة (أقل من 10 مليارات معلَمَة). وتنبثق بوصفها قدرة فعالة فقط في النماذج التي تحتوي على حوالي 100 مليار معلَمَة أو أكثر.
حوسبة وسيطة متغيرة (Variable Intermediate Computation): يتيح توليد وحدات نصية (tokens) باللغة الطبيعية للنموذج تخصيص حوسبة إضافية ديناميكيًا (عبر التوليد التراجعي الذاتي للرموز) للمشكلات الأصعب متعددة الخطوات، وهو ما لا يمكن للتنبؤ المباشر بالإجابة فعله.

الطريقة (مع المعادلات الرئيسية)

تُعدّل هذه الطريقة نموذج الحث قليل الأمثلة. فبدلاً من الحث باستخدام أزواج من المدخلات والمخرجات $(x_{i}, y_{i})$ : $P_{standard} = {(x_{1}, y_{1}), (x_{2}, y_{2}), \dots, (x_{k}, y_{k})}$ حيث يحسب النموذج مباشرة $P (y ∣ x, P_{standard})$ ، يُدرج الحث بسلسلة الأفكار سلسلة استدلالية باللغة الطبيعية $c_{i} = (c_{i, 1}, c_{i, 2}, \dots, c_{i, m})$ قبل الإجابة النهائية: $P_{CoT} = {(x_{1}, c_{1}, y_{1}), (x_{2}, c_{2}, y_{2}), \dots, (x_{k}, c_{k}, y_{k})}$ وفي وقت الاستدلال الإحصائي (inference) لمدخل اختباري $x$ ، يولد النموذج تراجعيًا ذاتيًا كلاً من سلسلة الاستدلال والإجابة: $P (c, y ∣ x, P_{CoT}) = t = 1 \prod ∣ c ∣ P (c_{t} ∣ x, P_{CoT}, c_{< t}) j = 1 \prod ∣ y ∣ P (y_{j} ∣ x, P_{CoT}, c, y_{< j})$ بالنسبة للمقاييس الحسابية، يقيم المؤلفون أيضًا امتدادًا خارجيًا بعديًا لآلة حاسبة: تُحسب المعادلات الرياضية المولدة داخل $c$ باستخدام دالة eval في Python، ويتم تمرير النتائج للأمام عبر مطابقة النصوص لمنع زلات الحساب اليدوي.

النتائج (مع أهم الأرقام)

الاستدلال الحسابي (GSM8K): في معيار GSM8K، يحقق الحث القياسي على PaLM 540B نسبة 17.9%، بينما يحقق حث CoT بـ 8 أمثلة نسبة 56.9% (و58.6% مع آلة حاسبة خارجية)، متفوقًا على أفضل أداء خاضع للإشراف سابقًا والبالغ 55% المحقق بواسطة GPT-3 175B المضبوط دقيقًا والمزود بـ verifier. وحقق Codex نسبة 63.1% (65.4% مع الآلة الحاسبة).
مقاييس الرياضيات الأخرى: وصل PaLM 540B إلى 79.0% على SVAMP (مقابل 69.4% للقياسي)، و73.9% على ASDiv (مقابل 72.1% للقياسي)، و35.8% على AQuA (مقابل 25.2% للقياسي)، و93.3% على MAWPS (مقابل 79.2% للقياسي).
الاستدلال المنطقي الفطري: حقق PaLM 540B مع CoT إنجازًا قياسيًا جديدًا على StrategyQA بنسبة 75.6% (مقابل 68.6% للقياسي و69.4% لأفضل أداء سابق خاضع للإشراف)، وتفوق على الرياضيين البشريين في Sports Understanding (بنسبة 95.4% مقابل 84.0%).
المعالجة الرمزية وتعميم الطول: في مهمة دمج الأحرف الأخيرة، قفز PaLM 540B من 7.6% (قياسي) إلى 99.4% (CoT) داخل النطاق (كلمتان). وعند اختباره خارج النطاق على 4 كلمات، انخفض الحث القياسي إلى 0.0%، بينما احتفظ CoT بدقة بلغت 63.0%.
دراسات الاجتزاء (Ablations): تؤكد دراسات الاجتزاء على LaMDA 137B أن حث "المعادلة فقط" (5.4% على GSM8K)، و"الحوسبة المتغيرة فقط" عبر النقاط (6.4%)، و"الاستدلال بعد الإجابة" (6.1%) يفشلون في مجاراة حث CoT القياسي (14.3%)، مما يثبت أن الخطوات الوسيطة باللغة الطبيعية قبل الإجابة تعد أمرًا جوهريًا.

القيود والأسئلة المفتوحة

عدم ضمان صحة الاستدلال الواقعي: يمكن أن تكون السلاسل المولدة غير دقيقة، أو معيبة دلاليًا، أو متضمنة هلوسات، وتصل أحيانًا إلى الإجابة الصحيحة بمحض الصدفة (خاصة في التنسيقات الثنائية أو أسئلة الاختيار من متعدد).
قيد حجم النموذج: تُعد هذه التقنية مكلفة عند تقديمها في بيئات الإنتاج الفعلية، لأنها تتطلب نماذج تضم حوالي 100 مليار معلَمَة فأكثر لتعمل بشكل موثوق.
سؤال مفتوح حول الاستدلال الحقيقي: تشير الورقة إلى أن محاكاة التبريرات البشرية لا تثبت أن التمثيلات العصبية الكامنة تنفذ استدلالاً منطقيًا رسميًا.

المصطلحات الرئيسية

chain of thought: سلسلة متماسكة من خطوات الاستدلال الوسيطة باللغة الطبيعية التي يتم توليدها قبل التنبؤ بالإجابة النهائية لمسألة ما.
chain-of-thought prompting: استراتيجية حث يتم فيها صياغة الأمثلة التوضيحية القليلة في صورة ثلاثيات تتكون من مدخلات، وسلسلة استدلال وسيطة، ومخرجات، وذلك دون تحديث أوزان النموذج.
emergent ability: قدرة تكون غائبة أو ذات أثر ضار في النماذج اللغوية الأصغر، وتظهر فقط عندما يتجاوز حجم النموذج حدًا معينًا (حوالي 100 مليار معلَمَة).
GSM8K: مقياس يتألف من 1,319 مسألة كلامية رياضية عالية الجودة ومتعددة الخطوات لطلاب المدارس الابتدائية، وتتطلب من خطوتين إلى 8 خطوات حسابية لحلها.
standard prompting: إعداد التعلّم داخل السياق التقليدي قليل الأمثلة، حيث تتكون التوضيحات فقط من أزواج المدخلات والمخرجات النهائية.
length generalization: قدرة النموذج على النجاح في وقت الاختبار في سلاسل استدلال تحتوي على خطوات أكثر أو أطوال تسلسل أكبر مما تم عرضه في الأمثلة التوضيحية القليلة.
external calculator: آلية تقييم بعدية تستخرج المعادلات من سلسلة الأفكار المولدة، وتنفذها باستخدام أمر eval في Python، ثم تحدث النص اللاحق.
variable compute: تخصيص أعداد متغيرة من رموز التوليد الوسيطة للسماح بإجراء قدر أكبر من الحوسبة للمسائل الأكثر صعوبة.

أسئلة شائعة

لماذا يفشل الحث بسلسلة الأفكار في النماذج اللغوية الصغيرة؟

تولد النماذج التي يقل حجمها عن حوالي 10 مليارات معلَمَة في الغالب سلاسل أفكار طليقة لغويًا لكنها غير منطقية أو متكررة، وتواجه صعوبة في مطابقة الرموز الأساسية والعمليات الحسابية، مما يؤدي إلى أداء أقل مقارنة بالإجابة المباشرة.

ما مدى حساسية الحث بسلسلة الأفكار لصياغة الموجهات واختلاف واضعي البيانات؟

على الرغم من تفاوت الدقة الدقيقة باختلاف واضعي البيانات وأساليب الموجهات، فإن التجارب عبر ثلاثة واضعي بيانات مستقلين وعينات عشوائية من GSM8K تظهر أن جميع متغيرات CoT تتفوق باستمرار على الحث القياسي بفوارق كبيرة.

هل يوفر توليد معادلة حسابية مباشرة الفائدة نفسها التي يوفرها الاستدلال باللغة الطبيعية؟

لا؛ ففي مجموعات البيانات المعقدة مثل GSM8K، يحقق الحث بالمعادلة فقط دقة 5.4% فقط على LaMDA 137B مقارنة بـ 14.3% مع CoT، لأن الترجمة الدلالية إلى معادلة واحدة تعد صعبة للغاية دون خطوات وسيطة باللغة الطبيعية.

هل يمكن لسلسلة الأفكار مساعدة النماذج اللغوية على تعميم الأداء على مدخلات أطول من تلك الموجودة في الموجهات؟

نعم؛ ففي المهام الرمزية مثل دمج الأحرف الأخيرة وتقليب العملة المعدنية، يمكّن CoT نماذج مثل PaLM 540B من التعميم على مدخلات خارج النطاق تتكون من 3 خطوات و4 خطوات عندما لا توضح الموجهات سوى تسلسلات من خطوتين.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي