ReAct: Synergizing Reasoning and Acting in Language Models

Shunyu Yao; Jeffrey Zhao; Dian Yu; Nan Du; Izhak Shafran; Karthik Narasimhan; Yuan Cao

الأوراق البحثية · arXiv 2210.03629

ReAct: التآزر بين الاستدلال والتنفيذ في النماذج اللغوية

ReAct: Synergizing Reasoning and Acting in Language Models

Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan Cao

تاريخ النشر 2022-10-06cs.CLcs.AIcs.LG arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 تعاني النماذج اللغوية الكبيرة التي تطبق سلسلة الأفكار البحتة من الاستدلال بمعزل عن الواقع والهلوسة، بينما تفتقر الوكلاء المقتصرون على التنفيذ فقط إلى الذاكرة العاملة والتخطيط الاستراتيجي.
🔧 توسيع فضاءات إجراءات الوكلاء بأفكار لغوية حرة تتداخل مع الإجراءات الفيزيائية أو عبر واجهات برمجة التطبيقات لتسهيل التخطيط والتتبع والتنفيذ الديناميكي.
📈 يحقق ReAct نسبة نجاح 71% في ALFWorld و40.0% في WebShop، متفوقًا على نماذج التقليد والتعلم التعزيزي، مع تقليل الهلوسة بدرجة كبيرة في مهام الإجابة عن الأسئلة.

الملخص

في حين أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات مذهلة عبر مهام فهم اللغة واتخاذ القرارات التفاعلية، فإن قدراتها على الاستدلال (مثل هندسة حث سلسلة الأفكار chain-of-thought) والتنفيذ (مثل توليد خطط الإجراءات) دُرست في المقام الأول كموضوعين منفصلين. نستكشف في هذا البحث استخدام النماذج اللغوية الكبيرة لتوليد كل من مسارات الاستدلال والإجراءات الخاصة بالمهمة بطريقة متداخلة، مما يتيح تآزرًا أكبر بين الاثنين: تساعد مسارات الاستدلال النموذج على استقراء خطط الإجراءات وتتبعها وتحديثها فضلًا عن معالجة الاستثناءات، بينما تسمح له الإجراءات بالتواصل مع مصادر خارجية، مثل قواعد المعرفة أو البيئات، لجمع معلومات إضافية. نطبق نهجنا، المسمى ReAct، على مجموعة متنوعة من مهام اللغة واتخاذ القرار، ونوضح فعاليته مقارنة بالنماذج المرجعية الحديثة، فضلًا عن تحسين قابلية التفسير البشري والجدارة بالثقة مقارنة بالأساليب الخالية من مكونات الاستدلال أو التنفيذ. وعلى وجه التحديد، في مهام الإجابة عن الأسئلة (HotpotQA) والتحقق من الحقائق (Fever)، يتغلب ReAct على مشكلات الهلوسة وانتشار الأخطاء الشائعة في استدلال سلسلة الأفكار من خلال التفاعل مع واجهة برمجة تطبيقات Wikipedia بسيطة، ويولد مسارات حل مهام شبيهة بالبشر تكون أكثر قابلية للتفسير من النماذج المرجعية التي تفتقر إلى مسارات الاستدلال. وفي اثنين من مقاييس التقييم المعيارية التفاعلية لاتخاذ القرار (ALFWorld وWebShop)، يتفوق ReAct على أساليب التعلم بالتقليد والتعلم التعزيزي بنسبة نجاح مطلقة تبلغ 34% و10% على التوالي، وذلك بالاعتماد فقط على مثال أو مثالين ضمن السياق. موقع المشروع مع الكود البرمجي: https://react-lm.github.io

الملخص الأصلي (بالإنجليزية)

While large language models (LLMs) have demonstrated impressive capabilities across tasks in language understanding and interactive decision making, their abilities for reasoning (e.g. chain-of-thought prompting) and acting (e.g. action plan generation) have primarily been studied as separate topics. In this paper, we explore the use of LLMs to generate both reasoning traces and task-specific actions in an interleaved manner, allowing for greater synergy between the two: reasoning traces help the model induce, track, and update action plans as well as handle exceptions, while actions allow it to interface with external sources, such as knowledge bases or environments, to gather additional information. We apply our approach, named ReAct, to a diverse set of language and decision making tasks and demonstrate its effectiveness over state-of-the-art baselines, as well as improved human interpretability and trustworthiness over methods without reasoning or acting components. Concretely, on question answering (HotpotQA) and fact verification (Fever), ReAct overcomes issues of hallucination and error propagation prevalent in chain-of-thought reasoning by interacting with a simple Wikipedia API, and generates human-like task-solving trajectories that are more interpretable than baselines without reasoning traces. On two interactive decision making benchmarks (ALFWorld and WebShop), ReAct outperforms imitation and reinforcement learning methods by an absolute success rate of 34% and 10% respectively, while being prompted with only one or two in-context examples. Project site with code: https://react-lm.github.io

دليل القراءة

المشكلة والدوافع

تتفوق النماذج اللغوية الكبيرة (LLMs) في الاستدلال عبر أسلوب سلسلة الأفكار (Chain-of-Thought - CoT) وفي اتخاذ القرارات من خلال إصدار أوامر قابلة للتنفيذ. ومع ذلك، دُرست هاتان القدرتان تقليديًا بمعزل عن بعضهما البعض:

استدلال CoT غير مرتبط بالواقع (ungrounded): يعتمد النموذج حصريًا على تمثيلات داخلية ثابتة، مما يجعله عرضة للهلوسة الواقعية، والافتقار إلى المعرفة المحدثة، وانتشار الأخطاء المتراكمة.
الأنظمة المقتصرة على التنفيذ (Action-only) تربط السياقات مباشرة بإجراءات البيئة: فهي تفتقر إلى ذاكرة عاملة صريحة لصياغة أهداف مجردة، أو الحفاظ على أهداف فرعية وسيطة، أو التعامل مع التغيرات غير المتوقعة في الحالة.

استلهامًا من الحديث الداخلي لدى البشر، يبحث هذا البحث فيما إذا كان تداخل خطوات الاستدلال مع التفاعلات البيئية ينشئ حلقة تعزيز متبادلة: يوجه الاستدلالُ الإجراءاتِ، بينما تربط التغذية الراجعة من الإجراءات الاستدلالَ بالواقع.

الأفكار الرئيسية

توسيع فضاء الإجراءات (Action Space Augmentation): يتم توسيع فضاء إجراءات الوكيل ليشمل أفكارًا لغوية لا تنتج أي ملاحظة خارجية ولكنها تُحدّث السياق الداخلي.
أنظمة الأفكار الكثيفة مقابل المتفرقة: اعتمادًا على المهمة، يمكن أن تكون الأفكار مترابطة بإحكام (تتناوب خطوة بخطوة للإجابة عن الأسئلة متعددة القفزات) أو غير متزامنة ومتفرقة (تُستخدم فقط عند التخطيط أو التعامل مع المفاجآت في الألعاب ذات الآفاق الطويلة).
الاستدلال الهجين: يوازن الجمع بين المعرفة المعلمية الداخلية (عبر CoT self-consistency) والتغذية الراجعة الخارجية المسترجعة (عبر ReAct) بين الدقة الواقعية ومرونة الاستدلال.

الطريقة (مع المعادلات الرئيسية)

افترض بيئة تفاعلية حيث يستقبل الوكيل في الوقت $t$ ملاحظة $o_{t} \in O$ ، ويحتفظ بسياق المسار $c_{t} = (o_{1}, a_{1}, \dots, o_{t - 1}, a_{t - 1}, o_{t})$ ، ويتصرف وفقًا للسياسة $π (a_{t} ∣ c_{t})$ .

يوسع ReAct فضاء الإجراءات إلى: $\hat{A} = A \cup L$ حيث تمثل $L$ فضاء التعبيرات اللغوية الحرة.

إذا ولد الوكيل إجراءً بيئيًا $\overset{a}{^}_{t} \in A$ ، تُعيد البيئة ملاحظة $o_{t} \in O$ ، لتشكيل السياق التالي $c_{t + 1} = (c_{t}, \overset{a}{^}_{t}, o_{t})$ .
إذا ولد الوكيل فكرة $\overset{a}{^}_{t} \in L$ ، فلا تُولد ملاحظة خارجية؛ وتُضاف الفكرة مباشرة إلى سياق الوكيل: $c_{t + 1} = (c_{t}, \overset{a}{^}_{t})$ .

بالنسبة لمهام المعرفة (HotpotQA، FEVER)، تكون مجموعة إجراءات واجهة برمجة التطبيقات هي $A = {Search [entity], Lookup [string], Finish [answer]}$ . أما بالنسبة للإعدادات الهجينة:

$ReAct \to CoT-SC$ : إذا لم ينتهِ ReAct خلال خطوات محددة (على سبيل المثال، 7 لـ HotpotQA، و5 لـ FEVER)، يتم اللجوء إلى تصويت الأغلبية من CoT self-consistency.
$CoT-SC \to ReAct$ : إذا انخفض اتفاق الأغلبية بين عينات $n$ عن $n /2$ ، يتم اللجوء إلى ReAct.

النتائج (مع أهم الأرقام)

استدلال المعرفة (PaLM-540B):
- في HotpotQA، يحقق الجمع بين كلا النظامين ( $ReAct \to CoT-SC$ ) نسبة 35.1% تطابق تام (EM) مقارنة بـ Standard (28.7%)، وCoT (29.4%)، وAct (25.7%).
- في FEVER، يصل $CoT-SC \to ReAct$ إلى دقة 64.6% مقابل Standard (57.1%) وCoT (56.3%).
- يوضح تحليل الأخطاء أن ReAct لم يتعرض للهلوسة في 0% من حالات فشله في HotpotQA، في حين شكلت الهلوسة 56% من حالات فشل CoT.
اتخاذ القرار (ALFWorld وWebShop):
- في ALFWorld، يحقق ReAct (الأفضل من بين 6) متوسط معدل نجاح قدره 71% (ومتوسط 57% عبر مختلف المحثات)، متفوقًا على Act-only (الأفضل 45%)، والحث بأسلوب Inner Monologue (الأفضل 53%)، ووكيل التعلم بالتقليد BUTLER (الأفضل 37%) المدرب على $1 0^{5}$ مسار.
- في WebShop، يحقق ReAct بمثال واحد (1-shot) معدل نجاح 40.0% ومتوسط درجات 66.6، متفوقًا على النماذج المرجعية للتعلم بالتقليد + التعلم التعزيزي (نجاح 28.7%، درجة 62.4) المدربة على أكثر من 10,000 تعليمة.
الضبط الدقيق (Finetuning): أدى التمهيد الذاتي (Bootstrapping) لنموذجي PaLM-8B وPaLM-62B باستخدام 3,000 مسار صحيح مُولّد ذاتيًا إلى جعل ReAct صاحب الأداء الأفضل، حيث تفوق نموذج ReAct المضبوط دقيقًا PaLM-8B على جميع أساليب حث نموذج 62B.

القيود والأسئلة المفتوحة

حدود الحث داخل السياق: نظرًا لقيود نافذة السياق، لا يمكن للنماذج اللغوية الكبيرة سوى معاينة عدد قليل من الأمثلة التوضيحية (1-6 أمثلة)، مما يجعل إتقان فضاءات الإجراءات الهائلة عبر الحث وحده أمرًا صعبًا.
الانحراف والتكرار في البحث: في ظل فك الترميز الجشع (greedy decoding)، تتسبب نتائج البحث غير المفيدة في فشل ReAct في 23% من حالات الخطأ، مما يؤدي أحيانًا إلى حبس النموذج في حلقات متكررة.
السلامة وتنفيذ الأدوات: يؤدي منح النماذج اللغوية الكبيرة صلاحية اتخاذ إجراءات خارجية في بيئات مفتوحة إلى مخاطر تنفيذ إجراءات غير مقصودة (مثل تنفيذ معاملات ويب غير مرغوب فيها أو استرداد بيانات حساسة).

المصطلحات الرئيسية

ReAct: نموذج قائم على الحث يوجه النماذج اللغوية الكبيرة لتوليد مسارات استدلال وإجراءات خاصة بالمجال بشكل متداخل لحل المهام العامة.
Chain-of-Thought (CoT): أسلوب حث تطرح فيه النماذج خطوات استدلال داخلية قبل توليد الإجابة النهائية، دون اتخاذ إجراءات في بيئات خارجية.
Action Space Augmentation: التوسيع المنهجي لمجموعة الإجراءات المنفصلة للوكيل لتشمل نصوصًا لغوية طبيعية اعتباطية، تُعرّف على أنها أفكار لا تُحدث تغييرًا في البيئة.
Inner Monologue (IM): نموذج مرجعي ونهج سابق يقتصر فيه تفكير النموذج اللغوي بشكل أساسي على التغذية الراجعة من البيئة الخارجية بدلًا من التخطيط الاستراتيجي الداخلي المرن.
CoT-SC: حث سلسلة الأفكار المقترن بالاتساق الذاتي (self-consistency)، حيث تؤخذ عينات من الإجابات عدة مرات بدرجة حرارة غير صفرية وتُحدد الإجابة بتصويت الأغلبية.
ALFWorld: بيئة تفاعلية قائمة على النصوص مبنية على مقياس ALFRED لاختبار تفكيك الأهداف المنزلية متعددة الخطوات والتنقل والتلاعب بالأشياء.
WebShop: مقياس تقييم واقعي للتصفح عبر الويب يضم 1.18 مليون منتج حقيقي جُمعت من Amazon، يُقيّم قدرة الوكيل على تصفح وشراء المنتجات التي تلبي التعليمات النصية.
Self-Reflection / Thought Editing: تدخل بشري في الحلقة يقوم فيه المشغّل بتصحيح أو توجيه مسار النموذج عن طريق تعديل فكرة لغوية مُولدة يدويًا بدلًا من تعديل الأوزان أو سجل الإجراءات.

أسئلة شائعة

لماذا يعد ReAct أقل عرضة للهلوسة مقارنة بأسلوب سلسلة الأفكار (Chain-of-Thought) القياسي؟

يعتمد CoT كليًا على الذاكرة المعلمية الداخلية، والتي غالبًا ما تفبرك حقائق غير موجودة. بينما يتحقق ReAct من المصادر الخارجية (مثل واجهات برمجة تطبيقات Wikipedia) من خلال إجراءات ملموسة، مما يربط الأفكار اللاحقة مباشرة بالملاحظات المسترجعة.

كيف يختلف ReAct عن WebGPT أو SayCan؟

يركز WebGPT وSayCan على التنبؤ بالإجراءات أو الخطط باستخدام التغذية الراجعة البشرية أو نماذج الملاءمة الحركية، دون حث النموذج صراحة على الحفاظ على مسارات استدلاله اللفظي وتفكيكها وتعديلها داخل حلقة متداخلة.

ماذا يحدث عندما لا يسفر البحث عن نتائج مفيدة في ReAct؟

شكلت إخفاقات البحث ما يقارب 23% من حالات فشل ReAct في HotpotQA؛ حيث تواجه النماذج أحيانًا صعوبة في إعادة صياغة الاستعلامات وتتعثر في حلقات إجراءات متكررة في ظل فك الترميز الجشع.

كيف يعمل تعديل الأفكار بمشاركة العنصر البشري في ReAct؟

نظرًا لأن مسارات الاستدلال مصاغة بلغة طبيعية، يمكن للإنسان فحص المسار المتعثر وتعديل فكرة أو فكرتين وسيطتين بصورة مباشرة، مما يخرج الوكيل على الفور من الحلقات المفرغة أو المعتقدات الخاطئة دون الحاجة إلى ضبط دقيق للأوزان.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي