Training language models to follow instructions with human feedback

Long Ouyang; Jeff Wu; Xu Jiang; Diogo Almeida; Carroll L. Wainwright; Pamela Mishkin; Chong Zhang; Sandhini Agarwal; Katarina Slama; Alex Ray; John Schulman; Jacob Hilton; Fraser Kelton; Luke Miller; Maddie Simens; Amanda Askell; Peter Welinder; Paul Christiano; Jan Leike; Ryan Lowe

تدريب نماذج اللغة على اتباع التعليمات باستخدام التغذية الراجعة البشرية

Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton et al.

تاريخ النشر 2022-03-04cs.CLcs.AIcs.LG arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

غالباً ما تفشل نماذج اللغة الكبيرة المدربة فقط على التنبؤ بالرمز التالي في اتباع نية المستخدم، مما ينتج عنه إجابات سامة أو غير صادقة أو غير مفيدة.
يتم ضبط GPT-3 دقيقاً باستخدام عروض بشرية خاضعة للإشراف، وتدريب نموذج مكافأة 6B على مخرجات مرتبة، وتحسين السياسة عبر PPO مع مزيج من بيانات ما قبل التدريب.
تُفضل مخرجات InstructGPT ذي 1.3B على GPT-3 ذي 175B، بينما يتفوق InstructGPT ذي 175B على GPT-3 ذي 175B بنسبة 85% من المرات ويقلل الهلوسة من 41% إلى 21%.

الملخص

إن زيادة حجم نماذج اللغة لا يجعلها بالضرورة أفضل في اتباع نية المستخدم. على سبيل المثال، يمكن لنماذج اللغة الكبيرة أن تولد مخرجات غير صادقة، أو سامة، أو ببساطة غير مفيدة للمستخدم. وبعبارة أخرى، فإن هذه النماذج غير متوائمة مع مستخدميها. نوضح في هذه الورقة البحثية مساراً لمواءمة نماذج اللغة مع نية المستخدم عبر مجموعة واسعة من المهام عن طريق الضبط الدقيق باستخدام التغذية الراجعة البشرية. بدءاً من مجموعة من المحثات التي كتبها المقيمون والمحثات المقدمة عبر OpenAI API، نجمع مجموعة بيانات من العروض التوضيحية لسلوك النموذج المرغوب التي كتبها المقيمون، والتي نستخدمها لضبط GPT-3 دقيقاً باستخدام التعلم الخاضع للإشراف. ثم نجمع مجموعة بيانات لتصنيفات مخرجات النموذج، والتي نستخدمها لمزيد من الضبط الدقيق لهذا النموذج الخاضع للإشراف باستخدام التعلم المعزز من التغذية الراجعة البشرية. نطلق على النماذج الناتجة اسم InstructGPT. في التقييمات البشرية على توزيع المحثات لدينا، يفضل المقيمون مخرجات نموذج InstructGPT ذي 1.3B معامل على مخرجات GPT-3 ذي 175B، على الرغم من احتوائه على معاملات أقل بمقدار 100 ضعف. علاوة على ذلك، تُظهر نماذج InstructGPT تحسينات في الصدق وتخفيضات في توليد المخرجات السامة مع وجود تراجع طفيف في الأداء على مجموعات بيانات NLP العامة. على الرغم من أن InstructGPT لا يزال يرتكب أخطاء بسيطة، إلا أن نتائجنا توضح أن الضبط الدقيق بالتغذية الراجعة البشرية هو اتجاه واعد لمواءمة نماذج اللغة مع النوايا البشرية.

الملخص الأصلي (بالإنجليزية)

Making language models bigger does not inherently make them better at following a user's intent. For example, large language models can generate outputs that are untruthful, toxic, or simply not helpful to the user. In other words, these models are not aligned with their users. In this paper, we show an avenue for aligning language models with user intent on a wide range of tasks by fine-tuning with human feedback. Starting with a set of labeler-written prompts and prompts submitted through the OpenAI API, we collect a dataset of labeler demonstrations of the desired model behavior, which we use to fine-tune GPT-3 using supervised learning. We then collect a dataset of rankings of model outputs, which we use to further fine-tune this supervised model using reinforcement learning from human feedback. We call the resulting models InstructGPT. In human evaluations on our prompt distribution, outputs from the 1.3B parameter InstructGPT model are preferred to outputs from the 175B GPT-3, despite having 100x fewer parameters. Moreover, InstructGPT models show improvements in truthfulness and reductions in toxic output generation while having minimal performance regressions on public NLP datasets. Even though InstructGPT still makes simple mistakes, our results show that fine-tuning with human feedback is a promising direction for aligning language models with human intent.

دليل القراءة

المشكلة والدوافع

تعمل نماذج اللغة الكبيرة (LLMs) القياسية على تحسين التنبؤ بالرمز التالي على نصوص الويب. يتعارض هدف ما قبل التدريب هذا مع هدف المستخدم المتمثل في الحصول على مساعد يتبع التعليمات بشكل مفيد وصادق وغير ضار. وبالتالي، فإن النماذج الأساسية مثل GPT-3 غالباً ما تهلوس بالحقائق، أو تختلق سياقاً زائفاً، أو تعكس نصوصاً سامة، أو تتجاهل قيود المستخدم الصريحة. إن مجرد زيادة معاملات النموذج وحدها لا تقضي على هذه المشكلات.

الأفكار الرئيسية

المواءمة من خلال التعلم المعزز من التغذية الراجعة البشرية (RLHF): استخدام التقييمات البشرية لتوجيه مخرجات النموذج نحو نوايا المستخدم بدلاً من مجرد احتمالية الاستمرار الخام.
مسار تدريب من ثلاث خطوات: (1) الضبط الدقيق الخاضع للإشراف (SFT) على أزواج المحثات والعروض التوضيحية، (2) تدريب نموذج المكافأة (RM) على المقارنات الزوجية للمخرجات المصنفة، و(3) تحسين السياسة باستخدام Proximal Policy Optimization (PPO).
تخفيف ضريبة المواءمة: يؤدي الضبط الدقيق القياسي باستخدام PPO إلى تدهور الأداء في معايير NLP القياسية (مثل SQuADv2 وDROP). يؤدي خلط تدرجات توزيع ما قبل التدريب في تحديثات PPO (PPO-ptx) إلى التخفيف من خسائر القدرات هذه دون التضحية بمكاسب التفضيل البشري.

الطريقة (مع المعادلات الرئيسية)

الضبط الدقيق الخاضع للإشراف (SFT): ضبط نماذج GPT-3 الأساسية دقيقاً على حوالي 13 ألف عرض توضيحي للمحثات كتبها مقيمون وقُدمت عبر OpenAI API Playground.
تدريب نموذج المكافأة: لكل محث $x$ ، يرتب المقيمون $K$ من المخرجات ( $K \in [4, 9]$ )، مما يولد $(2 K)$ من المقارنات. يتم تدريب نموذج المكافأة 6B، المرموز له بـ $r_{θ} (x, y)$ ، باستخدام خسارة الإنتروبيا المتقاطعة الزوجية عبر جميع الأزواج في عنصر الدفعة: $loss (θ) = - \frac{1}{( 2 K )} E_{(x, y_{w}, y_{l}) \sim D} [lo g σ (r_{θ} (x, y_{w}) - r_{θ} (x, y_{l}))]$ حيث $y_{w}$ هو المخرج المفضل على $y_{l}$ .
تحسين سياسة RL (PPO-ptx): تحسين السياسة $π_{ϕ}^{RL}$ مقابل المكافآت العددية مع معاقبة الانحراف عن نموذج SFT عبر تباعد KL على مستوى الرموز، والاحتفاظ اختيارياً باحتمالية السجل لما قبل التدريب: $objective (ϕ) = E_{(x, y) \sim D_{π_{ϕ}^{RL}}} [r_{θ} (x, y) - β lo g (\frac{π _{ϕ}^{RL} ( y ∣ x )}{π ^{SFT} ( y ∣ x )})] + γ E_{x \sim D_{pretrain}} [lo g π_{ϕ}^{RL} (x)]$ هنا $β$ هو معامل عقوبة KL و $γ$ يتحكم في خلط تدرج ما قبل التدريب.

النتائج (مع أهم الأرقام)

التفضيلات البشرية: يفضل المقيمون مخرجات نموذج InstructGPT ذي 1.3B على مخرجات GPT-3 الأساسي ذي 175B (فرق في المعاملات بمقدار 100 ضعف). تُفضل مخرجات InstructGPT ذي 175B على GPT-3 ذي 175B بنسبة $85 \pm 3%$ من الوقت، وبنسبة $71 \pm 4%$ مقارنة بـ GPT-3 ذي 175B مع محثات بضع لقطات (few-shot).
الصدق والهلوسة: في TruthfulQA، ينتج InstructGPT مخرجات صادقة وغنية بالمعلومات بما يقارب ضعف معدل GPT-3. وفي مهام API ذات النطاق المغلق، ينخفض معدل الهلوسة من 41% (GPT-3) إلى 21% (InstructGPT).
السمية: ينتج InstructGPT مخرجات سامة أقل بنسبة تقارب 25% مقارنة بـ GPT-3 على RealToxicityPrompts عند حثه على أن يكون محترماً.
التعميم: يعمم InstructGPT بشكل موثوق على المقيمين المستبعدين (توافق بنسبة $77.3%$ ) وعلى التعليمات الخارجة عن التوزيع مثل الأسئلة والأجوبة/التلخيص البرمجي والتعليمات غير الإنجليزية، على الرغم من أن اللغة الإنجليزية تشكل أكثر من 96% من بيانات التدريب.

القيود والأسئلة المفتوحة

المفاضلات بين الأمان والمواءمة: يعطي InstructGPT الأولوية بشكل أساسي للالتزام بتعليمات المستخدم أثناء التدريب؛ وإذا طُلب منه أن يكون خبيثاً أو متحيزاً، فإنه يتبع التعليمات بفعالية.
الأخطاء البسيطة: لا يزال النموذج يهلوس، ويمكنه التحوط بشكل مفرط بسبب التكييف على التواضع المعرفي، ويواجه صعوبة مع المقدمات الخاطئة أو القيود المتعددة المعقدة.
التمثيل: يعتمد الضبط الدقيق على التغذية الراجعة من المتعاقدين (حوالي 40 مقيماً تم توظيفهم) واستعلامات عملاء API Playground، والتي لا تعبر عن الطيف الواسع للمستخدمين النهائيين.

المصطلحات الرئيسية

RLHF (التعلم المعزز من التغذية الراجعة البشرية): طريقة تدرب نموذج مكافأة بناءً على التفضيلات البشرية وتضبط السياسة دقيقاً عبر التعلم المعزز.
InstructGPT: عائلة نماذج GPT-3 المضبوطة دقيقاً باستخدام العروض التوضيحية الخاضعة للإشراف وRLHF لاتباع تعليمات اللغة الطبيعية.
Alignment tax (ضريبة المواءمة): انخفاض الأداء الملاحظ في معايير NLP القياسية (مثل DROP أو SQuAD) عند مواءمة نموذج اللغة مع التفضيلات البشرية.
PPO-ptx: نسخة معدلة من PPO تخلط تدرجات بيانات ما قبل التدريب ضمن هدف الضبط الدقيق لـ RL للحفاظ على القدرات المقاسة بالاختبارات القياسية.
Reward Model (RM) (نموذج المكافأة): نموذج مدرب على تعيين درجة عددية لزوج المحث والمخرج، متنبئاً بالتفضيل البشري على المخرجات البديلة.
Supervised fine-tuning (SFT) (الضبط الدقيق الخاضع للإشراف): الخطوة الأولى في مسار المواءمة حيث يتم ضبط نموذج لغة أساسي دقيقاً على أزواج المحثات والعروض التوضيحية المكتوبة بشرياً.
Hallucination (الهلوسة): عندما يختلق نموذج اللغة معلومات غير مستندة إلى أصل أو ملفقة في مهام النطاق المغلق مثل التلخيص أو الإجابة عن الأسئلة.

أسئلة شائعة

لماذا يتفوق InstructGPT ذو 1.3B على GPT-3 ذي 175B في التقييمات البشرية؟

يحسن GPT-3 الأساسي التنبؤ بالرمز التالي عبر نصوص ويب غير مصفاة، وغالباً ما يتجاهل التعليمات أو يكرر السياق. في المقابل، تم تحسين InstructGPT صراحةً بناءً على إشارات التفضيل البشري لتقديم إجابات مفيدة ومباشرة، مما يسد الفجوة بين قدرة المعاملات الخام ونية المهمة.

كيف تعالج الورقة البحثية ضريبة المواءمة؟

من خلال دمج حد تحديث ما قبل التدريب في هدف تدريب PPO (المسمى PPO-ptx)، مع ضرب تدرجات ما قبل التدريب في معامل $γ = 27.8$ . يمنع هذا التراجع في مجموعات البيانات العامة مثل SQuAD وDROP دون التأثير سلباً على مكاسب التفضيل البشري.

كيف تم تدريب نموذج المكافأة على المخرجات المرتبة؟

قام المقيمون بترتيب $K$ من المخرجات ( $K$ بين 4 و9) لكل محث. تم تدريب نموذج المكافأة 6B على جميع أزواج $(2 K)$ في وقت واحد ضمن عنصر دفعة واحدة، مما قلل من التمريرات الأمامية ومنع الإفراط في المطابقة.

هل يقلل InstructGPT من التحيز الديموغرافي؟

لا. عند القياس على Winogender وCrowS-Pairs، لم يُظهر InstructGPT انخفاضاً ملحوظاً في التحيز مقارنة بـ GPT-3 الأساسي، وأدت المحثات التي تطلب الاحترام أحياناً إلى تقليل الإنتروبيا (مما زاد من التحيز المقاس).

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي