Constitutional AI: Harmlessness from AI Feedback

Yuntao Bai; Saurav Kadavath; Sandipan Kundu; Amanda Askell; Jackson Kernion; Andy Jones; Anna Chen; Anna Goldie; Azalia Mirhoseini; Cameron McKinnon; Carol Chen; Catherine Olsson; Christopher Olah; Danny Hernandez; Dawn Drain; Deep Ganguli; Dustin Li; Eli Tran-Johnson; Ethan Perez; Jamie Kerr; Jared Mueller; Jeffrey Ladish; Joshua Landau; Kamal Ndousse; Kamile Lukosuite; Liane Lovitt; Michael Sellitto; Nelson Elhage; Nicholas Schiefer; Noemi Mercado; Nova DasSarma; Robert Lasenby; Robin Larson; Sam Ringer; Scott Johnston; Shauna Kravec; Sheer El Showk; Stanislav Fort; Tamera Lanham; Timothy Telleen-Lawton; Tom Conerly; Tom Henighan; Tristan Hume; Samuel R. Bowman; Zac Hatfield-Dodds; Ben Mann; Dario Amodei; Nicholas Joseph; Sam McCandlish; Tom Brown

الذكاء الاصطناعي الدستوري: السلامة الناتجة عن التغذية الراجعة من الذكاء الاصطناعي

Yuntao Bai, Saurav Kadavath, Sandipan Kundu, Amanda Askell, Jackson Kernion, Andy Jones, Anna Chen, Anna Goldie, Azalia Mirhoseini, Cameron McKinnon, Carol Chen, Catherine Olsson et al.

تاريخ النشر 2022-12-15cs.CLcs.AI arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 يعتمد RLHF القياسي بشدة على تصنيفات الضرر البشرية، وغالباً ما ينتج مساعدين متهربين يرفضون الإجابة عن الاستفسارات الحساسة.
🔧 يستخدم Constitutional AI قائمة مكتوبة من قواعد اللغة الطبيعية لتوجيه النقد الذاتي الآلي، والمراجعات، والتعلم المعزز من التغذية الراجعة للذكاء الاصطناعي (RLAIF).
📈 تطابق نماذج RL-CAI الناتجة النماذج المدربة بالتغذية الراجعة البشرية في معايير السلامة دون تهرب، أو تتفوق عليها، مع الحفاظ على الفائدة.

الملخص

مع تزايد قدرات أنظمة الذكاء الاصطناعي، نرغب في الاستعانة بها للإشراف على أنظمة ذكاء اصطناعي أخرى. نختبر هنا طرائق لتدريب مساعد ذكاء اصطناعي غير ضار عبر التحسين الذاتي، دون استخدام أي تصنيفات بشرية تحدد المخرجات الضارة. يتمثل الإشراف البشري الوحيد في قائمة من القواعد أو المبادئ، ولذا نطلق على هذه الطريقة اسم 'Constitutional AI' (الذكاء الاصطناعي الدستوري). تتضمن العملية مرحلتي التعلم الخاضع للإشراف والتعلم المعزز. في المرحلة الخاضعة للإشراف، نأخذ عينات من نموذج أولي، ثم نولد انتقادات ذاتية ومراجعات، ومن ثم نضبط النموذج الأصلي دقيقاً على الاستجابات المنقحة. في مرحلة التعلم المعزز، نأخذ عينات من النموذج المضبوط دقيقاً، ونستخدم نموذجاً لتقييم أي العيّنتين أفضل، ثم ندرب نموذج تفضيل انطلاقاً من مجموعة بيانات تفضيلات الذكاء الاصطناعي هذه. بعد ذلك، ندرب النموذج بالتعلم المعزز باستخدام نموذج التفضيل كإشارة مكافأة، أي أننا نستخدم 'التعلم المعزز من التغذية الراجعة للذكاء الاصطناعي' (RLAIF). ونتيجة لذلك، نتمكن من تدريب مساعد ذكاء اصطناعي غير ضار وغير متهرب يتفاعل مع الاستفسارات الضارة عبر شرح أسباب اعتراضه عليها. يمكن لكل من طريقتي التعلم الخاضع للإشراف والتعلم المعزز الاستفادة من التفكير بأسلوب سلسلة الأفكار (chain-of-thought) لتحسين الأداء الخاضع لتقييم البشر وشفافية اتخاذ القرار في الذكاء الاصطناعي. تتيح هذه الطرائق التحكم في سلوك الذكاء الاصطناعي بدقة أكبر وبعدد أقل بكثير من التصنيفات البشرية.

الملخص الأصلي (بالإنجليزية)

As AI systems become more capable, we would like to enlist their help to supervise other AIs. We experiment with methods for training a harmless AI assistant through self-improvement, without any human labels identifying harmful outputs. The only human oversight is provided through a list of rules or principles, and so we refer to the method as 'Constitutional AI'. The process involves both a supervised learning and a reinforcement learning phase. In the supervised phase we sample from an initial model, then generate self-critiques and revisions, and then finetune the original model on revised responses. In the RL phase, we sample from the finetuned model, use a model to evaluate which of the two samples is better, and then train a preference model from this dataset of AI preferences. We then train with RL using the preference model as the reward signal, i.e. we use 'RL from AI Feedback' (RLAIF). As a result we are able to train a harmless but non-evasive AI assistant that engages with harmful queries by explaining its objections to them. Both the SL and RL methods can leverage chain-of-thought style reasoning to improve the human-judged performance and transparency of AI decision making. These methods make it possible to control AI behavior more precisely and with far fewer human labels.

دليل القراءة

المشكلة والدوافع

يعاني التعلم المعزز من التغذية الراجعة البشرية (RLHF) القياسي من عدة عقبات عند مواءمة المساعدين اللغويين:

الاعتماد الكبير على تصنيفات الضرر البشرية: جمع عشرات الآلاف من مقارنات التفضيل البشري لتحديد الضرر عملية مكلفة وتعرض المقيمين البشريين لمحتوى سام.
التهرب والتعارض مع تقديم الفائدة: غالباً ما تتعلم النماذج المدربة عبر RLHF الإجابة على الأسئلة الحساسة برفض مكرر ومعلب مثل "لا يمكنني الإجابة على ذلك"، مما يضحي بالفائدة والشفافية.
غياب الشفافية: تجعل آلاف تصنيفات التفضيل الخاصة أهداف المواءمة الدقيقة ضمنية ويصعب فحصها أو تدقيقها.

يهدف Constitutional AI (CAI) إلى توسيع نطاق الإشراف باستبدال توصيفات الضرر البشرية بمبادئ صريحة مصاغة بلغة طبيعية (دستور)، وتدريب الذكاء الاصطناعي على نقد مخرجاته ذاتياً، ومراجعتها، وتوليد تغذيته الراجعة الخاصة للتفضيلات.

الأفكار الرئيسية

دستور المبادئ: يتم توجيه السلوك بالكامل من خلال مجموعة صغيرة من القواعد المصاغة بلغة طبيعية (نحو 16 مبدأً) بدلاً من تصنيفات الضرر البشرية.
مسار تدريب ثنائي المراحل: مرحلة تعلم خاضع للإشراف (SL) تجعل مخرجات النموذج متوافقة مع التوزيع المطلوب باستخدام النقد الذاتي والمراجعات، تليها مرحلة التعلم المعزز من التغذية الراجعة للذكاء الاصطناعي (RLAIF) لتدريب نموذج تفضيل على مقارنات يقيمها النموذج نفسه.
التفاعل بدلاً من التهرب: يتم توجيه المساعد لشرح أسباب اعتراضه على الطلبات الضارة بدلاً من الرفض القاطع غير المبرر.
الإشراف بسلسلة الأفكار (Chain-of-Thought - CoT): يعزز استغلال التفكير خطوة بخطوة أثناء التقييم قدرة النموذج بشكل ملحوظ على تحديد الأضرار وتقييم التفضيلات متعددة الخيارات.

الطريقة

1. مرحلة التعلم الخاضع للإشراف (النقد $\to$ المراجعة $\to$ SL-CAI)

أخذ عينة مخرجات أولية من نموذج RLHF نافع باستخدام محث اختبار الاختراق (red-teaming) $x$ .
حث النموذج على نقد استجابته الخاصة وفقاً لمبدأ دستوري تم اختياره عشوائياً: $Critique \sim P_{model} (\cdot ∣ x, y_{initial}, CritiqueRequest)$
حث النموذج على مراجعة الاستجابة لتحقيق متطلبات النقد: $y_{revised} \sim P_{model} (\cdot ∣ x, y_{initial}, Critique, RevisionRequest)$
تكرار عملية النقد والمراجعة بشكل تكراري (تصل عادةً إلى 4 مراجعات).
الضبط الدقيق لنموذج لغوي مدرب مسبقاً على الاستجابات المنقحة مدمجة مع بيانات توضيحية لتقديم الفائدة (182,831 محث اختبار اختراق، و135,296 محث فائدة) لدورة تدريبية واحدة (epoch) بحجم دفعة 1024.

2. مرحلة التعلم المعزز (RLAIF)

باستخدام نموذج SL-CAI، يتم أخذ عينات من أزواج الاستجابات $(y_{A}, y_{B})$ للمحاثات.
عرض المحادثة، وزوج الاستجابات، والمبدأ المختار على نموذج التغذية الراجعة بتنسيق اختيار من متعدد (اختيارياً باستخدام أسلوب حث سلسلة الأفكار Chain-of-Thought).
حساب الاحتمالات المستهدفة الموحدة من لوجيتات إكمال نموذج التغذية الراجعة: $P (A) = \frac{e ^{z_{A}}}{e ^{z_{A}} + e ^{z_{B}}}$ عند استخدام سلسلة الأفكار، يتم تقييد الاحتمالات المستهدفة ضمن النطاق $[0.40, 0.60]$ لتجنب الثقة المفرطة.
تدريب نموذج التفضيل (PM) باستخدام بيانات مختلطة: 135,296 مقارنة فائدة مصنفة بشرياً و182,831 مقارنة سلامة مولدة بواسطة الذكاء الاصطناعي.
تحسين سياسة SL-CAI مقابل نموذج التفضيل هذا عبر التعلم المعزز (RL).

النتائج

تحسينات باريتو: تظهر تقييمات موظفي جمع البيانات (استناداً إلى 10,274 مقارنة فائدة و8,135 مقارنة سلامة) أن نماذج 52B RL-CAI تحقق درجات Elo متفوقة في السلامة عند نفس مستوى الفائدة مقارنة بالنماذج المدربة على تصنيفات السلامة البشرية.
انخفاض التهرب: عندما طُلب من المقيّمين صراحةً تفضيل الشروحات المدروسة على الرفض المتهرب، تفوقت نماذج RL-CAI باستمرار على نماذج HH RLHF القياسية.
قابلية توسع التغذية الراجعة للذكاء الاصطناعي: اقتربت النماذج الأكبر (52B) المدعومة بالتفكير بأسلوب سلسلة الأفكار من دقة النماذج المدربة على التفضيل البشري في معايير تقييم HHH (حيث حققت دقة تتجاوز 80-90% في التحديد الثنائي للضرر في أسئلة الاختيار من متعدد).
النقد مقابل المراجعة المباشرة: أدى النقد إلى تحسينات ملحوظة في درجات السلامة للنماذج الأصغر حجماً، بينما قدم أداءً أفضل قليلاً أو مكافئاً في نماذج 52B مقارنة بالمراجعة المباشرة.

القيود والأسئلة المفتوحة

الاعتماد على تصنيفات الفائدة البشرية: استغنت التجارب عن تصنيفات التغذية الراجعة البشرية للسلامة فقط؛ وظلت بيانات الفائدة معتمدة على مقارنات بشرية.
قانون غودهارت والتحسين المفرط: أدى التدريب المطول بالتعلم المعزز أحياناً إلى توليد لغة وعظية أو عبارات نمطية مكررة (مثل التكرار المستمر لعبارة "أنت مقدر، ومحترم، ومهتم بك").
معايرة أهداف CoT: نظراً لأن التفكير بأسلوب سلسلة الأفكار يجعل النموذج ينحاز بشدة إلى خيار واحد، كان تقييد الاحتمالات ضرورياً كحل ارتيابي للحفاظ على استقرار نموذج التفضيل.
مخاوف الاستخدام المزدوج: إن خفض حاجز التوصيف والتعليق التوضيحي لتوجيه النماذج اللغوية يسهل أيضاً تدريب النماذج نحو أهداف ضارة دون إشراف بشري.

المصطلحات الرئيسية

Constitutional AI (CAI): إطار تدريبي يعمل على مواءمة النماذج اللغوية باستخدام التحسين الذاتي الموجه بمجموعة من المبادئ الصريحة باللغة الطبيعية بدلاً من تصنيفات الضرر البشرية.
Reinforcement Learning from AI Feedback (RLAIF): عملية تعلم معزز تُدرب فيها نماذج تفضيل المكافأة على تصنيفات مقارنة يولدها نموذج ذكاء اصطناعي يقيّم الخيارات استناداً إلى مبادئ محددة.
Constitution: مجموعة قصيرة من القواعد أو التعليمات المكتوبة المستخدمة لتوجيه محاثات النقد، والمراجعة، وتصنيف التفضيلات.
SL-CAI: نموذج مرحلة التعلم الخاضع للإشراف، ويُدرب عبر الضبط الدقيق لنموذج لغوي مدرب مسبقاً على عمليات نقد ومراجعة تكرارية يولدها النموذج نفسه.
RL-CAI: نموذج السياسة النهائي المضبوط دقيقاً بالتعلم المعزز بالاعتماد على نموذج تفضيل مدرب على مقارنات سلامة من توليد الذكاء الاصطناعي ومقارنات فائدة بشرية.
Scaling Supervision: تقنيات تستعين بأنظمة الذكاء الاصطناعي للمساعدة في الإشراف على أنظمة أخرى، مما يقلل الاعتماد على التصنيف البشري المباشر مع زيادة حجم النماذج.
Probability Clamping: تقنية معايرة تُستخدم أثناء توليد التفضيلات بسلسلة الأفكار، تعمل على تقييد الاحتمالات المستهدفة (مثلاً بين 40% و60%) لمنع التصنيفات مفرطة الثقة.
Evasiveness: نمط فشل يقوم فيه المساعد بإنهاء الاستفسارات المثيرة للجدل أو الحساسة برفض قاطع بدلاً من شرح أسباب كون الطلب ضاراً.

أسئلة شائعة

هل استغنى الذكاء الاصطناعي الدستوري (Constitutional AI) عن كافة البيانات البشرية في مسار التدريب؟

كلا. استغنت الطريقة عن تصنيفات التغذية الراجعة البشرية المتعلقة بالسلامة، لكنها ظلت تستخدم مقارنات التغذية الراجعة البشرية للفائدة، بالإضافة إلى المبادئ الدستورية المكتوبة بشرياً والأمثلة التوضيحية قليلة المحاولات (few-shot prompts).

لماذا تم استخدام أسلوب النقد بدلاً من مطالبة النموذج مباشرة بمراجعة المخرجات الضارة؟

يوفر النقد الذاتي الصريح شفافية في منطق تفكير النموذج، كما حسّن درجات تفضيل السلامة بشكل ملحوظ في النماذج الأصغر، بينما قدم أداءً أفضل قليلاً من المراجعة المباشرة في نماذج 52B.

لماذا تم تقييد احتمالات التفضيل عند استخدام سلسلة الأفكار (Chain-of-Thought)؟

عادةً ما تنحاز مخرجات سلسلة الأفكار بحسم إلى خيار واحد، مما يدفع اللوغاريتمات الاحتمالية إلى الاقتراب من 0 أو 1. منع تقييد أهداف التفضيل بين 40% و60% سياسة التعلم المعزز من التدهور إلى سلوكيات متطرفة أو مفرطة الحساسية.

كيف يعالج الذكاء الاصطناعي الدستوري مشكلة تهرب النماذج؟

من خلال توجيه النماذج أثناء النقد والمراجعة وتقديم التغذية الراجعة إلى شرح أسباب كون الطلبات المرفوضة ضارة، والتفاعل بتعقل بدلاً من اللجوء التلقائي للرفض النمطي مثل 'لا يمكنني الإجابة على ذلك'.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.