التحسين المباشر للتفضيلات: نموذجك اللغوي هو نموذج مكافأة خفي

دليل القراءة

المشكلة والدوافع

تكتسب النماذج اللغوية الكبيرة (LMs) معرفة هائلة بالعالم أثناء التدريب المسبق غير الخاضع للإشراف، ولكن توجيه مخرجاتها نحو سلوكيات مفيدة وآمنة لا يزال يمثل تحدياً كبيراً. تعالج مسارات عمل التعلّم المعزز من التغذية الراجعة البشرية (RLHF) القياسية هذه المشكلة على ثلاث مراحل: الضبط الدقيق الخاضع للإشراف (SFT)، وملاءمة نموذج مكافأة على أزواج التفضيلات عبر أقصى احتمالية وفق نموذج Bradley-Terry، وتحسين السياسة عبر التعلم المعزز (عادةً PPO) لتعظيم المكافأة التقديرية مع فرض عقوبة لتباعد كولباك-ليبلير (KL) بالنسبة إلى سياسة مرجعية ${\pi }_{\text{ref}}$.

ومع ذلك، فإن RLHF باستخدام خوارزميات التعلم المعزز من نوع الممثل والناقد (actor-critic) معروفة بتعقيدها الشديد، وهشاشتها، وحساسيتها للمعلمات الفائقة، وتكلفتها الحسابية العالية؛ لأنها تتطلب تدريب نماذج متعددة (الممثل، الناقد، النموذج المرجعي، نموذج المكافأة) وتوليد عينات باستمرار داخل حلقة التدريب.

الأفكار الأساسية

• الربط التحليلي بين السياسة والمكافأة: الحل الأمثل لهدف تعظيم المكافأة المقيد بتباعد KL المتمثل في ${\max }_{{\pi }_{\theta }}\mathbb{E}[r(x,y)]-\beta {\mathbb{D}}_{\text{KL}}({\pi }_{\theta }\parallel {\pi }_{\text{ref}})$ يمتلك تمثيلاً معروفاً بصيغة مغلقة: ${\pi }_r(y\mid x)=\frac{1}{Z(x)}{\pi }_{\text{ref}}(y\mid x)\exp \left(\frac{1}{\beta }r(x,y)\right)$.
• إعادة توصيف المكافأة: تتيح إعادة ترتيب هذه المتطابقة التعبير عن المكافأة الحقيقية بدلالة السياسة المثلى: $r(x,y)=\beta \log \frac{\pi (y\mid x)}{{\pi }_{\text{ref}}(y\mid x)}+\beta \log Z(x)$.
• إلغاء دالة التجزئة (Partition Function): وفق نماذج المقارنة الزوجية مثل Bradley-Terry، تعتمد احتمالات التفضيل فقط على الفرق بين المكافأتين $r(x,y_w)-r(x,y_l)$. ومن ثمّ، فإن دالة التجزئة المجهولة المعتمدة على المدخلات $\beta \log Z(x)$ تُحذف بالكامل.
• نمذجة المكافأة الضمنية: بدلاً من تحسين شبكة مكافأة قياسية صريحة وتشغيل التعلم المعزز، تدرّب DPO السياسة مباشرة عبر أقصى احتمالية على أزواج التفضيل الثابتة $\mathcal{D}=\{(x,y_w,y_l)\}$.

الطريقة (مع المعادلات الأساسية)

وفق نموذج تفضيل Bradley-Terry، فإن احتمال تفضيل الإكمال $y_w$ على $y_l$ بالنظر إلى المدخل $x$ هو: $$p^{\ast }(y_w\succ y_l\mid x)=\sigma (r^{\ast }(x,y_w)-r^{\ast }(x,y_l))$$

وبالتعويض عن المكافأة الضمنية المستنتجة من السياسة ${\hat{r}}_{\theta }(x,y)=\beta \log \frac{{\pi }_{\theta }(y\mid x)}{{\pi }_{\text{ref}}(y\mid x)}$، نحصل على دالة هدف التحسين المباشر للتفضيلات (DPO): $${\mathcal{L}}_{\text{DPO}}({\pi }_{\theta };{\pi }_{\text{ref}})=-{\mathbb{E}}_{(x,y_w,y_l)\sim \mathcal{D}}\left[\log \sigma \left(\beta \log \frac{{\pi }_{\theta }(y_w\mid x)}{{\pi }_{\text{ref}}(y_w\mid x)}-\beta \log \frac{{\pi }_{\theta }(y_l\mid x)}{{\pi }_{\text{ref}}(y_l\mid x)}\right)\right]$$

ويكون التدرج بالنسبة لمعلمات السياسة $\theta$ كالآتي: $${\nabla }_{\theta }{\mathcal{L}}_{\text{DPO}}({\pi }_{\theta };{\pi }_{\text{ref}})=-\beta {\mathbb{E}}_{(x,y_w,y_l)\sim \mathcal{D}}\left[\sigma ({\hat{r}}_{\theta }(x,y_l)-{\hat{r}}_{\theta }(x,y_w))\left[{\nabla }_{\theta }\log {\pi }_{\theta }(y_w\mid x)-{\nabla }_{\theta }\log {\pi }_{\theta }(y_l\mid x)\right]\right]$$

هنا، يعمل التدرج على زيادة احتمالية $y_w$ وتقليل احتمالية $y_l$. ويقوم الوزن القياسي الديناميكي $\sigma ({\hat{r}}_{\theta }(x,y_l)-{\hat{r}}_{\theta }(x,y_w))$ بضبط حجم التحديث وفقاً لمدى خطأ المكافأة الضمنية الحالية في تقييم الزوج، مما يمنع تدهور النموذج الذي يحدث عادة مع دوال خسارة الاحتمالية غير الموزونة.

النتائج (مع أهم الأرقام)

• توليد المشاعر الموجّهة (IMDb + GPT-2-large): تفوقت DPO تماماً على PPO عبر كامل منحنى مقايضة المكافأة وتباعد KL، حيث حققت مكافأة أعلى عند كل مستوى من مستويات تباعد KL على مستوى التسلسل مقارنة بـ ${\pi }_{\text{ref}}$، بل وتفوقت على PPO حتى عندما تم تزويد الأخيرة بمكافآت نموذج أوراكل الحقيقي (PPO-GT).
• مهمة التلخيص TL;DR (GPT-J 6B):
  • عند درجة حرارة 0.0، حققت DPO نسبة فوز تقارب 61% مقارنة بالإكمالات المرجعية بناءً على تقييم GPT-4، مقابل 57% لـ PPO (عند درجة حرارتها المثلى 0.0).
  • في دراسة بشرية قارنت مباشرة بين الملخصات وجهاً لوجه على TL;DR، فُضّلت إكمالات DPO عند درجة حرارة 0.25 بنسبة 58% من المرات على إكمالات PPO عند درجة حرارة 0.0.
  • حافظت DPO على استقرارها عبر درجات الحرارة المختلفة، في حين تدهور أداء PPO بشكل حاد ليقترب من أداء النموذج الأساسي عند درجة حرارة 1.0.
• التعميم خارج نطاق التوزيع (CNN/DailyMail): عند التقييم دون تدريب مسبق (zero-shot) على مقالات CNN/DailyMail الإخبارية دون أي ضبط إضافي، حققت DPO نسبة فوز بلغت 0.36 مقابل الملخصات الحقيقية المرجعية عند درجة حرارة 0 (مقارنة بـ 0.26 لـ PPO)، ونسبة 0.31 عند درجة حرارة 0.25 (مقارنة بـ 0.23 لـ PPO).
• المحادثات أحادية الدور (Anthropic HH + Pythia-2.8B): كانت DPO الطريقة الوحيدة خفيفة الحسابات التي تفوقت على إكمالات مجموعة الاختبار المفضلة، حيث ضاهت أو تفوقت بشكل طفيف على خط الأساس Best-of-128 عالي التكلفة الحسابية.

المحددات والمسائل المفتوحة

• التعميم خارج نطاق التوزيع: على الرغم من أن الاختبارات الأولية على CNN/DailyMail أظهرت قدرة نقل قوية، يشير البحث إلى الحاجة لمزيد من الدراسات لفهم مقارنة التحسين المباشر للسياسة بتعلم نموذج مكافأة صريح وقابل للتعميم عند حدوث تغيرات توزيعية أوسع.
• الإفراط في تحسين المكافأة (Reward Over-optimization): لاحظ المؤلفون انخفاضاً طفيفاً في الأداء في المراحل المتأخرة من التدريب أثناء تجارب المحادثة، مما يترك الباب مفتوحاً لمعرفة ما إذا كانت ظاهرة "التحايل على المكافأة" الكلاسيكية أو الإفراط في التحسين تحدث ضمن نماذج المكافأة الضمنية وكيفية حدوثها.
• استغلال البيانات غير المصنفة: على عكس PPO، التي يمكنها التوليد بناءً على مدخلات عشوائية غير مصنفة أثناء جولات التعلم المعزز، فإن DPO القياسية هي خوارزمية تعمل دون اتصال مباشر (offline) وتتدرب على مقارنات مزدوجة؛ لذا يظل تمديدها عبر التصنيف الذاتي أو التجميع التكراري مجالاً مفتوحاً للبحث.
• الاعتماد على صياغة التقييم: اعتمد التقييم الآلي اعتماداً كبيراً على صياغة تعليمات GPT-4 (التعليمات الموجزة مقابل البسيطة)، مما يسلط الضوء على حساسية منهجيات استخدام النماذج اللغوية الكبيرة كحَكَم (LLM-as-a-judge).