Llama 2: Open Foundation and Fine-Tuned Chat Models

Hugo Touvron; Louis Martin; Kevin Stone; Peter Albert; Amjad Almahairi; Yasmine Babaei; Nikolay Bashlykov; Soumya Batra; Prajjwal Bhargava; Shruti Bhosale; Dan Bikel; Lukas Blecher; Cristian Canton Ferrer; Moya Chen; Guillem Cucurull; David Esiobu; Jude Fernandes; Jeremy Fu; Wenyin Fu; Brian Fuller; Cynthia Gao; Vedanuj Goswami; Naman Goyal; Anthony Hartshorn; Saghar Hosseini; Rui Hou; Hakan Inan; Marcin Kardas; Viktor Kerkez; Madian Khabsa; Isabel Kloumann; Artem Korenev; Punit Singh Koura; Marie-Anne Lachaux; Thibaut Lavril; Jenya Lee; Diana Liskovich; Yinghai Lu; Yuning Mao; Xavier Martinet; Todor Mihaylov; Pushkar Mishra; Igor Molybog; Yixin Nie; Andrew Poulton; Jeremy Reizenstein; Rashi Rungta; Kalyan Saladi; Alan Schelten; Ruan Silva

Llama 2: نماذج تأسيسية ونماذج محادثة مضبوطة دقيقة ومفتوحة

Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher et al.

تاريخ النشر 2023-07-18cs.CLcs.AI arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 كانت النماذج اللغوية الكبيرة مفتوحة الوصول تفتقر سابقاً إلى المحاذاة الشاملة (RLHF) المطلوبة لمنافسة نماذج المحادثة الاحتكارية المغلقة بأمان وفعالية.
🔧 تدريب مسبق لنماذج بحجم 7B–70B على 2 تريليون رمز مميز باستخدام grouped-query attention، يليه SFT عالي الجودة، ونمذجة مكافأة مزدوجة (للأمان والمساعدة)، وضبط دقيق باستخدام rejection sampling، وخوارزمية PPO، وGhost Attention (GAtt).
📈 يحقق Llama 2 70B نتيجة 68.9 في MMLU و56.8 في GSM8K؛ كما يحقق Llama 2-Chat معدل فوز بنسبة 36% ومعدل تعادل بنسبة 31.5% أمام ChatGPT في التقييم البشري.

الملخص

في هذا العمل، نطور ونطلق Llama 2، وهي مجموعة من النماذج اللغوية الكبيرة (LLMs) مسبقة التدريب والمضبوطة دقيقاً، وتتراوح أحجامها بين 7 مليارات و70 مليار معامل. تم تحسين نماذجنا المضبوطة دقيقاً، المسماة Llama 2-Chat، لتناسب حالات استخدام الحوار. تتفوق نماذجنا على نماذج المحادثة مفتوحة المصدر في معظم المعايير المرجعية التي اختبرناها، وبناءً على تقييماتنا البشرية للمساعدة والأمان، قد تكون بديلاً مناسباً للنماذج مغلقة المصدر. نقدم وصفاً مفصلاً لنهجنا في الضبط الدقيق وتحسينات الأمان لنموذج Llama 2-Chat لتمكين المجتمع البحثي من البناء على عملنا والمساهمة في التطوير المسؤول للنماذج اللغوية الكبيرة.

الملخص الأصلي (بالإنجليزية)

In this work, we develop and release Llama 2, a collection of pretrained and fine-tuned large language models (LLMs) ranging in scale from 7 billion to 70 billion parameters. Our fine-tuned LLMs, called Llama 2-Chat, are optimized for dialogue use cases. Our models outperform open-source chat models on most benchmarks we tested, and based on our human evaluations for helpfulness and safety, may be a suitable substitute for closed-source models. We provide a detailed description of our approach to fine-tuning and safety improvements of Llama 2-Chat in order to enable the community to build on our work and contribute to the responsible development of LLMs.

دليل القراءة

المشكلة والدوافع

في حين أن النماذج التأسيسية مسبقة التدريب ومفتوحة الوصول مثل LLaMA-1 وBLOOM وFalcon ضاهت الأداء الأساسي الخام لنماذج مثل GPT-3، إلا أن مساعدي المحادثة التجاريين المغلقين (مثل ChatGPT وClaude) حافظوا على تفوق ملحوظ. نتجت هذه الميزة في الأداء عن عمليات المحاذاة المكثفة بعد التدريب المسبق عبر ضبط التعليمات والتعلم المعزز من التغذية الراجعة البشرية (RLHF)، وهو ما يتطلب موارد حوسبة هائلة، وقنوات تعليق توضيحي احتكارية، وفرقاً لاختبار الاختراق (red-teaming). طورت Meta وأطلقت بشكل مفتوح كلاً من Llama 2 وLlama 2-Chat (بأحجام 7B و13B و70B معامل، بالإضافة إلى نسخة 34B لم تُطرح للعامة) لإتاحة نماذج الحوار المحاذاة للجميع وتوفير منهجيات شفافة للمحاذاة والأمان.

الأفكار الرئيسية

تدريب مسبق موسع: التدريب المسبق على 2.0 تريليون رمز مميز (بزيادة قدرها 40% مقارنة بـ Llama 1) مع مضاعفة نافذة السياق إلى 4,096 رمزاً، وإدخال Grouped-Query Attention (GQA) للنموذجين 34B و70B لتسريع فك التشفير التوليدي التلقائي (autoregressive decoding).
ضبط دقيق بإشراف يركز على الجودة (Quality-Centric SFT): إثبات أن عشرات الآلاف من التعليقات التوضيحية عالية الجودة من موردين موثوقين تتفوق على ملايين الأمثلة الصاخبة من جهات خارجية، مع قصر SFT على 27,540 مثالاً توضيحياً منتقى بعناية.
نمذجة المكافأة المزدوجة (Dual Reward Modeling): تدريب نموذجي مكافأة متميزين—أحدهما للمساعدة (Helpfulness) والآخر للأمان (Safety)—لتجنب التعارض الذي تؤدي فيه قيود الأمان إلى تراجع جودة المساعدة.
محاذاة RLHF من مرحلتين: الجمع بين الضبط الدقيق التكراري باستخدام Rejection Sampling (المستخلص من نموذج 70B) وخوارزمية Proximal Policy Optimization (PPO) اللاحقة.
Ghost Attention (GAtt): تقنية تقطير سياقي مطبقة عبر الحوارات متعددة الجولات للحفاظ على استمرار تعليمات النظام عبر أكثر من 20 جولة محادثة دون تلاشي التعليمات.

المنهجية

بنية التدريب المسبق

يستخدم Llama 2 بنية المحولات التوليدية التلقائية (autoregressive transformer) التي تتضمن التسوية المسبقة RMSNorm، ودوال التنشيط SwiGLU، والتضمينات الموضعية الدوارة (RoPE)، مع إضافة GQA للأحجام الأكبر (34B و70B). دُربت النماذج باستخدام مُحسِّن AdamW (بقيم $β_{1} = 0.9, β_{2} = 0.95$ )، واضمحلال جيب التمام لمعدل التعلم حتى 10%، واضمحلال الوزن بمقدار 0.1، وقص التدرج بمقدار 1.0.

نمذجة المكافأة

يقدم المقيمون البشريون تفضيلات مقارنة على مقياس من 4 نقاط بين استجابتين تم توليدهما. تُهيأ نماذج المكافأة من نقاط فحص المحادثة مسبقة التدريب وتُحسَّن باستخدام دالة خسارة تصنيف ثنائية مدعومة بهامش (margin-augmented ranking loss): $L_{ranking} = - lo g (σ (r_{θ} (x, y_{c}) - r_{θ} (x, y_{r}) - m (r)))$ حيث يمثل $x$ سياق المحث، و $y_{c}$ الاستجابة المفضلة، و $y_{r}$ الاستجابة المرفوضة، و $m (r)$ هامشاً متقطعاً يعتمد على شدة تفضيل المقيم البشري.

أهداف RLHF

يتم التحسين عبر Rejection Sampling (سحب عينات بعدد $K$ من السياسة الأحدث واختيار الاستجابة ذات المكافأة الأعلى) وخوارزمية PPO. يُعظّم هدف PPO المكافأة المتوقعة مع معاقبة انحراف السياسة عبر تباعد KL مقارنة بالسياسة الأولية $π_{0}$ : $R (g ∣ p) = \tilde{R}_{c} (g ∣ p) - β D_{KL} (π_{θ} (g ∣ p) ∥ π_{0} (g ∣ p))$ حيث $\tilde{R}_{c} (g ∣ p)$ هو دمج مجزأ ومحول لوجستياً ومسوّى لنماذج مكافأة الأمان ( $R_{s}$ ) والمساعدة ( $R_{h}$ ): $R_{c} (g ∣ p) = {R_{s} (g ∣ p) R_{h} (g ∣ p) if \textsc i s_s a f e t y (p) or R_{s} (g ∣ p) < 0.15 otherwise$

Ghost Attention (GAtt)

لفرض الاتساق متعدد الجولات، تُلحق التعليمات $in s t$ بشكل اصطناعي بكل محث مستخدم في حوار قائم. تُؤخذ الاستجابات من السياسة الأحدث، ولكن يُحسب الفقد حصرياً على الرموز المميزة للجولة المستهدفة (مع تصفير الفقد في الجولات السابقة) مع الاحتفاظ بـ $in s t$ فقط في الجولة الأولى أثناء وقت الاستدلال.

النتائج

معايير النماذج الأساسية: يتفوق Llama 2 70B على جميع النماذج الأساسية مفتوحة المصدر، محققاً 68.9 في MMLU (نمط 5-shot)، و56.8 في GSM8K (نمط 8-shot)، و51.2 في Big-Bench Hard (نمط 3-shot)، منافساً بذلك GPT-3.5 وPaLM-540B.
تقييمات الحوار البشري: في تقييمات بشرية شملت نحو 4,000 محث، سجل Llama 2-Chat 70B معدل فوز بنسبة 36% ومعدل تعادل بنسبة 31.5% ضد ChatGPT (gpt-3.5-turbo-0301). كما فاز Llama 2-Chat 34B في أكثر من 75% من المقارنات المباشرة ضد Vicuna-33B وFalcon 40B.
الأمان والسُمّية: قلل Llama 2-Chat المحاذى للأمان معدلات التوليد السام على ToxiGen من 24.60% (للنموذج الأساسي 70B) إلى 0.01%، متبوعاً بنسب انتهاك أمان أقل من ChatGPT وFalcon عبر معايير الفريق الأحمر البشري.

القيود والأسئلة المفتوحة

البرمجة والاستدلال المعقد: يتخلف Llama 2 70B بشكل ملحوظ عن GPT-4 وPaLM-2-L في معايير البرمجة (حقق pass@1 بنسبة 29.9% في HumanEval مقابل 67.0% لـ GPT-4).
تغطية اللغات: تشكل اللغة الإنجليزية نحو 89.7% من بيانات التدريب المسبق، مما يجعل أداء النموذج ومحاذاة الأمان ضعيفين في اللغات الأخرى.
الرفض الخاطئ والتحفظ المفرط: يُدخل الضبط الدقيق الصارم للأمان حالات رفض خاطئ للمحاثات الحدية (مثل رفض استفسارات بريئة تذكر كلمات مثل 'bomb' أو 'Christmas Crack').
تأخر إطلاق النسخة 34B: تم حجب نسخة 34B من الإصدار العام بسبب عدم كفاية الوقت المتاح لتقييمات الفريق الأحمر قبل النشر.

المصطلحات الرئيسية

Grouped-Query Attention (GQA): نوع مختلف من آليات الانتباه يتشارك رؤوس المفاتيح (key) والقيم (value) عبر مجموعات من رؤوس الاستعلام، وذلك لتقليل عرض نطاق ذاكرة التخزين المؤقت KV وتحسين سرعة الاستدلال في النماذج الكبيرة.
Reinforcement Learning with Human Feedback (RLHF): إجراء محاذاة يستخدم تفضيلات المقارنة الثنائية البشرية لتدريب نماذج المكافأة التي توجه تحسين السياسة عبر PPO وrejection sampling.
Rejection Sampling fine-tuning: تقنية تأخذ عينات من عدة مخرجات مرشحة لكل محث، وتختار الناتج الأعلى تسجيلاً وفقاً لنموذج المكافأة، وتستخدمه كحقيقة أرضية لتحديثات التدرج الموجهة بإشراف.
Ghost Attention (GAtt): طريقة ضبط دقيق تحافظ اصطناعياً على التعليمات عبر الحوارات متعددة الجولات من خلال تعديل سياق المحث وحجب فقد الرموز المميزة الوسيطة.
Safety RM and Helpfulness RM: نموذجا مكافأة مختلفان دُرّبا بشكل منفصل على مقارنات الأمان التنافسية ومقارنات المساعدة العامة لتجنب المفاضلات السلبية في التحسين.
Context Distillation: تقنية تولد إكمالات من النموذج تكون مشروطة بمحث أمان مسبق، ثم تضبط النموذج الأساسي دقيقاً على تلك المخرجات دون تضمين المحث المسبق.
False Refusal: سلوك خاطئ يرفض فيه النموذج الإجابة عن محث مستخدم سليم وآمن بسبب الاستدلالات الأمنية شديدة الحساسية أو الكلمات المفتاحية المحفزة.
Inter-Rater Reliability (IRR): مقياس إحصائي (يُقيم باستخدام مقياس Gwet's AC1/2) يقيس مستوى الاتفاق بين المقيمين البشريين عند تقييم الأمان والمساعدة.

أسئلة شائعة

ما هي أحجام المعاملات التي تم إصدارها للعامة من Llama 2؟

أطلقت Meta نسخ 7B و13B و70B لكل من النموذج الأساسي Llama 2 ونموذج Llama 2-Chat المخصص للحوار؛ أما نسخة 34B فتم تقييمها في الورقة البحثية ولكن حُجب إصدارها لضيق الوقت المخصص لاختبارات الفريق الأحمر.

كيف يختلف Llama 2 عن Llama 1 من حيث بيانات التدريب المسبق والبنية الهندسية؟

دُرّب Llama 2 على 2.0 تريليون رمز مميز (أكثر بنسبة 40% من Llama 1)، وضاعف نافذة السياق إلى 4,096 رمزاً، وأضاف آلية Grouped-Query Attention (GQA) للنسختين 34B و70B.

لماذا قام الباحثون بتدريب نماذج مكافأة منفصلة للأمان والمساعدة؟

تتعارض المساعدة والأمان بشكل متكرر أثناء نمذجة التفضيلات (على سبيل المثال، تلبية طلب غير آمن تعد مساعدة لكنها انتهاك للأمان). يتيح فصلهما تحسيناً مخصصاً لكل جانب ويمنع تدهور أحدهما على حساب الآخر.

كيف تمنع تقنية Ghost Attention (GAtt) نسيان التعليمات في المحادثات متعددة الجولات؟

تُلحق GAtt تعليمات النظام بجولات المستخدم عبر محادثات اصطناعية متعددة الجولات، وتأخذ عينات من الاستجابات، وتدرب النموذج مع قصر حساب الفقد على الجولة المستهدفة فقط بعد إزالة التعليمات من الجولات الوسيطة، مما يدرب طبقات الانتباه على التركيز على رسالة النظام الأولية على مدار الحوارات الطويلة.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي