مجموعة نماذج Llama 3

دليل القراءة

المشكلة والدوافع

تعتمد أنظمة الذكاء الاصطناعي الحديثة اعتماداً كبيراً على النماذج التأسيسية الضخمة، ومع ذلك ظلت النماذج الأكثر كفاءة (مثل GPT-4) مغلقة المصدر. يتطلب بناء نموذج مفتوح ومتاح للجميع من فئة النماذج الرائدة التغلب على عقبات هندسية هائلة عبر ثلاثة ركائز: تنقيح البيانات، وحجم الحوسبة، وإدارة التعقيد الهيكلي.

طور المؤلفون Llama 3، وهي عائلة من النماذج اللغوية متعددة اللغات تتوزع على أحجام 8B و70B و405B معلمات، وتدعم نوافذ سياق تصل إلى 128K رمز، واستخدام الأدوات في خطوة واحدة أو خطوات متعددة، والاستدلال المتقدم، وتوليد الأكواد البرمجية.

الأفكار الرئيسية

• إدارة التعقيد باستخدام بنية كثيفة (Dense Architecture): بدلاً من التحول إلى بنى خبير المزيج (MoE)، اعتمد المؤلفون على معمارية Transformer كثيفة قياسية (126 طبقة، وبُعد 16,384، و128 رأس انتباه لنموذج 405B) مع Grouped-Query Attention (GQA) وترميز RoPE بتردد أساسي $\theta =500,000$ لزيادة استقرار التدريب المسبق إلى أقصى حد.
• توسيع نطاق البيانات والفلترة الصارمة: توسع التدريب المسبق من 1.8T رمز في Llama 2 إلى حوالي 15.6T رمز عبر مجالات متنوعة (~50% معرفة عامة، و25% رياضيات/استدلال، و17% كود برمجى، و8% لغات متعددة).
• قوانين قياس متوقعة (Predictable Scaling Laws): تم استخدام إطار عمل من مرحلتين لقوانين القياس يربط قوة الحوسبة بأداء المهام النهائية (مثل ARC Challenge) عبر أربعة مستويات أسية قبل بدء التدريب الفعلي.
• تدريب لاحق تكراري (Iterative Post-Training): تم إجراء ست جولات من المواءمة تجمع بين Supervised Fine-Tuning (SFT) وRejection Sampling (RS) وDirect Preference Optimization (DPO) مع توليد بيانات اصطناعية موجهة.
• توازي رباعي الأبعاد والبنية التحتية (4D Parallelism & Infrastructure): تم تدريب نموذج 405B مسبقاً عبر ما يصل إلى 16K من معالجات H100 GPUs باستخدام مزيج من Tensor Parallelism (TP) وContext Parallelism (CP) وPipeline Parallelism (PP) وFully Sharded Data Parallelism (FSDP/DP).

الطريقة (مع المعادلات الرئيسية)

1. صياغة قانون القياس (Scaling Law)

تمت نمذجة التوزيع الأمثل للرموز بالنسبة للحوسبة كدالة قانون القوة (power-law) لميزانية الحوسبة $C$:

$$N^{\star }(C)=A{C}^{\alpha }$$

أظهرت الملاءمة التجريبية عبر ميزانيات حوسبة تتراوح بين $6\times 10^{18}$ و$10^{22}$ FLOPs أن القيم المثلى هي $(\alpha ,A)=(0.53,0.29)$. وأدى الاستقراء لميزانية الحوسبة المستهدفة البالغة $3.8\times 10^{25}$ FLOPs إلى التوصية بتدريب نموذج بحجم 402B معلماً على 16.55T رمز، وهو ما حدد البنية النهائية بحجم 405B معلماً.

2. تمديد نافذة السياق وقناع الانتباه (Attention Masking)

تم توسيع السياق من 8K إلى 128K رمز عبر ست مراحل تدريب مسبق متواصلة دُرّب فيها على ~800B رمز. ولمنع التداخل بين المستندات المجمعة داخل تسلسل السياق الطويل نفسه، تم تطبيق قناع انتباه مخصص للمستندات (document attention mask).

يقسم Context Parallelism (CP) تسلسلات الإدخال إلى أجزاء بحجم $2\times \text{CP}$، ويُجري نمط اتصال all-gather عبر تمثيلات المفتاح ($K$) والقيمة ($V$). ونظراً لأن تقنية GQA تقلل أحجام $K$ و$V$ مقارنة بالاستعلام ($Q$)، فإن الحمل الإضافي لاتصال all-gather والبالغ $O(S)$ يُعد ضئيلاً مقارنة بحسابات الانتباه البالغة $O(S^2)$.

3. تعديلات خوارزمية Direct Preference Optimization (DPO)

في تحسين التفضيلات، تم حجب (mask out) رموز التنسيق (العناوين وعلامات الإنهاء) صراحةً من دالة خسارة DPO لمنع تكرار النهايات أو التوقف المبكر. علاوة على ذلك، أُضيف حد انتظام إضافي لسلبية اللوغاريتم الاحتمالي (NLL) للتسلسل المفضل (chosen):

$${\mathcal{L}}_{\text{reg}}=0.2\cdot {\mathcal{L}}_{\text{NLL}}(\text{chosen})$$

النتائج (مع أهم الأرقام)

• الاختبارات المعيارية للنموذج الرئيسي 405B:
  • MMLU (5-shot): 87.3% (0-shot CoT: 88.6%)
  • GSM8K (8-shot, CoT): 96.8%
  • MATH (0-shot, CoT): 73.8%
  • HumanEval (0-shot): 89.0%
  • ARC Challenge (0-shot): 96.9%
  • IFEval: 88.6%
• النماذج الأصغر (8B و70B): تفوق كلا النموذجين على نظرائهما مفتوحي المصدر من نفس الفئة (مثل Gemma 2 9B، وMistral 7B، وMixtral 8x22B). على سبيل المثال، حقق Llama 3 8B نسبة 73.0% في MMLU بأسلوب 0-shot CoT و84.5% في GSM8K.
• السياق الطويل: استرجاع مثالي بنسبة 100% في اختبار Needle-In-A-Haystack الفردي حتى 128K رمز، و98.1% في استرجاع الإبر المتعددة (Multi-needle recall) لنموذج 405B.
• كفاءة التدريب المسبق: وصل معدل استخدام عمليات الفاصلة العائمة للنموذج (BF16 MFU) إلى 38–43% عبر التهيئات المختلفة على 16,384 من معالجات H100 GPUs، مع الحفاظ على أكثر من 90% من وقت التدريب الفعلي على مدار 54 يوماً تم رصدها على الرغم من حدوث 466 انقطاعاً.

القيود والأسئلة المفتوحة

• موثوقية العتاد وتقلبات الحجم: عند العمل بحجم 16K وحدة معالجة رسومية، بلغ متوسط انقطاعات العتاد عدة مرات في اليوم (78% من الانقطاعات غير المتوقعة كانت ناجمة عن مشكلات العتاد/GPU). كما شكلت تقلبات الطاقة المتزامنة بمقدار عشرات الميغاوات أثناء حفظ نقاط التحقق أو الخطوات الجماعية تحدياً لشبكات الطاقة في مراكز البيانات.
• فجوة المتانة أمام الهجمات العدائية (Adversarial Robustness): على الرغم من مرونة النموذج في اختبارات إعادة الصياغة (PAWS)، أظهرت الاختبارات العدائية في الاستدلال الرياضي والأسئلة والأجوبة (GSM-Plus، وAdv SQuAD) تراجعاً ملحوظاً مقارنة بالاختبارات القياسية غير العدائية.
• توفر النماذج متعددة الوسائط: أظهرت موائمات (adapters) الرؤية والكلام قدرات تنافسية في البيئات البحثية، لكنها ظلت قيد التطوير النشط واستُبعدت من الإصدار الأولي للجمهور.