LLaMA: Open and Efficient Foundation Language Models

Hugo Touvron; Thibaut Lavril; Gautier Izacard; Xavier Martinet; Marie-Anne Lachaux; Timothée Lacroix; Baptiste Rozière; Naman Goyal; Eric Hambro; Faisal Azhar; Aurelien Rodriguez; Armand Joulin; Edouard Grave; Guillaume Lample

LLaMA: نماذج لغوية تأسيسية مفتوحة وفعالة

Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin et al.

تاريخ النشر 2023-02-27cs.CL arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 تعتمد معظم النماذج اللغوية الكبيرة الرائدة على أحجام معالم ضخمة أو مجموعات بيانات احتكارية، مما يفرض تكاليف استدلال باهظة وعوائق أمام الباحثين.
🔧 تدريب نماذج محولات مدمجة (من 7B إلى 65B) على 1.0T إلى 1.4T رمز باستخدام بيانات مفتوحة المصدر فقط، مع RMSNorm وSwiGLU وRoPE.
📈 يتفوق LLaMA-13B على GPT-3 (175B) في معظم المقاييس، بينما يصل LLaMA-65B إلى 68.9% في MMLU بعد الضبط الدقيق البسيط بالتعليمات.

الملخص

نقدم LLaMA، وهي مجموعة من النماذج اللغوية التأسيسية التي تتراوح أحجامها بين 7B و65B معلماً. ندرب نماذجنا على تريليونات الرموز، ونبيّن إمكانية تدريب نماذج رائدة عالمياً باستخدام مجموعات بيانات متاحة للعموم حصراً، دون اللجوء إلى مجموعات بيانات احتكارية وغير قابلة للوصول. على وجه الخصوص، يتفوق LLaMA-13B على GPT-3 (175B) في معظم المعايير المرجعية، وينافس LLaMA-65B أفضل النماذج مثل Chinchilla-70B وPaLM-540B. نتيح جميع نماذجنا لمجتمع البحث العلمي.

الملخص الأصلي (بالإنجليزية)

We introduce LLaMA, a collection of foundation language models ranging from 7B to 65B parameters. We train our models on trillions of tokens, and show that it is possible to train state-of-the-art models using publicly available datasets exclusively, without resorting to proprietary and inaccessible datasets. In particular, LLaMA-13B outperforms GPT-3 (175B) on most benchmarks, and LLaMA-65B is competitive with the best models, Chinchilla-70B and PaLM-540B. We release all our models to the research community.

دليل القراءة

المشكلة والدوافع

تحسب قوانين التوسع القياسية (مثل Chinchilla) التوازن الأمثل بين حجم المعالم وحجم مجموعة البيانات في ظل ميزانية حوسبة تدريب ثابتة. ومع ذلك، يتجاهل هذا الإطار ميزانية الاستدلال (inference budget)، التي تهيمن على تكلفة التشغيل الفعلية لتقديم النماذج اللغوية طوال دورة حياتها. لتحقيق كفاءة الخدمة، يُفضل استخدام نماذج أصغر حجماً ومدربة على كمية بيانات أكبر بكثير مما توصي به إرشادات الحوسبة المثلى، لأن استضافتها وتشغيلها أقل كلفة بكثير.

علاوة على ذلك، تعتمد أحدث النماذج الرائدة (مثل GPT-3 وChinchilla وPaLM) على مجموعات بيانات خاصة وغير قابلة لإعادة الإنتاج أو بنى ضخمة للغاية. يوضح LLaMA أنه يمكن تدريب نماذج تأسيسية تنافسية حصرياً على بيانات متاحة للعموم، مما يتيح توزيعها المفتوح للباحثين.

الأفكار الرئيسية

تدريب يركز على الاستدلال: بدلاً من إيقاف التدريب عند أحجام بيانات مثلى للحوسبة (مثل نحو 200B رمز لنموذج 10B)، يدرب LLaMA نموذجي 7B و13B على 1.0T رمز، ونموذجي 33B و65B على 1.4T رمز.
مجموعات بيانات مفتوحة فقط: تُستمد جميع بيانات ما قبل التدريب من مصادر عامة: CommonCrawl بنسبة (67%)، وC4 بنسبة (15%)، وGitHub بنسبة (4.5%)، وWikipedia بنسبة (4.5%)، والكتب بنسبة (4.5%)، وArXiv بنسبة (2.5%)، وStack Exchange بنسبة (2%).
بنية محول (Transformer) مُحدَّثة: تتضمن التسوية المسبقة باستخدام RMSNorm للاستقرار، وتنشيطات SwiGLU، والتضمينات الموضعية الدورانية (RoPE) بدلاً من المواضع المطلقة.
كفاءة هندسية: استخدام آلية الانتباه عالية الكفاءة في استهلاك الذاكرة (عبر xformers)، ونقاط فحص مخصصة للتنشيط، وتوازي التسلسل والنموذج.

الطريقة

يستخدم LLaMA مفكك ترميز Transformer ذاتي الانحدار مع التعديلات التالية:

التسوية المسبقة (Pre-normalization): تسوية المدخلات باستخدام RMSNorm قبل كل طبقة فرعية: $\overset{a}{ˉ}_{i} = \frac{a _{i}}{RMS ( a )} g_{i}, where RMS (a) = \frac{1}{d} i = 1 \sum d a_{i}^{2}$
تنشيط SwiGLU: استبدال تنشيطات ReLU/GELU القياسية بـ SwiGLU، مع ضبط البعد الوسيط ليكون $\frac{2}{3} 4 d$ بدلاً من $4 d$ .
التضمينات الموضعية الدورانية (RoPE): تطبيقها في كل طبقة لترميز المواضع النسبية دون الحاجة لتضمينات المواضع المطلقة.
التحسين (Optimization): مُحسِّن AdamW بقيم $β_{1} = 0.9, β_{2} = 0.95$ ، واضمحلال أوزان بمقدار $0.1$ ، واقتطاع التدرج عند $1.0$ ، مع $2, 000$ خطوة إحماء، وجدول معدل تعلم جيبي يتلاشى حتى 10% من أقصى معدل تعلم. يبلغ حجم الحزمة 4M رمز عبر جميع أحجام النماذج.

يتم تقدير استهلاك الطاقة والبصمة الكربونية لجولات التدريب كالتالي: $Wh = GPU-h \times (GPU power consumption) \times PUE$ $tCO_{2} eq = MWh \times 0.385$

النتائج

الاستدلال المنطقي السليم (Common Sense Reasoning): يتفوق LLaMA-13B على GPT-3 (175B) عبر عدة معايير مرجعية (على سبيل المثال، 78.1% مقابل 60.5% في BoolQ؛ و73.0% مقابل 70.2% في WinoGrande). ويماثل LLaMA-65B نموذج PaLM-540B أو يتفوق عليه في PIQA (82.8% مقابل 82.3%) وHellaSwag (84.2% مقابل 83.4%).
الإجابة عن الأسئلة ذات النطاق المغلق (Closed-book QA): في TriviaQA (دون أمثلة/0-shot)، يصل LLaMA-65B إلى 68.2%، ويصل LLaMA-13B إلى 56.6% (متجاوزاً أداء GPT-3 المماثل مع إمكانية تشغيله على وحدة معالجة رسومية واحدة من طراز V100).
توليد الكود البرمجي: في HumanEval (pass@1)، يحقق LLaMA-65B نسبة 23.7%، متفوقاً على PaLM-62B بنسبة (15.9%) ومطابقاً لنموذج PaLM-cont 62B بنسبة (23.7%).
MMLU والضبط الدقيق بالتعليمات: يحقق LLaMA-65B الأساسي دقة 63.4% باختبار الأمثلة الخمسة (5-shot) على MMLU (متأخراً عن PaLM-540B البالغ 69.3%، ويرجع ذلك غالباً إلى صغر حجم نصوص الكتب في بيانات ما قبل التدريب). ومع ذلك، فإن الضبط الدقيق بالتعليمات على مطالبات بسيطة (LLaMA-I 65B) يرفع الأداء إلى 68.9%.

القيود والأسئلة المفتوحة

الهلوسة والصدق: لا تزال النتائج في TruthfulQA متواضعة (سجل LLaMA-65B نحو 0.57 في الصدق و0.53 في الجمع بين الصدق وتقديم المعلومات المفيدة)، مما يوضح استمرار ميله نحو الهلوسة.
تصاعد السمية (Toxicity scaling): في RealToxicityPrompts، تزداد السمية مع زيادة حجم النموذج، لا سيما في المطالبات المهذبة (0.141 لنموذج 65B مقابل 0.081 لنموذج 7B).
الفجوة في المعرفة الأكاديمية: تراجع الأداء في MMLU مقارنة بـ Chinchilla-70B وPaLM-540B، ويفترض المؤلفون أن هذا يعود إلى اقتصار التدريب على نحو 177GB فقط من الكتب والأوراق البحثية مقارنة بنحو 2TB في المجموعات الاحتكارية.

المصطلحات الرئيسية

LLaMA: مجموعة من النماذج اللغوية التأسيسية تتراوح أحجامها بين 7B و65B معلماً، دُرِّبت على ما يصل إلى 1.4 تريليون رمز باستخدام مجموعات بيانات عامة فقط.
Inference Budget (ميزانية الاستدلال): التكلفة الحسابية وزمن الانتقال الناتجين عن خدمة نموذج مدرب، مع إعطائها الأولوية عبر تدريب نماذج أصغر على عدد أكبر من الرموز.
RMSNorm: تسوية الطبقة بالمتوسط التربيعي (Root Mean Square Layer Normalization)، تُستخدم لتسوية مدخلات الطبقات الفرعية للمحول لتحقيق استقرار التدريب.
SwiGLU: نوع من وحدات البوابات الخطية (GLU) يستخدم دالة التنشيط Swish، بأبعاد مخفية تعادل 2/3 * 4d.
Rotary Positional Embeddings (RoPE): تقنية لحقن معلومات الموضع النسبي في طبقات الانتباه للمحول عن طريق تدوير تمثيلات الاستعلام (query) والمفتاح (key).
xformers: مكتبة مفتوحة المصدر توفر تنفيذاً عالي الكفاءة للانتباه السببي متعدد الرؤوس دون الحاجة لتخزين مصفوفات أوزان انتباه ضخمة.
LLaMA-I: النسخة المضبوطة بالتعليمات من LLaMA-65B، دُرِّبت باتباع بروتوكول Flan لتحسين اتباع التعليمات والارتقاء بالأداء في MMLU.
TruthfulQA: مقياس مرجعي يقيس ميل النماذج اللغوية الكبيرة إلى محاكاة الأكاذيب البشرية والهلوسة عبر أسئلة واقعية مخادعة.

أسئلة شائعة

ما مجموعات البيانات المستخدمة في تدريب LLaMA المسبق؟

اعتمد التدريب المسبق حصرياً على بيانات عامة: CommonCrawl بالإنجليزية (67%)، وC4 بنسبة (15%)، وGitHub بنسبة (4.5%)، وWikipedia بعشرين لغة (4.5%)، وGutenberg وBooks3 بنسبة (4.5%)، وArXiv بنسبة (2.5%)، وStack Exchange بنسبة (2%).

كيف يقارن LLaMA-13B بنموذج GPT-3 (175B)؟

يتفوق LLaMA-13B على GPT-3 في معظم المعايير القياسية—بما في ذلك BoolQ وPIQA وWinoGrande—رغم كونه أصغر بأكثر من 10 مرات وقدرته على إجراء الاستدلال على معالج رسومي تجاري أو مخصص لمراكز البيانات واحد.

كم من الوقت استغرق تدريب LLaMA-65B؟

استغرق تدريب LLaMA-65B على 1.4 تريليون رمز، وبمعدل معالجة يبلغ نحو 380 رمزاً/ثانية/معالج عبر 2,048 وحدة معالجة رسومية A100 بسعة 80GB، نحو 21 يوماً تقريباً.

ما التعديلات البنيوية التي أدخلها LLaMA على بنية Transformer الأصلية؟

يطبق LLaMA التسوية المسبقة عبر RMSNorm على مدخلات الطبقات الفرعية، ويستبدل ReLU بتنشيطات SwiGLU (بأبعاد 2/3 * 4d)، ويستبدل التضمينات الموضعية المطلقة بتضمينات موضعية دورانية (RoPE).

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي