Training Compute-Optimal Large Language Models

Jordan Hoffmann; Sebastian Borgeaud; Arthur Mensch; Elena Buchatskaya; Trevor Cai; Eliza Rutherford; Diego de Las Casas; Lisa Anne Hendricks; Johannes Welbl; Aidan Clark; Tom Hennigan; Eric Noland; Katie Millican; George van den Driessche; Bogdan Damoc; Aurelia Guy; Simon Osindero; Karen Simonyan; Erich Elsen; Jack W. Rae; Oriol Vinyals; Laurent Sifre

تدريب نماذج لغوية كبيرة مثالية حسابيًا

Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland et al.

تاريخ النشر 2022-03-29cs.CLcs.LG arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 تحديد المقايضة المثلى بين معلمات النموذج ورموز التدريب في ظل ميزانية حوسبة ثابتة.
🔧 ملاءمة قوانين التوسع تجريبيًا عبر أكثر من 400 عملية تدريب لنماذج transformer باستخدام أغلفة أدنى خسارة، وشرائح IsoFLOP، ونمذجة الخسارة الوسيطية.
📈 يجب أن تتوسع المعلمات والرموز بالتساوي ( $a \approx 0.5$ ، و $b \approx 0.5$ ). يطابق نموذج Chinchilla بحجم 70B والمدرب على 1.4 تريليون رمز ميزانية حوسبة Gopher ويحقق 67.6% في MMLU.

الملخص

نبحث في الحجم الأمثل للنموذج وعدد الرموز المميزة (tokens) لتدريب نموذج لغوي معتمد على transformer في ظل ميزانية حوسبة محددة. وجدنا أن النماذج اللغوية الكبيرة الحالية تعاني من نقص ملحوظ في التدريب، وهي نتيجة للتركيز الأخير على توسيع حجم النماذج اللغوية مع إبقاء كمية بيانات التدريب ثابتة. من خلال تدريب أكثر من 400 نموذج لغوي تتراوح أحجامها بين 70 مليونًا وأكثر من 16 مليار معامل على 5 إلى 500 مليار رمز مميز، وجدنا أنه لتحقيق تدريب مثالي من حيث الحوسبة، ينبغي توسيع حجم النموذج وعدد رموز التدريب بالتساوي: فمع كل مضاعفة لحجم النموذج، يجب أيضًا مضاعفة عدد رموز التدريب. نختبر هذه الفرضية من خلال تدريب Chinchilla، وهو نموذج تنبأنا بأنه مثالي حسابيًا ويستخدم نفس ميزانية الحوسبة الخاصة بنموذج Gopher ولكن مع 70 مليار معامل وبيانات أكثر بمقدار $4 \times$ . يتفوق Chinchilla بشكل منتظم وملحوظ على Gopher (بحجم 280B)، وGPT-3 (بحجم 175B)، وJurassic-1 (بحجم 178B)، وMegatron-Turing NLG (بحجم 530B) عبر مجموعة واسعة من مهام التقييم اللاحقة. ويعني هذا أيضًا أن Chinchilla يستخدم قدرًا أقل بكثير من الحوسبة للضبط الدقيق والاستدلال، مما يسهل استخدامه في المهام اللاحقة إلى حد كبير. وكنقطة بارزة، يحقق Chinchilla متوسط دقة متفوقًا يبلغ 67.5% في معيار MMLU، وهو تحسن يتجاوز 7% مقارنة بنموذج Gopher.

الملخص الأصلي (بالإنجليزية)

We investigate the optimal model size and number of tokens for training a transformer language model under a given compute budget. We find that current large language models are significantly undertrained, a consequence of the recent focus on scaling language models whilst keeping the amount of training data constant. By training over 400 language models ranging from 70 million to over 16 billion parameters on 5 to 500 billion tokens, we find that for compute-optimal training, the model size and the number of training tokens should be scaled equally: for every doubling of model size the number of training tokens should also be doubled. We test this hypothesis by training a predicted compute-optimal model, Chinchilla, that uses the same compute budget as Gopher but with 70B parameters and 4 $\times$ more more data. Chinchilla uniformly and significantly outperforms Gopher (280B), GPT-3 (175B), Jurassic-1 (178B), and Megatron-Turing NLG (530B) on a large range of downstream evaluation tasks. This also means that Chinchilla uses substantially less compute for fine-tuning and inference, greatly facilitating downstream usage. As a highlight, Chinchilla reaches a state-of-the-art average accuracy of 67.5% on the MMLU benchmark, greater than a 7% improvement over Gopher.

دليل القراءة

المشكلة والدافع

أشارت أبحاث سابقة (لا سيما Kaplan et al., 2020) إلى أنه عند زيادة الحوسبة، ينبغي زيادة معلمات النموذج بشكل حاد ( $N \propto C^{0.73}$ ) بينما يزداد عدد الرموز بمعدل أبطأ بكثير ( $D \propto C^{0.27}$ ). بناءً على ذلك، دُرِّبت النماذج الكبيرة مثل GPT-3 (بحجم 175B)، وJurassic-1 (بحجم 178B)، وGopher (بحجم 280B)، وMT-NLG (بحجم 530B) باستمرار على ما يقارب 300 مليار رمز فقط. ومع ذلك، ترك هذا النماذج الكبيرة تعاني من نقص تدريب ملحوظ مقارنة باستثماراتها الحاسوبية. يعيد هذا العمل النظر في هذه المقايضة: بالنسبة لميزانية حوسبة ثابتة $C$ ، كيف ينبغي توزيع عدد المعلمات $N$ وعدد الرموز $D$ لتقليل خسارة الاختبار إلى أدنى حد؟

الأفكار الرئيسية

التوسع المتساوي: لكل مضاعفة في معلمات النموذج، يجب مضاعفة رموز التدريب أيضًا ( $N_{o pt} \propto C^{0.5}$ ، و $D_{o pt} \propto C^{0.5}$ ).
محاذاة جدول جيب التمام: يجب أن تتطابق جداول معدل التعلم مع أفق التدريب الفعلي. إن استخدام نقاط وسيطة من تدريب خُفِّض فيه المعدل وفق أفق طويل وثابت (مثل 130 مليار رمز) يبالغ في تقدير الخسارة لأعداد الرموز الأصغر، مما يؤدي إلى تشويه تقديرات التوسع التجريبية.
الكفاءة في المهام اللاحقة: يؤدي تدريب نموذج أصغر على رموز أكثر بكثير إلى دقة مماثلة أو أفضل عند التكافؤ في حوسبة ما قبل التدريب، مع تقليل متطلبات الذاكرة وتكاليف الضبط الدقيق وزمن استجابة الاستدلال بشكل كبير.

الطريقة (مع المعادلات الرئيسية)

قيّم المؤلفون أكثر من 400 نموذج (من 70M إلى 16B معامل، مدربة عبر 5B إلى 500B رمز) باستخدام ثلاث استراتيجيات متكاملة:

الحد الأدنى عبر منحنيات التدريب: تغيير الأفق عبر 4 فترات زمنية لبنى نماذج ثابتة. استخراج غلاف الحد الأدنى للخسارة لكل عملية نقطة عائمة (FLOP) وملاءمة قوانين القوة: $N_{o pt} \propto C^{a}, D_{o pt} \propto C^{b}$ مما أدى إلى $a = 0.50$ و $b = 0.50$ .
ملفات IsoFLOP التعريفية: تثبيت العدد الإجمالي للعمليات العائمة عبر 9 ميزانيات منفصلة ( $6 \times 1 0^{18}$ إلى $3 \times 1 0^{21}$ ) مع اضمحلال جيب التمام المحاذى للأفق. ملاءمة قطوع مكافئة على أعداد المعلمات لإيجاد أدنى قيم للخسارة، مما أعطى $a = 0.49$ و $b = 0.51$ .
الملاءمة الوسيطية لدالة الخسارة: نمذجة الخسارة الممهدة باستخدام تفكيك المخاطر: $\hat{L} (N, D) ≜ E + \frac{A}{N ^{α}} + \frac{B}{D ^{β}}$ حيث يمثل $E$ إنتروبيا النص الطبيعي، ويمثل $A / N^{α}$ القصور في التمثيل، بينما يلتقط $B / D^{β}$ القصور الناتج عن التوقف المبكر أو محدودية البيانات. أدى تقليل خسارة Huber على اللوغاريتمات المتبقية إلى $E = 1.69$ ، و $A = 406.4$ ، و $B = 410.7$ ، و $α = 0.34$ ، و $β = 0.28$ . وفي ظل القيد $FLOPs (N, D) \approx 6 N D$ : $a = \frac{β}{α + β} = 0.46, b = \frac{α}{α + β} = 0.54$

النتائج (مع أهم الأرقام)

Chinchilla 70B: تم تدريبه بنفس ميزانية FLOPs الخاصة بنموذج Gopher ( $5.76 \times 1 0^{23}$ عملية، أو $6.3 \times 1 0^{23}$ وفق الحساب الدقيق) باستخدام 70 مليار معامل و1.4 تريليون رمز.
معيار MMLU: يحقق Chinchilla متوسط دقة يبلغ 67.6% في إعداد 5-shot، متفوقًا على Gopher (60.0%)، وGPT-3 (43.9%)، ومتجاوزًا توقعات الخبراء البشريين لشهر يونيو 2023 (63.4%). كما يحقق دقة تتجاوز $90%$ في 4 مهام منفصلة ضمن MMLU.
معايير التقييم اللاحقة: يتفوق على Gopher في BIG-bench بنسبة (65.1% مقابل 54.4%)، وفي LAMBADA بنسبة (77.4% مقابل 74.5%)، وفي Natural Questions للكتاب المغلق بنسبة (31.5% 5-shot مقابل 24.5%).
الانحياز والسمية: تظل السمية غير الموجهة قابلة للمقارنة بين Gopher وChinchilla (الوسيط 0.064 مقابل 0.066)، بينما تتحسن دقة Winogender الإجمالية من 71.4% إلى 78.3%.

القيود والأسئلة المفتوحة

تم التحقق المباشر من نقطتين فقط على حدود النماذج الكبيرة عند تكافؤ الحوسبة (Gopher 280B مقابل Chinchilla 70B) نظرًا لتكلفة التدريب الباهظة.
يفترض التحليل التدريب لحقبة واحدة (single-epoch) على مجموعات بيانات الويب؛ ولم يُستكشف السلوك عند تكرار البيانات عبر عدة حقب.
توجد أدلة تجريبية على انحناء سلبي طفيف (تقعر) في $lo g (N_{o pt})$ عند ميزانيات الحوسبة المرتفعة، مما يشير إلى أن قوانين القوة قد تظل تبالغ قليلًا في تقدير الحجم الأمثل للنموذج.

المصطلحات الرئيسية

Chinchilla: نموذج لغوي انحداري ذاتي يحتوي على 70 مليار معامل، دُرِّب على 1.4 تريليون رمز مميز باستخدام ميزانية الحوسبة ذاتها المخصصة لنموذج Gopher.
Gopher: نموذج لغوي قائم على transformer يحتوي على 280 مليار معامل، دُرِّب على 300 مليار رمز ويُستخدم كخط أساس مكافئ حسابيًا.
IsoFLOP profiles: منهجية يتم فيها تغيير عدد معلمات النموذج مع تثبيت إجمالي عمليات النقطة العائمة (FLOPs) لتحديد حجم المعلمات الذي يحقق أدنى خسارة.
Compute-optimal frontier: المنحنى الرياضي الذي يربط بين عمليات النقطة العائمة المتاحة للتدريب والتوزيع الأمثل لعدد المعلمات وحجم رموز التدريب.
Parametric loss function: التفكيك الإحصائي لخسارة النموذج اللغوي إلى إنتروبيا بايز غير القابلة للاختزال، وعجز سعة المعلمات، وخطأ تحسين عينات الرموز.
Huber loss: دالة خسارة قوية استُخدمت في النهج الثالث لملاءمة تشغيلات النماذج اللغوية تجريبيًا مع تخفيف أثر القيم الشاذة المتبقية في المقاييس الحاسوبية الصغيرة.
MassiveText: مجموعة بيانات التدريب المسبق متعددة المجالات التي تحتوي على صفحات ويب وكتب وأخبار وأكواد وويكيبيديا، واستُخدمت لتدريب كل من Gopher وChinchilla.
FLOPs calculation: ميزانية عمليات الضرب والتراكم، وتُحسب تقريبًا بالقيمة $6 N D$ عبر التمريرين الأمامي والخلفي أو من خلال الحساب المفصل طبقة تلو الأخرى.

أسئلة شائعة

لماذا استنتج Kaplan et al. أن المعلمات يجب أن تتوسع بشكل أسرع من الرموز؟

استخدم Kaplan et al. جدول جيب تمام ثابت لمعدل التعلم (تم خفضه مثلًا ليصل لأدنى قيمة عند 130 مليار رمز) واعتمدوا تقييمات وسيطة غير متقاربة لأعداد الرموز الأصغر. ولأن جداول جيب التمام لمعدل التعلم تتراجع كفاءتها إذا تجاوز طول الدورة عدد الخطوات الكلي بشكل كبير، فقد كانت تلك الخسائر الوسيطة مرتفعة بشكل مصطنع، مما قلل من تقدير فعالية تدريب نماذج أصغر على رموز أقل.

ما هي القاعدة العامة للتوسع الأمثل حسابيًا وفقًا لـ Chinchilla؟

يجب توسيع كل من عدد معلمات النموذج وعدد رموز التدريب بنسب متساوية تقريبًا: فمع كل زيادة بمقدار $2 \times$ في الحوسبة، يجب أن يزيد حجم النموذج بمقدار $\approx 2^{0.5} \approx 1.41 \times$ وأن تزيد رموز التدريب بمقدار $\approx 2^{0.5} \approx 1.41 \times$ .

ما هو عدد الرموز الموصى به لتدريب نموذج 175B ليكون مثاليًا حسابيًا؟

وفقًا لتوقعات الورقة البحثية، يتطلب نموذج بحجم 175 مليار معامل ما يقرب من 3.7 إلى 4.3 تريليون رمز مميز وميزانية حوسبة تتراوح بين $3.85 \times 1 0^{24}$ و $4.54 \times 1 0^{24}$ FLOPs ليكون مثاليًا حسابيًا، وهو ما يتجاوز بكثير الـ 300 مليار رمز المستخدمة عادةً في GPT-3.

ما هي التغييرات المعمارية التي أُجريت بين Gopher وChinchilla؟

بالإضافة إلى تقليل عدد الطبقات والأبعاد الخفية للانتقال من 280B إلى 70B، استبدل Chinchilla المحسّن Adam بـ AdamW، واحتفظ بالأوزان الرئيسية بدقة float32 في حالة المحسّن الموزعة، وأزال تسوية NFKC من مرمز النصوص SentencePiece.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي