قوانين التوسيع للنماذج اللغوية العصبية (Scaling Laws for Neural Language Models)

دليل القراءة

المشكلة والدوافع

تطورت نمذجة اللغة بسرعة مع معماريات Transformer، لكن تدريب النماذج الكبيرة يتطلب قدرًا هائلاً من الحوسبة والبيانات. قبل هذا العمل، لم يكن واضحًا كيف يعتمد الأداء (المقاس بخسارة الاعتلاج المتقاطع cross-entropy loss) على الشكل المعماري (العمق مقابل العرض)، وعدد المعلمات، وحجم مجموعة البيانات، وموارد الحوسبة المخصصة للتدريب. وبدون علاقات توسيع كمية، كان الباحثون عادةً يدربون نماذج أصغر حتى تقترب من التقارب، بدلاً من فهم كيفية التخصيص الأمثل لميزانية حوسبة محددة.

الأفكار الرئيسية

• الحجم يهيمن على المعمارية: ضمن حدود واسعة، يعتمد أداء Transformer اعتمادًا كبيرًا على عدد المعلمات غير المدمجة $N$ (non-embedding parameters)، وحجم مجموعة البيانات $D$، وموارد الحوسبة $C$، بينما يكون للبارامترات الفائقة المعمارية مثل العمق والعرض وعدد رؤوس الانتباه تأثير ضئيل عند تثبيت $N$.
• توسع سلس وفق قانون القوة: تتوسع خسارة الاختبار (cross-entropy) كقانون قوة مع $N$ و$D$ وموارد الحوسبة $C_{\text{min}}$ عبر أكثر من ست إلى ثماني مراتب أسية.
• نمو دون خطي للبيانات لتجنب فرط التخصيص: يتطلب تفادي فرط التخصيص توسيع حجم مجموعة البيانات بشكل دون خطي (sublinear) مع المعلمات: $D\propto N^{0.74}$.
• كفاءة الحوسبة تعني نماذج كبيرة وإيقافًا مبكرًا: لتحقيق أقصى قدر من الأداء تحت ميزانية حوسبة ثابتة $C_{\text{min}}$، يجب تدريب نماذج ضخمة جدًا وإيقافها مبكرًا بوقت كبير قبل التقارب، مع توزيع الحوسبة بحيث يكون: $N\propto C_{\text{min}}^{0.73}$، وحجم الحزمة $B\propto C_{\text{min}}^{0.24}$، وعدد الخطوات $S_{\text{min}}\propto C_{\text{min}}^{0.03}$.

الطريقة (مع المعادلات الأساسية)

يقيم المؤلفون نماذج Transformer مقتصرة على فك الترميز (decoder-only) على مجموعة بيانات WebText2 (باستخدام تجزئة BPE وسياق $n_{\text{ctx}}=1024$). يستثني حجم النموذج $N$ على وجه التحديد معلمات التضمين (embedding parameters): $N\approx 12n_{\text{layer}}{d}_{\text{model}}^2$.

تُقدَّر الحوسبة غير المخصصة للتضمين لكل تمرير أمامي وخلفي (forward-backward pass) بالمعادلة: $C\approx 6NBS$.

1. قوانين القوة الفردية:

   • مقيد بالمعلمات (Parameter-limited): $$L(N)={\left(\frac{N_c}{N}\right)}^{{\alpha }_N},{\alpha }_N\approx 0.076,N_c\approx 8.8\times 10^{13}$$
   • مقيد بالبيانات (Data-limited): $$L(D)={\left(\frac{D_c}{D}\right)}^{{\alpha }_D},{\alpha }_D\approx 0.095,D_c\approx 5.4\times 10^{13}$$
   • مقيد بالحوسبة (Compute-limited عند حجم حزمة $B\ll B_{\text{crit}}$): $$L(C_{\text{min}})={\left(\frac{C_c^{\text{min}}}{C_{\text{min}}}\right)}^{{\alpha }_C^{\text{min}}},{\alpha }_C^{\text{min}}\approx 0.050,C_c^{\text{min}}\approx 3.1\times 10^8\text{ PF-days}$$

2. التوسيع المتزامن للمعلمات والبيانات: $$L(N,D)={\left[{\left(\frac{N_c}{N}\right)}^{\frac{{\alpha }_N}{{\alpha }_D}}+\frac{D_c}{D}\right]}^{{\alpha }_D}$$

3. ديناميكيات التدريب وحجم الحزمة الحرج: $$B_{\text{crit}}(L)=\frac{B_{\ast }}{L^{1/{\alpha }_B}},B_{\ast }\approx 2\times 10^8\text{ tokens},{\alpha }_B\approx 0.21$$ يطابق منحنى التعلم عدد الخطوات $S_{\text{min}}$ (الخطوات عندما يكون $B\gg B_{\text{crit}}$): $$L(N,S_{\text{min}})={\left(\frac{N_c}{N}\right)}^{{\alpha }_N}+{\left(\frac{S_c}{S_{\text{min}}}\right)}^{{\alpha }_S},{\alpha }_S\approx 0.76,S_c\approx 2.1\times 10^3$$

4. التوزيعات المثلى: $${\alpha }_C^{\text{min}}=\frac{1}{1/{\alpha }_S+1/{\alpha }_B+1/{\alpha }_N}\approx 0.052$$ يستهدف التدريب الكفء خسارة تزيد بنحو $10\%$ تقريبًا عن خسارة التقارب النهائي ($\frac{{\alpha }_N}{{\alpha }_S}\approx 0.10$).

النتائج (مع أهم الأرقام)

• تصمد هذه الاتجاهات عبر 8 مراتب أسية في الحوسبة، و6 في المعلمات، ومرتبتين في البيانات.
• مضاعفة $N$ تقلل الخسارة بعامل قدره $2^{-{\alpha }_N}\approx 0.95$.
• حد تجنب فرط التخصيص: $D\gtrsim (5\times 10^3)N^{0.74}$. وتتطلب زيادة حجم النموذج بمقدار $8\times$ زيادة البيانات بنحو $5\times$ فقط.
• عند زيادة ميزانية الحوسبة $C_{\text{min}}$ بمقدار $10\times$، يزيد التدريب الكفء حوسبيًا حجم النموذج $N$ بمقدار $\approx 5\times$ ($N\propto C_{\text{min}}^{0.73}$)، وحجم الحزمة بمقدار $\approx 1.7\times$ ($B\propto C_{\text{min}}^{0.24}$)، وخطوات التدريب بمقدار $\approx 1.07\times$ فقط ($S_{\text{min}}\propto C_{\text{min}}^{0.03}$).
• مقارنةً بالتدريب حتى الاقتراب من التقارب (انحراف $2\%$)، يستهلك التدريب الأمثل حوسبيًا حوسبة أقل بنسبة $65\%$، ومعلمات أكثر بمقدار $2.7\times$، وخطوات تحديث معلمات أقل بمقدار $7.7\times$.
• تتحسن خسارة النقل (transfer loss) إلى مجموعات نصوص خارج التوزيع (Books Corpus وCommon Crawl وEnglish Wikipedia) بسلاسة مع زيادة حجم النموذج، مع تكبد فارق إزاحة شبه ثابت مقارنة بخسارة التحقق على WebText2.

القيود والأسئلة المفتوحة

• يفتقر البحث إلى اشتقاق نظري صارم (مثل أساس من الفيزياء الإحصائية) يفسر بدقة هذه الأسس الرياضية.
• يُهمل حساب الحوسبة $C\approx 6NBS$ التكاليف الخاصة بالانتباه المتناسبة مع $n_{\text{ctx}}^2$ أو الحوسبة المعتمدة على السياق عندما يكون $n_{\text{ctx}}\gtrsim 12d_{\text{model}}$.
• تم تثبيت البارامترات الفائقة مثل التنظيم (regularization)، وضبط dropout، وجداول معدل التعلم في المقاييس القصوى إلى حد كبير أو لم تُضبط لكل حجم بيانات على حدة.
• يؤدي الاستقراء الخارجي لاتجاهات الحوسبة المثلى إلى تناقض يتقاطع عنده $L(C_{\text{min}})$ مع $L(D)$ عند $C^{\ast }\sim 10^4\text{ PF-days}$ و$N^{\ast }\sim 10^{12}$ معلمة و$L^{\ast }\sim 1.7\text{ nats/token}$، مما يشير إلى أن الاتجاهات التجريبية ستنهار حتمًا أو تتسطح بالقرب من الحد الأدنى لاعتلاج اللغة الطبيعية.