Scaling Laws for Neural Language Models

Panduan membaca

Masalah dan motivasi

Pemodelan bahasa telah berkembang pesat dengan arsitektur Transformer, tetapi melatih model besar membutuhkan komputasi dan data yang masif. Sebelum penelitian ini, belum jelas bagaimana performa (yang diukur melalui cross-entropy loss) bergantung pada bentuk arsitektur (kedalaman vs. lebar), jumlah parameter, ukuran dataset, dan komputasi pelatihan. Tanpa adanya hubungan penskalaan kuantitatif, para peneliti biasanya melatih model yang lebih kecil hingga mendekati konvergensi alih-alih memahami cara mengalokasikan anggaran komputasi tetap secara optimal.

Gagasan utama

• Skala mendominasi arsitektur: Dalam batas yang luas, performa Transformer sangat bergantung pada jumlah parameter non-embedding $N$, ukuran dataset $D$, dan komputasi $C$, sementara hiperparameter arsitektur seperti kedalaman, lebar, dan jumlah attention heads memiliki dampak minimal ketika $N$ tetap konstan.
• Penskalaan hukum daya yang mulus: Cross-entropy test loss berskala mengikuti hukum daya terhadap $N$, $D$, dan komputasi $C_{\text{min}}$ di lebih dari enam hingga delapan orde magnitudo.
• Pertumbuhan data sublinear untuk menghindari overfitting: Menghindari overfitting membutuhkan penskalaan ukuran dataset secara sublinear terhadap parameter: $D\propto N^{0.74}$.
• Efisiensi komputasi mengutamakan model besar yang dihentikan lebih awal: Untuk memaksimalkan performa dengan anggaran komputasi tetap $C_{\text{min}}$, seseorang harus melatih model yang sangat besar dan menghentikannya jauh sebelum konvergensi, dengan mengalokasikan komputasi sebagai $N\propto C_{\text{min}}^{0.73}$, ukuran batch $B\propto C_{\text{min}}^{0.24}$, dan langkah pembaruan $S_{\text{min}}\propto C_{\text{min}}^{0.03}$.

Metode (beserta persamaan utama)

Penulis mengevaluasi model Transformer decoder-only pada WebText2 (menggunakan tokenisasi BPE, konteks $n_{\text{ctx}}=1024$). Ukuran model $N$ secara khusus mengecualikan parameter embedding: $N\approx 12n_{\text{layer}}{d}_{\text{model}}^2$.

Komputasi non-embedding per forward-backward pass didekati sebagai $C\approx 6NBS$.

1. Hukum Daya Masing-masing Faktor:

   • Terbatas parameter: $$L(N)={\left(\frac{N_c}{N}\right)}^{{\alpha }_N},{\alpha }_N\approx 0.076,N_c\approx 8.8\times 10^{13}$$
   • Terbatas data: $$L(D)={\left(\frac{D_c}{D}\right)}^{{\alpha }_D},{\alpha }_D\approx 0.095,D_c\approx 5.4\times 10^{13}$$
   • Terbatas komputasi (pada ukuran batch $B\ll B_{\text{crit}}$): $$L(C_{\text{min}})={\left(\frac{C_c^{\text{min}}}{C_{\text{min}}}\right)}^{{\alpha }_C^{\text{min}}},{\alpha }_C^{\text{min}}\approx 0.050,C_c^{\text{min}}\approx 3.1\times 10^8\text{ PF-days}$$

2. Penskalaan Parameter dan Data Secara Bersamaan: $$L(N,D)={\left[{\left(\frac{N_c}{N}\right)}^{\frac{{\alpha }_N}{{\alpha }_D}}+\frac{D_c}{D}\right]}^{{\alpha }_D}$$

3. Dinamika Pelatihan dan Critical Batch Size: $$B_{\text{crit}}(L)=\frac{B_{\ast }}{L^{1/{\alpha }_B}},B_{\ast }\approx 2\times 10^8\text{ tokens},{\alpha }_B\approx 0.21$$ Kurva pembelajaran mencocokkan langkah $S_{\text{min}}$ (langkah ketika $B\gg B_{\text{crit}}$): $$L(N,S_{\text{min}})={\left(\frac{N_c}{N}\right)}^{{\alpha }_N}+{\left(\frac{S_c}{S_{\text{min}}}\right)}^{{\alpha }_S},{\alpha }_S\approx 0.76,S_c\approx 2.1\times 10^3$$

4. Alokasi Optimal: $${\alpha }_C^{\text{min}}=\frac{1}{1/{\alpha }_S+1/{\alpha }_B+1/{\alpha }_N}\approx 0.052$$ Pelatihan yang efisien menargetkan loss sekitar $10\%$ di atas loss yang telah konvergen ($\frac{{\alpha }_N}{{\alpha }_S}\approx 0.10$).

Hasil (beserta angka-angka terpenting)

• Tren tetap berlaku di lebih dari 8 orde magnitudo komputasi, 6 pada parameter, dan 2 pada data.
• Menggandakan $N$ menurunkan loss dengan faktor $2^{-{\alpha }_N}\approx 0.95$.
• Batas penghindaran overfitting: $D\gtrsim (5\times 10^3)N^{0.74}$. Menaikkan ukuran model sebesar $8\times$ hanya membutuhkan penambahan data sekitar $5\times$.
• Untuk peningkatan anggaran komputasi $C_{\text{min}}$ sebesar $10\times$, pelatihan yang efisien secara komputasi meningkatkan ukuran model $N$ sekitar $\approx 5\times$ ($N\propto C_{\text{min}}^{0.73}$), ukuran batch sekitar $\approx 1.7\times$ ($B\propto C_{\text{min}}^{0.24}$), dan langkah pelatihan hanya sekitar $\approx 1.07\times$ ($S_{\text{min}}\propto C_{\text{min}}^{0.03}$).
• Dibandingkan dengan melatih hingga mendekati konvergensi (deviasi $2\%$), pelatihan compute-optimal menggunakan $65\%$ lebih sedikit komputasi, $2.7\times$ lebih banyak parameter, dan $7.7\times$ lebih sedikit langkah pembaruan parameter.
• Loss transfer ke korpus di luar distribusi (Books Corpus, Common Crawl, English Wikipedia) membaik secara mulus seiring ukuran model, hanya mengalami penalti offset konstan relatif terhadap validation loss WebText2.

Keterbatasan dan pertanyaan terbuka

• Makalah ini belum memiliki derivasi teoretis yang ketat (misalnya landasan fisika statistik) yang menjelaskan eksponen secara presisi.
• Penskalaan komputasi $C\approx 6NBS$ mengabaikan biaya khusus attention yang proporsional terhadap $n_{\text{ctx}}^2$ atau komputasi yang bergantung pada konteks saat $n_{\text{ctx}}\gtrsim 12d_{\text{model}}$.
• Hiperparameter seperti regularisasi, penyesuaian dropout, dan jadwal learning rate pada skala ekstrem sebagian besar dibuat tetap atau tidak diatur secara spesifik untuk tiap ukuran dataset.
• Mengekstrapolasi tren compute-optimal mengarah pada kontradiksi di mana $L(C_{\text{min}})$ bersilangan dengan $L(D)$ pada $C^{\ast }\sim 10^4\text{ PF-days}$, $N^{\ast }\sim 10^{12}$ parameter, dan $L^{\ast }\sim 1.7\text{ nats/token}$, menandakan bahwa tren empiris tersebut pada akhirnya harus terhenti atau mendatar di dekat batas bawah entropi bahasa alami.