Scaling Laws for Neural Language Models

Leseleitfaden

Problem und Motivation

Die Sprachmodellierung hat sich mit Transformer-Architekturen rasant weiterentwickelt, doch das Trainieren großer Modelle erfordert erhebliche Rechenkapazitäten und Datenmengen. Vor dieser Arbeit war unklar, wie die Performanz (gemessen am Cross-Entropy-Loss) von der Architekturform (Tiefe vs. Breite), der Parameteranzahl, der Datensatzgröße und dem Trainingsaufwand (Compute) abhängt. Ohne quantitative Skalierungsbeziehungen trainierten Forschende kleinere Modelle typischerweise nahe an die Konvergenz, anstatt zu verstehen, wie ein festes Rechenbudget optimal aufgeteilt werden sollte.

Kernideen

• Skalierung dominiert die Architektur: Innerhalb weiter Grenzen hängt die Leistung von Transformern stark von der Anzahl der Nicht-Embedding-Parameter $N$, der Datensatzgröße $D$ und dem Rechenaufwand $C$ ab, während architektonische Hyperparameter wie Tiefe, Breite und Anzahl der Attention-Heads bei festem $N$ nur minimalen Einfluss haben.
• Glatte Skalierung nach Potenzgesetzen: Der Cross-Entropy-Test-Loss skaliert als Potenzgesetz mit $N$, $D$ und dem Rechenaufwand $C_{\text{min}}$ über mehr als sechs bis acht Größenordnungen hinweg.
• Sublineares Datenwachstum zur Vermeidung von Overfitting: Um Overfitting zu vermeiden, muss die Datensatzgröße sublinear mit den Parametern skaliert werden: $D\propto N^{0.74}$.
• Compute-Effizienz bedeutet große, früh gestoppte Modelle: Um die Leistung bei einem festen Compute-Budget $C_{\text{min}}$ zu maximieren, sollte man sehr große Modelle trainieren und das Training deutlich vor der Konvergenz stoppen, wobei Compute als $N\propto C_{\text{min}}^{0.73}$, Batchgröße als $B\propto C_{\text{min}}^{0.24}$ und Schritte als $S_{\text{min}}\propto C_{\text{min}}^{0.03}$ skaliert werden.

Methode (mit den wichtigsten Gleichungen)

Die Autoren evaluieren Decoder-only-Transformer-Modelle auf WebText2 (unter Verwendung von BPE-Tokenisierung, Kontextlänge $n_{\text{ctx}}=1024$). Die Modellgröße $N$ schließt Embedding-Parameter explizit aus: $N\approx 12n_{\text{layer}}{d}_{\text{model}}^2$.

Der Nicht-Embedding-Rechenaufwand pro Forward-Backward-Pass wird approximiert als $C\approx 6NBS$.

1. Individuelle Potenzgesetze:

   • Parameter-limitiert: $$L(N)={\left(\frac{N_c}{N}\right)}^{{\alpha }_N},{\alpha }_N\approx 0.076,N_c\approx 8.8\times 10^{13}$$
   • Daten-limitiert: $$L(D)={\left(\frac{D_c}{D}\right)}^{{\alpha }_D},{\alpha }_D\approx 0.095,D_c\approx 5.4\times 10^{13}$$
   • Compute-limitiert (bei Batchgröße $B\ll B_{\text{crit}}$): $$L(C_{\text{min}})={\left(\frac{C_c^{\text{min}}}{C_{\text{min}}}\right)}^{{\alpha }_C^{\text{min}}},{\alpha }_C^{\text{min}}\approx 0.050,C_c^{\text{min}}\approx 3.1\times 10^8\text{ PF-Tage}$$

2. Gleichzeitige Parameter- und Datenskalierung: $$L(N,D)={\left[{\left(\frac{N_c}{N}\right)}^{\frac{{\alpha }_N}{{\alpha }_D}}+\frac{D_c}{D}\right]}^{{\alpha }_D}$$

3. Trainingsdynamik und Critical Batch Size: $$B_{\text{crit}}(L)=\frac{B_{\ast }}{L^{1/{\alpha }_B}},B_{\ast }\approx 2\times 10^8\text{ Tokens},{\alpha }_B\approx 0.21$$ Die Lernkurve passt sich den Schritten $S_{\text{min}}$ an (Schritte bei $B\gg B_{\text{crit}}$): $$L(N,S_{\text{min}})={\left(\frac{N_c}{N}\right)}^{{\alpha }_N}+{\left(\frac{S_c}{S_{\text{min}}}\right)}^{{\alpha }_S},{\alpha }_S\approx 0.76,S_c\approx 2.1\times 10^3$$

4. Optimale Aufteilungen: $${\alpha }_C^{\text{min}}=\frac{1}{1/{\alpha }_S+1/{\alpha }_B+1/{\alpha }_N}\approx 0.052$$ Effizientes Training zielt auf einen Loss ab, der etwa $10\%$ über dem konvergierten Loss liegt ($\frac{{\alpha }_N}{{\alpha }_S}\approx 0.10$).

Ergebnisse (mit den wichtigsten Zahlen)

• Die Trends gelten über 8 Größenordnungen bei Compute, 6 bei den Parametern und 2 bei den Daten.
• Eine Verdopplung von $N$ reduziert den Loss um den Faktor $2^{-{\alpha }_N}\approx 0.95$.
• Schwelle zur Vermeidung von Overfitting: $D\gtrsim (5\times 10^3)N^{0.74}$. Eine Verachtfachung der Modellgröße erfordert lediglich eine etwa fünffache Datenmenge.
• Bei einer Verzehnfachung des Rechenbudgets $C_{\text{min}}$ vergrößert ein compute-effizientes Training die Modellgröße $N$ um das $\approx 5$-Fache ($N\propto C_{\text{min}}^{0.73}$), die Batchgröße um das $\approx 1.7$-Fache ($B\propto C_{\text{min}}^{0.24}$) und die Trainingsschritte um lediglich das $\approx 1.07$-Fache ($S_{\text{min}}\propto C_{\text{min}}^{0.03}$).
• Verglichen mit dem Training bis nahe an die Konvergenz ($2\%$ Abweichung) verbraucht compute-optimales Training $65\%$ weniger Compute, verwendet $2.7\times$ mehr Parameter und benötigt $7.7\times$ weniger Parameter-Update-Schritte.
• Der Transfer-Loss auf Out-of-Distribution-Korpora (Books Corpus, Common Crawl, English Wikipedia) verbessert sich kontinuierlich mit der Modellgröße und weist einen nahezu konstanten Offset-Penalty im Vergleich zum WebText2-Validierungs-Loss auf.

Grenzen und offene Fragen

• Der Arbeit fehlt eine rigorose theoretische Herleitung (z. B. auf Basis statistischer Physik), die die exakten Exponenten erklärt.
• Die Compute-Skalierung $C\approx 6NBS$ vernachlässigt aufmerksamkeitsbezogene Kosten proportional zu $n_{\text{ctx}}^2$ sowie kontextabhängigen Rechenaufwand, wenn $n_{\text{ctx}}\gtrsim 12d_{\text{model}}$.
• Hyperparameter wie Regularisierung, Dropout-Tuning und Learning-Rate-Schedules bei extremen Skalen wurden weitgehend fixiert oder nicht pro Datensatzgröße abgestimmt.
• Die Extrapolation der compute-optimalen Trends führt zu einem Widerspruch, bei dem $L(C_{\text{min}})$ den Wert $L(D)$ bei $C^{\ast }\sim 10^4\text{ PF-Tagen}$, $N^{\ast }\sim 10^{12}$ Parametern und $L^{\ast }\sim 1.7\text{ nats/Token}$ schneidet; dies signalisiert, dass die empirischen Trends schließlich zusammenbrechen oder nahe der Entropie-Untergrenze natürlicher Sprache abflachen müssen.