Scaling Laws for Neural Language Models

Guide de lecture

Problème et motivation

La modélisation du langage a progressé rapidement grâce aux architectures Transformer, mais l'entraînement de grands modèles nécessite des ressources de calcul et de données considérables. Avant ces travaux, la manière dont la performance (mesurée par la perte d'entropie croisée) dépendait de la forme architecturale (profondeur vs largeur), du nombre de paramètres, de la taille du jeu de données et du calcul d'entraînement restait floue. Sans relations d'échelle quantitatives, les chercheurs entraînaient généralement des modèles plus petits jusqu'à une quasi-convergence au lieu de comprendre comment allouer de manière optimale un budget de calcul fixe.

Idées clés

• L'échelle domine l'architecture : Dans de larges limites, la performance des Transformers dépend fortement du nombre de paramètres hors plongements $N$, de la taille du jeu de données $D$ et du calcul $C$, tandis que les hyperparamètres architecturaux tels que la profondeur, la largeur et le nombre de têtes d'attention ont un impact minime lorsque $N$ est fixé.
• Lois de puissance régulières : La perte d'entropie croisée sur le jeu de test suit une loi de puissance par rapport à $N$, $D$ et au calcul $C_{\text{min}}$ sur plus de six à huit ordres de grandeur.
• Croissance sous-linéaire des données pour éviter le surapprentissage : Éviter le surapprentissage nécessite de faire évoluer la taille du jeu de données de manière sous-linéaire avec les paramètres : $D\propto N^{0.74}$.
• L'efficacité en calcul implique de grands modèles arrêtés tôt : Pour maximiser la performance sous un budget de calcul fixé $C_{\text{min}}$, il convient d'entraîner de très grands modèles et de s'arrêter nettement avant la convergence, en allouant le calcul selon $N\propto C_{\text{min}}^{0.73}$, la taille de lot $B\propto C_{\text{min}}^{0.24}$, et le nombre d'étapes $S_{\text{min}}\propto C_{\text{min}}^{0.03}$.

Méthode (avec les équations clés)

Les auteurs évaluent des modèles Transformer de type décodeur seul sur WebText2 (avec tokenisation BPE, contexte $n_{\text{ctx}}=1024$). La taille du modèle $N$ exclut explicitement les paramètres de plongement : $N\approx 12n_{\text{layer}}{d}_{\text{model}}^2$.

Le calcul hors plongements par passe avant-arrière est approximé par $C\approx 6NBS$.

1. Lois de puissance individuelles :

   • Limité par les paramètres : $$L(N)={\left(\frac{N_c}{N}\right)}^{{\alpha }_N},{\alpha }_N\approx 0.076,N_c\approx 8.8\times 10^{13}$$
   • Limité par les données : $$L(D)={\left(\frac{D_c}{D}\right)}^{{\alpha }_D},{\alpha }_D\approx 0.095,D_c\approx 5.4\times 10^{13}$$
   • Limité par le calcul (à une taille de lot $B\ll B_{\text{crit}}$) : $$L(C_{\text{min}})={\left(\frac{C_c^{\text{min}}}{C_{\text{min}}}\right)}^{{\alpha }_C^{\text{min}}},{\alpha }_C^{\text{min}}\approx 0.050,C_c^{\text{min}}\approx 3.1\times 10^8\text{ PF-days}$$

2. Mise à l'échelle simultanée des paramètres et des données : $$L(N,D)={\left[{\left(\frac{N_c}{N}\right)}^{\frac{{\alpha }_N}{{\alpha }_D}}+\frac{D_c}{D}\right]}^{{\alpha }_D}$$

3. Dynamique d'entraînement et taille de lot critique : $$B_{\text{crit}}(L)=\frac{B_{\ast }}{L^{1/{\alpha }_B}},B_{\ast }\approx 2\times 10^8\text{ tokens},{\alpha }_B\approx 0.21$$ La courbe d'apprentissage s'ajuste avec les étapes $S_{\text{min}}$ (étapes lorsque $B\gg B_{\text{crit}}$) : $$L(N,S_{\text{min}})={\left(\frac{N_c}{N}\right)}^{{\alpha }_N}+{\left(\frac{S_c}{S_{\text{min}}}\right)}^{{\alpha }_S},{\alpha }_S\approx 0.76,S_c\approx 2.1\times 10^3$$

4. Allocations optimales : $${\alpha }_C^{\text{min}}=\frac{1}{1/{\alpha }_S+1/{\alpha }_B+1/{\alpha }_N}\approx 0.052$$ Un entraînement efficace vise une perte supérieure d'environ $10\%$ à la perte convergée ($\frac{{\alpha }_N}{{\alpha }_S}\approx 0.10$).

Résultats (avec les chiffres les plus importants)

• Les tendances se vérifient sur 8 ordres de grandeur pour le calcul, 6 pour les paramètres et 2 pour les données.
• Doubler $N$ réduit la perte d'un facteur $2^{-{\alpha }_N}\approx 0.95$.
• Seuil pour éviter le surapprentissage : $D\gtrsim (5\times 10^3)N^{0.74}$. Augmenter la taille du modèle par $8\times$ ne nécessite qu'une augmentation des données d'environ $5\times$.
• Pour une augmentation par $10\times$ du budget de calcul $C_{\text{min}}$, un entraînement efficace en calcul augmente la taille du modèle $N$ par $\approx 5\times$ ($N\propto C_{\text{min}}^{0.73}$), la taille de lot par $\approx 1.7\times$ ($B\propto C_{\text{min}}^{0.24}$), et le nombre d'étapes d'entraînement de seulement $\approx 1.07\times$ ($S_{\text{min}}\propto C_{\text{min}}^{0.03}$).
• Par rapport à un entraînement proche de la convergence (écart de $2\%$), l'entraînement optimal en calcul utilise $65\%$ de calcul en moins, $2.7\times$ plus de paramètres et $7.7\times$ moins d'étapes de mise à jour des paramètres.
• La perte de transfert vers des corpus hors distribution (Books Corpus, Common Crawl, English Wikipedia) s'améliore de façon continue avec la taille du modèle, en subissant un décalage de pénalité presque constant par rapport à la perte de validation sur WebText2.

Limites et questions ouvertes

• L'article manque d'une dérivation théorique rigoureuse (par exemple, issue de la physique statistique) expliquant les exposants précis.
• La loi d'échelle du calcul $C\approx 6NBS$ omet les coûts spécifiques à l'attention proportionnels à $n_{\text{ctx}}^2$ ou le calcul dépendant du contexte lorsque $n_{\text{ctx}}\gtrsim 12d_{\text{model}}$.
• Les hyperparamètres tels que la régularisation, le réglage du dropout et les calendriers de taux d'apprentissage aux échelles extrêmes ont été pour la plupart maintenus fixes ou n'ont pas été ajustés en fonction de la taille du jeu de données.
• L'extrapolation des tendances optimales en calcul mène à une contradiction où $L(C_{\text{min}})$ croise $L(D)$ à $C^{\ast }\sim 10^4\text{ PF-days}$, $N^{\ast }\sim 10^{12}$ paramètres, et $L^{\ast }\sim 1.7\text{ nats/token}$, indiquant que les tendances empiriques doivent nécessairement s'interrompre ou s'aplatir à l'approche du plancher d'entropie du langage naturel.