Scaling Laws for Neural Language Models

Guia de leitura

Problema e motivação

A modelagem de linguagem progrediu rapidamente com as arquiteturas Transformer, mas o treinamento de modelos grandes exige computação e dados substanciais. Antes deste trabalho, não estava claro como o desempenho (medido pela perda de entropia cruzada) dependia da forma arquitetural (profundidade vs. largura), contagem de parâmetros, tamanho do conjunto de dados e computação de treinamento. Sem relações de escala quantitativas, os pesquisadores tipicamente treinavam modelos menores perto da convergência, em vez de entender como alocar de forma ideal um orçamento fixo de computação.

Ideias principais

• A escala domina a arquitetura: Dentro de limites amplos, o desempenho do Transformer depende fortemente da contagem de parâmetros que não sejam de embedding $N$, do tamanho do conjunto de dados $D$ e da computação $C$, enquanto hiperparâmetros arquiteturais como profundidade, largura e número de cabeças de atenção têm impacto mínimo quando $N$ é fixo.
• Escalamento suave por lei de potência: A perda de teste por entropia cruzada escala como uma lei de potência com $N$, $D$ e a computação $C_{\text{min}}$ ao longo de mais de seis a oito ordens de grandeza.
• Crescimento sublinear de dados para evitar overfitting: Evitar o overfitting exige escalar o tamanho do conjunto de dados de forma sublinear em relação aos parâmetros: $D\propto N^{0.74}$.
• Eficiência computacional exige modelos grandes com parada antecipada: Para maximizar o desempenho sob um orçamento fixo de computação $C_{\text{min}}$, deve-se treinar modelos muito grandes e parar significativamente antes da convergência, alocando a computação como $N\propto C_{\text{min}}^{0.73}$, tamanho de lote $B\propto C_{\text{min}}^{0.24}$ e passos $S_{\text{min}}\propto C_{\text{min}}^{0.03}$.

Método (com as equações principais)

Os autores avaliam modelos Transformer baseados apenas em decodificador no WebText2 (usando tokenização BPE, contexto $n_{\text{ctx}}=1024$). O tamanho do modelo $N$ exclui especificamente os parâmetros de embedding: $N\approx 12n_{\text{layer}}{d}_{\text{model}}^2$.

A computação excluindo embeddings por passagem direta e reversa (forward-backward) é aproximada como $C\approx 6NBS$.

1. Leis de Potência Individuais:

   • Limitada por parâmetros: $$L(N)={\left(\frac{N_c}{N}\right)}^{{\alpha }_N},{\alpha }_N\approx 0.076,N_c\approx 8.8\times 10^{13}$$
   • Limitada por dados: $$L(D)={\left(\frac{D_c}{D}\right)}^{{\alpha }_D},{\alpha }_D\approx 0.095,D_c\approx 5.4\times 10^{13}$$
   • Limitada por computação (em tamanho de lote $B\ll B_{\text{crit}}$): $$L(C_{\text{min}})={\left(\frac{C_c^{\text{min}}}{C_{\text{min}}}\right)}^{{\alpha }_C^{\text{min}}},{\alpha }_C^{\text{min}}\approx 0.050,C_c^{\text{min}}\approx 3.1\times 10^8\text{ PF-days}$$

2. Escalamento Simultâneo de Parâmetros e Dados: $$L(N,D)={\left[{\left(\frac{N_c}{N}\right)}^{\frac{{\alpha }_N}{{\alpha }_D}}+\frac{D_c}{D}\right]}^{{\alpha }_D}$$

3. Dinâmica de Treinamento e Tamanho Crítico de Lote: $$B_{\text{crit}}(L)=\frac{B_{\ast }}{L^{1/{\alpha }_B}},B_{\ast }\approx 2\times 10^8\text{ tokens},{\alpha }_B\approx 0.21$$ A curva de aprendizado ajusta os passos $S_{\text{min}}$ (passos quando $B\gg B_{\text{crit}}$): $$L(N,S_{\text{min}})={\left(\frac{N_c}{N}\right)}^{{\alpha }_N}+{\left(\frac{S_c}{S_{\text{min}}}\right)}^{{\alpha }_S},{\alpha }_S\approx 0.76,S_c\approx 2.1\times 10^3$$

4. Alocações Ótimas: $${\alpha }_C^{\text{min}}=\frac{1}{1/{\alpha }_S+1/{\alpha }_B+1/{\alpha }_N}\approx 0.052$$ O treinamento eficiente visa uma perda aproximadamente $10\%$ acima da perda convergida ($\frac{{\alpha }_N}{{\alpha }_S}\approx 0.10$).

Resultados (com os números mais importantes)

• As tendências se mantêm ao longo de 8 ordens de grandeza em computação, 6 em parâmetros e 2 em dados.
• Dobrar $N$ reduz a perda por um fator de $2^{-{\alpha }_N}\approx 0.95$.
• Limiar para evitar overfitting: $D\gtrsim (5\times 10^3)N^{0.74}$. Aumentar o tamanho do modelo em $8\times$ requer apenas cerca de $5\times$ de aumento em dados.
• Para um aumento de $10\times$ no orçamento de computação $C_{\text{min}}$, o treinamento computacionalmente eficiente aumenta o tamanho do modelo $N$ em $\approx 5\times$ ($N\propto C_{\text{min}}^{0.73}$), o tamanho do lote em $\approx 1.7\times$ ($B\propto C_{\text{min}}^{0.24}$) e os passos de treinamento em apenas $\approx 1.07\times$ ($S_{\text{min}}\propto C_{\text{min}}^{0.03}$).
• Em comparação ao treinamento próximo da convergência (desvio de $2\%$), o treinamento com computação ideal utiliza $65\%$ menos computação, $2.7\times$ mais parâmetros e $7.7\times$ menos passos de atualização de parâmetros.
• A perda de transferência para corpora fora da distribuição (Books Corpus, Common Crawl, English Wikipedia) melhora suavemente com o tamanho do modelo, incorrendo em um deslocamento de penalidade quase constante em relação à perda de validação no WebText2.

Limitações e questões em aberto

• O artigo carece de uma derivação teórica rigorosa (por exemplo, fundamentação em física estatística) que explique os expoentes exatos.
• O cálculo da escala de computação $C\approx 6NBS$ omite custos específicos de atenção proporcionais a $n_{\text{ctx}}^2$ ou computação dependente do contexto quando $n_{\text{ctx}}\gtrsim 12d_{\text{model}}$.
• Hiperparâmetros como regularização, ajuste de dropout e cronogramas de taxa de aprendizado em escalas extremas foram mantidos majoritariamente fixos ou não foram ajustados individualmente para cada tamanho de conjunto de dados.
• A extrapolação das tendências de computação ótima leva a uma contradição na qual $L(C_{\text{min}})$ cruza $L(D)$ em $C^{\ast }\sim 10^4\text{ PF-days}$, $N^{\ast }\sim 10^{12}$ parâmetros e $L^{\ast }\sim 1.7\text{ nats/token}$, indicando que as tendências empíricas devem eventualmente quebrar ou se estabilizar próximo ao piso de entropia da linguagem natural.