Scaling Laws for Neural Language Models

Guía de lectura

Problema y motivación

El modelado del lenguaje ha progresado rápidamente con las arquitecturas Transformer, pero entrenar modelos grandes requiere cómputo y datos sustanciales. Antes de este trabajo, no estaba claro cómo dependía el rendimiento (medido mediante la pérdida de entropía cruzada) de la forma arquitectónica (profundidad frente a anchura), la cantidad de parámetros, el tamaño del conjunto de datos y el cómputo de entrenamiento. Sin relaciones de escalado cuantitativas, los investigadores solían entrenar modelos más pequeños cerca de la convergencia en lugar de comprender cómo asignar óptimamente un presupuesto de cómputo fijo.

Ideas clave

• La escala domina sobre la arquitectura: Dentro de límites amplios, el rendimiento de los Transformer depende en gran medida del recuento de parámetros sin incrustaciones $N$, el tamaño del conjunto de datos $D$ y el cómputo $C$, mientras que los hiperparámetros arquitectónicos como la profundidad, la anchura y el número de cabezas de atención tienen un impacto mínimo cuando $N$ es fijo.
• Escalado suave mediante leyes de potencia: La pérdida de entropía cruzada en prueba escala como una ley de potencia con $N$, $D$ y el cómputo $C_{\text{min}}$ a lo largo de más de seis a ocho órdenes de magnitud.
• Crecimiento sublineal de datos para evitar el sobreajuste: Evitar el sobreajuste requiere escalar el tamaño del conjunto de datos de forma sublineal con los parámetros: $D\propto N^{0.74}$.
• Eficiencia de cómputo implica modelos grandes detenidos tempranamente: Para maximizar el rendimiento con un presupuesto de cómputo fijo $C_{\text{min}}$, se deben entrenar modelos muy grandes y detenerlos significativamente antes de la convergencia, asignando el cómputo como $N\propto C_{\text{min}}^{0.73}$, el tamaño de lote $B\propto C_{\text{min}}^{0.24}$ y los pasos $S_{\text{min}}\propto C_{\text{min}}^{0.03}$.

Método (con las ecuaciones clave)

Los autores evalúan modelos Transformer de solo decodificador en WebText2 (utilizando tokenización BPE, contexto $n_{\text{ctx}}=1024$). El tamaño del modelo $N$ excluye específicamente los parámetros de incrustación (embedding): $N\approx 12n_{\text{layer}}{d}_{\text{model}}^2$.

El cómputo sin incrustaciones por pasada forward-backward se aproxima como $C\approx 6NBS$.

1. Leyes de potencia individuales:

   • Limitado por parámetros: $$L(N)={\left(\frac{N_c}{N}\right)}^{{\alpha }_N},{\alpha }_N\approx 0.076,N_c\approx 8.8\times 10^{13}$$
   • Limitado por datos: $$L(D)={\left(\frac{D_c}{D}\right)}^{{\alpha }_D},{\alpha }_D\approx 0.095,D_c\approx 5.4\times 10^{13}$$
   • Limitado por cómputo (con tamaño de lote $B\ll B_{\text{crit}}$): $$L(C_{\text{min}})={\left(\frac{C_c^{\text{min}}}{C_{\text{min}}}\right)}^{{\alpha }_C^{\text{min}}},{\alpha }_C^{\text{min}}\approx 0.050,C_c^{\text{min}}\approx 3.1\times 10^8\text{ PF-days}$$

2. Escalado simultáneo de parámetros y datos: $$L(N,D)={\left[{\left(\frac{N_c}{N}\right)}^{\frac{{\alpha }_N}{{\alpha }_D}}+\frac{D_c}{D}\right]}^{{\alpha }_D}$$

3. Dinámica de entrenamiento y tamaño de lote crítico: $$B_{\text{crit}}(L)=\frac{B_{\ast }}{L^{1/{\alpha }_B}},B_{\ast }\approx 2\times 10^8\text{ tokens},{\alpha }_B\approx 0.21$$ La curva de aprendizaje ajusta los pasos $S_{\text{min}}$ (pasos cuando $B\gg B_{\text{crit}}$): $$L(N,S_{\text{min}})={\left(\frac{N_c}{N}\right)}^{{\alpha }_N}+{\left(\frac{S_c}{S_{\text{min}}}\right)}^{{\alpha }_S},{\alpha }_S\approx 0.76,S_c\approx 2.1\times 10^3$$

4. Asignaciones óptimas: $${\alpha }_C^{\text{min}}=\frac{1}{1/{\alpha }_S+1/{\alpha }_B+1/{\alpha }_N}\approx 0.052$$ Un entrenamiento eficiente apunta a una pérdida de aproximadamente $10\%$ por encima de la pérdida convergida ($\frac{{\alpha }_N}{{\alpha }_S}\approx 0.10$).

Resultados (con los números más importantes)

• Las tendencias se mantienen a lo largo de 8 órdenes de magnitud en cómputo, 6 en parámetros y 2 en datos.
• Duplicar $N$ reduce la pérdida por un factor de $2^{-{\alpha }_N}\approx 0.95$.
• Umbral para evitar el sobreajuste: $D\gtrsim (5\times 10^3)N^{0.74}$. Aumentar el tamaño del modelo en un factor de $8\times$ requiere solo un incremento aproximado de $5\times$ en los datos.
• Para un aumento de $10\times$ en el presupuesto de cómputo $C_{\text{min}}$, el entrenamiento eficiente en cómputo aumenta el tamaño del modelo $N$ en $\approx 5\times$ ($N\propto C_{\text{min}}^{0.73}$), el tamaño de lote en $\approx 1.7\times$ ($B\propto C_{\text{min}}^{0.24}$) y los pasos de entrenamiento en solo $\approx 1.07\times$ ($S_{\text{min}}\propto C_{\text{min}}^{0.03}$).
• En comparación con el entrenamiento hasta casi la convergencia (desviación del $2\%$), el entrenamiento óptimo en cómputo utiliza un $65\%$ menos de cómputo, $2.7\times$ más parámetros y $7.7\times$ menos pasos de actualización de parámetros.
• La pérdida de transferencia a corpus fuera de distribución (Books Corpus, Common Crawl, English Wikipedia) mejora suavemente con el tamaño del modelo, incurriendo en una penalización aditiva casi constante con respecto a la pérdida de validación en WebText2.

Limitaciones y preguntas abiertas

• El artículo carece de una derivación teórica rigurosa (por ejemplo, fundamentos de física estadística) que explique los exponentes exactos.
• El escalado de cómputo $C\approx 6NBS$ omite los costos específicos de la atención proporcionales a $n_{\text{ctx}}^2$ o el cómputo dependiente del contexto cuando $n_{\text{ctx}}\gtrsim 12d_{\text{model}}$.
• Ciertos hiperparámetros, como la regularización, el ajuste del dropout y los esquemas de tasa de aprendizaje en escalas extremas, se mantuvieron prácticamente fijos o no se ajustaron por tamaño de conjunto de datos.
• Extrapolar las tendencias compute-optimal conduce a una contradicción donde $L(C_{\text{min}})$ se cruza con $L(D)$ en $C^{\ast }\sim 10^4\text{ PF-days}$, $N^{\ast }\sim 10^{12}$ parámetros y $L^{\ast }\sim 1.7\text{ nats/token}$, lo que indica que las tendencias empíricas eventualmente deben romperse o aplanarse cerca del límite inferior de entropía del lenguaje natural.