Scaling Laws for Neural Language Models

Разбор статьи

Проблема и мотивация

Языковое моделирование быстро прогрессирует благодаря архитектурам Transformer, однако обучение больших моделей требует колоссальных объемов вычислений и данных. До этой работы оставалось неясным, как именно качество (измеряемое функцией потерь кросс-энтропии) зависит от геометрической формы архитектуры (глубина против ширины), числа параметров, размера набора данных и объема вычислений. Не имея количественных соотношений масштабирования, исследователи, как правило, обучали модели меньшего размера почти до сходимости, вместо того чтобы понимать, как оптимально распределять фиксированный бюджет вычислений.

Основные идеи

• Масштаб доминирует над архитектурой: В широких пределах качество Transformer в значительной степени определяется числом параметров без учета эмбеддингов $N$, размером набора данных $D$ и объемом вычислений $C$, тогда как архитектурные гиперпараметры, такие как глубина, ширина и количество голов внимания, оказывают минимальное влияние при фиксированном $N$.
• Гладкое степенное масштабирование: Тестовая кросс-энтропия масштабируется по степенному закону относительно $N$, $D$ и вычислений $C_{\text{min}}$ на протяжении более шести–восьми порядков величины.
• Сублинейный рост данных для предотвращения переобучения: Чтобы избежать переобучения, размер набора данных должен расти сублинейно по отношению к числу параметров: $D\propto N^{0.74}$.
• Вычислительная эффективность требует больших моделей с ранней остановкой: Чтобы максимизировать качество при фиксированном бюджете вычислений $C_{\text{min}}$, следует обучать очень большие модели и останавливать процесс задолго до сходимости, распределяя ресурсы как $N\propto C_{\text{min}}^{0.73}$, размер батча $B\propto C_{\text{min}}^{0.24}$ и число шагов $S_{\text{min}}\propto C_{\text{min}}^{0.03}$.

Метод (с ключевыми уравнениями)

Авторы оценивают decoder-only модели Transformer на датасете WebText2 (с использованием BPE-токенизации и контекста $n_{\text{ctx}}=1024$). Размер модели $N$ намеренно исключает параметры эмбеддингов: $N\approx 12n_{\text{layer}}{d}_{\text{model}}^2$.

Вычисления без учета эмбеддингов на один прямой и обратный проход аппроксимируются как $C\approx 6NBS$.

1. Отдельные степенные законы:

   • Ограничение по параметрам: $$L(N)={\left(\frac{N_c}{N}\right)}^{{\alpha }_N},{\alpha }_N\approx 0.076,N_c\approx 8.8\times 10^{13}$$
   • Ограничение по данным: $$L(D)={\left(\frac{D_c}{D}\right)}^{{\alpha }_D},{\alpha }_D\approx 0.095,D_c\approx 5.4\times 10^{13}$$
   • Ограничение по вычислениям (при размере батча $B\ll B_{\text{crit}}$): $$L(C_{\text{min}})={\left(\frac{C_c^{\text{min}}}{C_{\text{min}}}\right)}^{{\alpha }_C^{\text{min}}},{\alpha }_C^{\text{min}}\approx 0.050,C_c^{\text{min}}\approx 3.1\times 10^8\text{ PF-days}$$

2. Одновременное масштабирование параметров и данных: $$L(N,D)={\left[{\left(\frac{N_c}{N}\right)}^{\frac{{\alpha }_N}{{\alpha }_D}}+\frac{D_c}{D}\right]}^{{\alpha }_D}$$

3. Динамика обучения и критический размер батча: $$B_{\text{crit}}(L)=\frac{B_{\ast }}{L^{1/{\alpha }_B}},B_{\ast }\approx 2\times 10^8\text{ токенов},{\alpha }_B\approx 0.21$$ Кривая обучения аппроксимирует число шагов $S_{\text{min}}$ (шаги при $B\gg B_{\text{crit}}$): $$L(N,S_{\text{min}})={\left(\frac{N_c}{N}\right)}^{{\alpha }_N}+{\left(\frac{S_c}{S_{\text{min}}}\right)}^{{\alpha }_S},{\alpha }_S\approx 0.76,S_c\approx 2.1\times 10^3$$

4. Оптимальное распределение ресурсов: $${\alpha }_C^{\text{min}}=\frac{1}{1/{\alpha }_S+1/{\alpha }_B+1/{\alpha }_N}\approx 0.052$$ Эффективное обучение нацелено на потери примерно на $10\%$ выше уровня полной сходимости ($\frac{{\alpha }_N}{{\alpha }_S}\approx 0.10$).

Результаты (с важнейшими цифрами)

• Тренды сохраняются на протяжении 8 порядков величины вычислений, 6 порядков параметров и 2 порядков данных.
• Удвоение $N$ снижает функцию потерь в $2^{-{\alpha }_N}\approx 0.95$ раза.
• Порог предотвращения переобучения: $D\gtrsim (5\times 10^3)N^{0.74}$. Увеличение размера модели в $8\times$ раз требует увеличения объема данных всего примерно в $5\times$ раз.
• При увеличении вычислительного бюджета $C_{\text{min}}$ в $10\times$ раз оптимальное по вычислениям обучение увеличивает размер модели $N$ примерно в $\approx 5\times$ раз ($N\propto C_{\text{min}}^{0.73}$), размер батча — в $\approx 1.7\times$ раза ($B\propto C_{\text{min}}^{0.24}$), а количество шагов оптимизации — лишь в $\approx 1.07\times$ раза ($S_{\text{min}}\propto C_{\text{min}}^{0.03}$).
• По сравнению с обучением почти до сходимости (отклонение $2\%$), compute-optimal обучение требует на $65\%$ меньше вычислений, использует в $2.7\times$ раза больше параметров и делает в $7.7\times$ раз меньше шагов обновления параметров.
• Потери при переносе (transfer loss) на распределения других корпусов (Books Corpus, Common Crawl, English Wikipedia) плавно улучшаются с ростом размера модели, сохраняя практически постоянный штрафной сдвиг относительно валидационных потерь на WebText2.

Ограничения и открытые вопросы

• В статье отсутствует строгое теоретическое обоснование (например, на основе статистической физики), объясняющее конкретные значения экспонент.
• Формула вычислений $C\approx 6NBS$ не учитывает специфические затраты на механизм внимания, пропорциональные $n_{\text{ctx}}^2$, или контекстно-зависимые вычисления при $n_{\text{ctx}}\gtrsim 12d_{\text{model}}$.
• Гиперпараметры, такие как регуляризация, настройка dropout и расписания скорости обучения на экстремальных масштабах, в основном оставались фиксированными или не подбирались индивидуально под каждый размер набора данных.
• Экстраполяция оптимальных по вычислениям трендов приводит к противоречию, где $L(C_{\text{min}})$ пересекает $L(D)$ при $C^{\ast }\sim 10^4\text{ PF-days}$, $N^{\ast }\sim 10^{12}$ параметров и $L^{\ast }\sim 1.7\text{ нат/токен}$, что указывает на неизбежное нарушение эмпирических трендов или их выход на плато вблизи энтропийного предела естественного языка.