神经语言模型的缩放定律 (Scaling Laws for Neural Language Models)

论文解读

问题与动机

随着 Transformer 架构的引入，语言建模取得了飞速发展，但训练大型模型需要耗费大量的计算资源和数据。在这项工作之前，人们尚不清楚性能（以交叉熵损失衡量）如何取决于架构形状（深度与宽度）、参数量、数据集大小和训练计算量。由于缺乏定量的缩放关系，研究人员通常会将较小的模型训练至接近收敛，而不是理解如何最优地分配固定的计算预算。

核心思想

• 规模决定一切，架构影响微弱：在较宽的范围内，Transformer 的性能高度取决于非嵌入参数量 $N$、数据集大小 $D$ 和计算量 $C$，而当 $N$ 固定时，深度、宽度和注意力头数量等架构超参数的影响微乎其微。
• 平滑的幂律缩放：交叉熵测试损失随 $N$、$D$ 和计算量 $C_{\text{min}}$ 呈幂律缩放，这种规律跨越了六到八个以上的数量级。
• 避免过拟合需亚线性增加数据：为了避免过拟合，数据集大小只需随参数量亚线性增长：$D\propto N^{0.74}$。
• 高计算效率意味着大模型提早停止：要在固定计算预算 $C_{\text{min}}$ 下最大化性能，应该训练极大的模型并在远未收敛前停止，计算预算的分配策略应为：$N\propto C_{\text{min}}^{0.73}$，批次大小 $B\propto C_{\text{min}}^{0.24}$，训练步数 $S_{\text{min}}\propto C_{\text{min}}^{0.03}$。

方法（含核心公式）

作者在 WebText2 上评估了 decoder-only Transformer 模型（使用 BPE 分词，上下文长度 $n_{\text{ctx}}=1024$）。模型大小 $N$ 明确排除了嵌入参数：$N\approx 12n_{\text{layer}}{d}_{\text{model}}^2$。

每次前向-反向传播的非嵌入计算量近似为 $C\approx 6NBS$。

1. 单变量幂律：

   • 受参数量限制（Parameter-limited）： $$L(N)={\left(\frac{N_c}{N}\right)}^{{\alpha }_N},{\alpha }_N\approx 0.076,N_c\approx 8.8\times 10^{13}$$
   • 受数据量限制（Data-limited）： $$L(D)={\left(\frac{D_c}{D}\right)}^{{\alpha }_D},{\alpha }_D\approx 0.095,D_c\approx 5.4\times 10^{13}$$
   • 受算力限制（Compute-limited，当批次大小 $B\ll B_{\text{crit}}$ 时）： $$L(C_{\text{min}})={\left(\frac{C_c^{\text{min}}}{C_{\text{min}}}\right)}^{{\alpha }_C^{\text{min}}},{\alpha }_C^{\text{min}}\approx 0.050,C_c^{\text{min}}\approx 3.1\times 10^8\text{ PF-days}$$

2. 参数与数据联合缩放： $$L(N,D)={\left[{\left(\frac{N_c}{N}\right)}^{\frac{{\alpha }_N}{{\alpha }_D}}+\frac{D_c}{D}\right]}^{{\alpha }_D}$$

3. 训练动态与临界批次大小： $$B_{\text{crit}}(L)=\frac{B_{\ast }}{L^{1/{\alpha }_B}},B_{\ast }\approx 2\times 10^8\text{ tokens},{\alpha }_B\approx 0.21$$ 拟合步数 $S_{\text{min}}$ 的学习曲线（当 $B\gg B_{\text{crit}}$ 时的步数）： $$L(N,S_{\text{min}})={\left(\frac{N_c}{N}\right)}^{{\alpha }_N}+{\left(\frac{S_c}{S_{\text{min}}}\right)}^{{\alpha }_S},{\alpha }_S\approx 0.76,S_c\approx 2.1\times 10^3$$

4. 最优分配： $${\alpha }_C^{\text{min}}=\frac{1}{1/{\alpha }_S+1/{\alpha }_B+1/{\alpha }_N}\approx 0.052$$ 高效训练的目标损失约比完全收敛的损失高出 $10\%$（$\frac{{\alpha }_N}{{\alpha }_S}\approx 0.10$）。

实验结果（核心数据）

• 缩放趋势在跨越 8 个数量级的算力、6 个数量级的参数量和 2 个数量级的数据量上均成立。
• 将 $N$ 翻倍会使损失降低为原来的 $2^{-{\alpha }_N}\approx 0.95$ 倍。
• 避免过拟合的阈值条件：$D\gtrsim (5\times 10^3)N^{0.74}$。将模型大小增加 $8\times$，仅需将数据量增加约 $5\times$。
• 当算力预算 $C_{\text{min}}$ 增加 $10\times$ 时，计算高效型训练应将模型大小 $N$ 增加 $\approx 5\times$（$N\propto C_{\text{min}}^{0.73}$），批次大小增加 $\approx 1.7\times$（$B\propto C_{\text{min}}^{0.24}$），而训练步数仅需增加 $\approx 1.07\times$（$S_{\text{min}}\propto C_{\text{min}}^{0.03}$）。
• 与训练至接近收敛（偏差在 $2\%$ 以内）相比，计算最优训练使用的算力减少了 $65\%$，参数量增加了 $2.7\times$，参数更新步数减少了 $7.7\times$。
• 迁移到分布外语料库（Books Corpus、Common Crawl、English Wikipedia）的损失随模型规模平滑改善，相对于 WebText2 验证损失仅产生一个几乎恒定的固定偏移罚项。

局限性与开放问题

• 论文缺乏严格的理论推导（例如统计物理基础）来解释精确的指数成因。
• 算力估算公式 $C\approx 6NBS$ 忽略了与 $n_{\text{ctx}}^2$ 成比例的注意力特定成本，以及当 $n_{\text{ctx}}\gtrsim 12d_{\text{model}}$ 时与上下文相关的计算开销。
• 在极端规模下，正则化、dropout 调优和学习率调度等超参数大多保持固定，未针对不同数据集大小进行单独微调。
• 外推计算最优趋势会导致一个矛盾：$L(C_{\text{min}})$ 将在 $C^{\ast }\sim 10^4\text{ PF-days}$、$N^{\ast }\sim 10^{12}$ 参数量及 $L^{\ast }\sim 1.7\text{ nats/token}$ 处与 $L(D)$ 相交，这表明经验趋势最终必然会在自然语言熵下界附近失效或趋于平缓。