神經語言模型的縮放法則 (Scaling Laws for Neural Language Models)

論文解讀

問題與研究動機

語言建模隨著 Transformer 架構的出現而迅速發展，但訓練大型模型需要大量的運算資源與資料。在此研究之前，模型性能（以交叉熵損失衡量）如何取決於架構形狀（深度與寬度）、參數量、資料集大小和訓練運算量仍不明確。缺乏定量的縮放關係，研究人員通常會將較小的模型訓練至接近收斂，而非理解如何在固定的運算預算下進行最佳配置。

核心概念

• 規模主導架構：在廣泛的範圍內，Transformer 的表現主要取決於非嵌入參數量 $N$、資料集大小 $D$ 和運算量 $C$；當 $N$ 固定時，深度、寬度及注意力頭數量等架構超參數的影響極小。
• 平滑的冪律縮放：交叉熵測試損失在橫跨超過六到八個數量級的範圍內，與 $N$、$D$ 及運算量 $C_{\text{min}}$ 呈現冪律縮放關係。
• 避免過擬合所需的次線性資料增長：為了避免過擬合，資料集大小僅需隨參數量呈次線性增長：$D\propto N^{0.74}$。
• 運算效率意味著提早停止訓練的大型模型：在固定的運算預算 $C_{\text{min}}$ 下若要最大化性能，應該訓練超大型模型並在遠未收斂前停止，運算量的配置比例為 $N\propto C_{\text{min}}^{0.73}$、批次大小 $B\propto C_{\text{min}}^{0.24}$ 以及步數 $S_{\text{min}}\propto C_{\text{min}}^{0.03}$。

方法（與關鍵公式）

作者在 WebText2 上評估了 decoder-only Transformer 模型（採用 BPE 分詞，上下文長度 $n_{\text{ctx}}=1024$）。模型大小 $N$ 特別排除了嵌入層參數：$N\approx 12n_{\text{layer}}{d}_{\text{model}}^2$。

每次前向與反向傳播的非嵌入運算量估算為 $C\approx 6NBS$。

1. 單一維度的冪律：

   • 受限於參數（Parameter-limited）： $$L(N)={\left(\frac{N_c}{N}\right)}^{{\alpha }_N},{\alpha }_N\approx 0.076,N_c\approx 8.8\times 10^{13}$$
   • 受限於資料（Data-limited）： $$L(D)={\left(\frac{D_c}{D}\right)}^{{\alpha }_D},{\alpha }_D\approx 0.095,D_c\approx 5.4\times 10^{13}$$
   • 受限於運算量（Compute-limited，在批次大小 $B\ll B_{\text{crit}}$ 時）： $$L(C_{\text{min}})={\left(\frac{C_c^{\text{min}}}{C_{\text{min}}}\right)}^{{\alpha }_C^{\text{min}}},{\alpha }_C^{\text{min}}\approx 0.050,C_c^{\text{min}}\approx 3.1\times 10^8\text{ PF-days}$$

2. 參數與資料同時縮放： $$L(N,D)={\left[{\left(\frac{N_c}{N}\right)}^{\frac{{\alpha }_N}{{\alpha }_D}}+\frac{D_c}{D}\right]}^{{\alpha }_D}$$

3. 訓練動態與臨界批次大小： $$B_{\text{crit}}(L)=\frac{B_{\ast }}{L^{1/{\alpha }_B}},B_{\ast }\approx 2\times 10^8\text{ tokens},{\alpha }_B\approx 0.21$$ 學習曲線擬合訓練步數 $S_{\text{min}}$（當 $B\gg B_{\text{crit}}$ 時的步數）： $$L(N,S_{\text{min}})={\left(\frac{N_c}{N}\right)}^{{\alpha }_N}+{\left(\frac{S_c}{S_{\text{min}}}\right)}^{{\alpha }_S},{\alpha }_S\approx 0.76,S_c\approx 2.1\times 10^3$$

4. 最佳配置： $${\alpha }_C^{\text{min}}=\frac{1}{1/{\alpha }_S+1/{\alpha }_B+1/{\alpha }_N}\approx 0.052$$ 高運算效率的訓練目標為損失值比收斂損失高出約 $10\%$（$\frac{{\alpha }_N}{{\alpha }_S}\approx 0.10$）。

實驗結果（與重要數據）

• 這些趨勢在運算量橫跨 8 個數量級、參數橫跨 6 個數量級，以及資料橫跨 2 個數量級的範圍內均成立。
• 將 $N$ 增加一倍，損失會降低 $2^{-{\alpha }_N}\approx 0.95$ 倍。
• 避免過擬合的閾值：$D\gtrsim (5\times 10^3)N^{0.74}$。將模型大小增加 $8\times$ 僅需增加約 $5\times$ 的資料。
• 當運算預算 $C_{\text{min}}$ 增加 $10\times$ 時，運算最佳化訓練會將模型大小 $N$ 增加 $\approx 5\times$ ($N\propto C_{\text{min}}^{0.73}$)，批次大小增加 $\approx 1.7\times$ ($B\propto C_{\text{min}}^{0.24}$)，而訓練步數僅增加 $\approx 1.07\times$ ($S_{\text{min}}\propto C_{\text{min}}^{0.03}$)。
• 與訓練至接近收斂（誤差 $2\%$ 內）相比，運算最佳化訓練節省了 $65\%$ 的運算量，使用多 $2.7\times$ 的參數，但參數更新步數減少了 $7.7\times$。
• 遷移至分佈外語料庫（Books Corpus、Common Crawl、English Wikipedia）的損失隨模型大小平滑改善，相較於 WebText2 驗證損失僅產生幾乎恆定的額外懲罰常數偏移。

限制與開放研究問題

• 本文缺乏嚴謹的理論推導（例如統計物理基礎）來解釋這些精確的指數。
• 運算量估算 $C\approx 6NBS$ 忽略了與 $n_{\text{ctx}}^2$ 成正比的注意力專屬成本，或當 $n_{\text{ctx}}\gtrsim 12d_{\text{model}}$ 時與上下文相關的運算量。
• 超參數（如正規化、dropout 調整以及極端規模下的學習率排程）大多保持固定，並未針對個別資料集大小進行微調。
• 外推運算最佳化趨勢會導致矛盾現象：$L(C_{\text{min}})$ 在 $C^{\ast }\sim 10^4\text{ PF-days}$、$N^{\ast }\sim 10^{12}$ 參數及 $L^{\ast }\sim 1.7\text{ nats/token}$ 處會與 $L(D)$ 相交，這表示實證趨勢最終必然會在自然語言熵的下限附近失效或趨於平緩。