Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

論文解讀

問題與動機

在使用 SGD 最佳化深度網路的過程中，前面層的參數變化會改變後續層輸入的分佈。作者將此現象稱為內部協變數偏移（Internal Covariate Shift）。

內部協變數偏移帶來了兩個主要挑戰：

1. 子網路必須不斷適應持續偏移的激勵分佈。
2. 激勵值容易漂移至非線性函數（如 sigmoid 函數）的飽和區間，導致梯度消失，因而需要較小的學習率與繁瑣的參數初始化。

雖然對整個資料集的各層輸入進行白化（whitening，即去相關與標準化）可以穩定分佈，但在每次參數更新時計算完整的共變異數矩陣及其逆平方根在計算上代價極高；若正規化未與反向傳播整合，甚至可能導致梯度爆炸。

核心概念

• 可微分正規化層：不再將激勵值標準化置於最佳化過程之外，而是將正規化直接整合進模型架構中，確保反向傳播能考量到層激勵值與小批次統計量之間的依賴關係。
• 逐維度正規化：相較於完整的聯合白化，本方法將每個純量特徵維度獨立標準化為零均值與單位方差。
• 恢復表徵能力：為確保正規化不會破壞網路層的表達能力（例如避免將 sigmoid 強制限制在純線性區間），引入了可學習參數 $\gamma$（縮放）與 $\beta$（位移），使該層在必要時能還原恆等變換。
• 確定性推論：在訓練期間，統計量是在每個小批次 $\mathcal{B}$ 上計算的；而在測試推論時，則改採固定的群體統計量（透過移動平均或在整個訓練批次上計算），以確保單一樣本推論的確定性。
• 參數尺度不變性：網路層權重的尺度變換滿足 $\text{BN}((aW)\mathrm{u})=\text{BN}(W\mathrm{u})$，這意味著較大的權重會產生相對較小的有效梯度，從而防止梯度爆炸。

方法（與關鍵公式）

針對對應單一激勵維度的小批次 $\mathcal{B}=\{x_{1\dots m}\}$：

1. 計算小批次均值： $${\mu }_{\mathcal{B}}\leftarrow \frac{1}{m}\sum _{i=1}^m{x}_i$$
2. 計算小批次方差： $${\sigma }_{\mathcal{B}}^2\leftarrow \frac{1}{m}\sum _{i=1}^m(x_i-{\mu }_{\mathcal{B}}{)}^2$$
3. 正規化激勵值（引入數值穩定常數 $ϵ$）： $${\hat{x}}_i\leftarrow \frac{x_i-{\mu }_{\mathcal{B}}}{\sqrt{{\sigma }_{\mathcal{B}}^2+ϵ}}$$
4. 使用可學習參數 $\gamma$ 與 $\beta$ 進行縮放與位移： $$y_i\leftarrow \gamma {\hat{x}}_i+\beta \equiv {\text{BN}}_{\gamma ,\beta }(x_i)$$

應用於各層

• 位置：直接應用於非線性激勵函數之前：$z=g(\text{BN}(Wu))$。由於減去均值會抵消原本的偏置（bias）$b$，因此將其省略（其作用由 $\beta$ 取代）。
• 卷積層：為了保持平移等變性（translation equivariance），正規化是針對每個特徵圖（feature map）而非每個空間位置獨立進行。對於批次大小 $m$ 與空間解析度 $p\times q$，有效小批次大小變為 $m^{\prime }=m\cdot p\cdot q$，同一個特徵圖共享同一組 $(\gamma ,\beta )$。

推論轉換

在測試階段，該轉換使用群體統計量 $\mathrm{E}[x]$ 與 $\mathrm{Var}[x]$ 變為靜態線性運算： $$y=\frac{\gamma }{\sqrt{\mathrm{Var}[x]+ϵ}}\cdot x+\left(\beta -\frac{\gamma \mathrm{E}[x]}{\sqrt{\mathrm{Var}[x]+ϵ}}\right)$$

結果（與關鍵數據）

• 採用 Sigmoid 的 MNIST：配備 Batch Normalization 的網路在整個訓練過程中保持了穩定的激勵分佈，相較於未經正規化的網路加速了收斂並獲得了更高的測試準確率。
• ImageNet 訓練速度（單一網路）：
  • 未經正規化的 Inception 在 $31.0\times 10^6$ 步後達到 72.2% 的驗證準確率。
  • 基準 Batch-Normalized Inception 僅需 $13.3\times 10^6$ 步即達到 72.2%。
  • 在採用 5 倍學習率（BN-x5）的情況下，僅需 $2.1\times 10^6$ 步即可達到 72.2%——所需訓練步數減少了 14 倍，最終最高達到 73.0%。
  • 在採用 30 倍學習率（BN-x30）的情況下，模型在 $6.0\times 10^6$ 步後達到 74.8% 的最高準確率。
• 飽和非線性：未經正規化且採用 sigmoid 激勵函數的 Inception 完全無法訓練（準確率停留在 0.1% 的隨機猜測水準），而 BN-x5-Sigmoid 則達到了 69.8% 的 top-1 準確率。
• ImageNet SOTA 整合模型：由 6 個批次正規化網路組成的整合模型在 ILSVRC 測試伺服器上達到了 4.9% 的 top-5 驗證錯誤率與 4.82% 的測試錯誤率，超越了人類評估基準。

局限性與待解決問題

• 對批次大小的依賴：由於正規化依賴小批次樣本的統計量，極小的小批次大小可能會降低方差與均值估計的品質。
• 循環神經網路（RNN）：本文主要測試了前饋與卷積模型，指出循環神經網路（RNN）在內部協變數偏移問題上仍是一個尚未驗證的開放性課題。
• 理論基礎：作者推測 Batch Normalization 使網路層的雅可比矩陣（Jacobian）奇異值接近 1，但指出關於梯度行為的精確理論驗證仍有待未來深入分析。