Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

Sergey Ioffe; Christian Szegedy

論文 · arXiv 1502.03167

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

Sergey Ioffe, Christian Szegedy

公開日 2015-02-11cs.LG arXiv PDF

XYZNOT で読む（全文翻訳と AI 解説）

3行まとめ

🎯 前層のパラメータ更新に伴って層の入力分布が絶えず変化する「internal covariate shift」が、深層ネットワークの学習を遅延させる。
🔧 ミニバッチ内の活性化値を平均0・分散1に標準化した後、学習可能なアフィン変換パラメータ（γとβ）でスケールおよびシフトを行うBatch Normalization（BN）層を導入。
📈 Inceptionベースラインの検証精度72.2%を14倍少ないステップ数で達成し、アンサンブルによってImageNetテストデータで4.82%のTop-5エラーを達成。

概要

深層ニューラルネットワークの学習は、前層のパラメータが変化するにつれて各層への入力分布が学習中に変動してしまうことで困難になります。この現象は学習率の低下や慎重なパラメータ初期化を余儀なくさせ、学習を遅延させるだけでなく、飽和領域を持つ非線形活性化関数を用いたモデルの学習を極めて難しくします。私たちはこの現象をinternal covariate shiftと呼び、層の入力を正規化することでこの問題に対処します。提案手法の強みは、正規化をモデルアーキテクチャの一部として組み込み、学習時のミニバッチごとに正規化を実行する点にあります。Batch Normalizationを用いることで、大幅に高い学習率の採用が可能となり、初期化に対しても過度に慎重になる必要がなくなります。さらに正則化機能としても作用し、場合によってはDropoutが不要になります。最先端の画像分類モデルに適用したところ、Batch Normalizationは14分の1の学習ステップ数で同等の精度を達成し、元のモデルを大幅に上回る精度を記録しました。また、バッチ正規化ネットワークのアンサンブルを用いることで、ImageNet分類において当時公表されていた最高記録を更新し、Top-5検証誤差4.9%（テスト誤差4.8%）を達成して人間の評価者の精度をも上回りました。

英語の原文概要

Training Deep Neural Networks is complicated by the fact that the distribution of each layer's inputs changes during training, as the parameters of the previous layers change. This slows down the training by requiring lower learning rates and careful parameter initialization, and makes it notoriously hard to train models with saturating nonlinearities. We refer to this phenomenon as internal covariate shift, and address the problem by normalizing layer inputs. Our method draws its strength from making normalization a part of the model architecture and performing the normalization for each training mini-batch. Batch Normalization allows us to use much higher learning rates and be less careful about initialization. It also acts as a regularizer, in some cases eliminating the need for Dropout. Applied to a state-of-the-art image classification model, Batch Normalization achieves the same accuracy with 14 times fewer training steps, and beats the original model by a significant margin. Using an ensemble of batch-normalized networks, we improve upon the best published result on ImageNet classification: reaching 4.9% top-5 validation error (and 4.8% test error), exceeding the accuracy of human raters.

論文解説

問題意識と動機

SGDを用いた深層ネットワークの最適化において、前層のパラメータ変化は後続の層への入力分布を変化させます。著者らはこの現象を Internal Covariate Shift と名付けました。

Internal covariate shiftは、主に以下の2つの課題を引き起こします：

サブネットワークが、絶えず変化する活性化の分布に適応し続けなければならない。
活性化が非線形関数（シグモイド関数など）の飽和領域に容易に移行して勾配消失を引き起こすため、小さな学習率と極めて慎重なパラメータ初期化が要求される。

データセット全体で層の入力を白色化（無相関化および標準化）すれば分布を安定化できますが、パラメータ更新ごとに全共分散行列とその逆平方根を計算することは計算量的に困難であり、正規化が逆伝播に統合されていない場合は勾配爆発を引き起こす恐れがあります。

主要なアイデア

微分可能な正規化層: 最適化ループの外で活性化を標準化するのではなく、モデルアーキテクチャ内に正規化を直接組み込むことで、層の活性化とミニバッチ統計量の依存関係を逆伝播で確実に考慮します。
次元ごとの正規化: 完全な同時白色化を行う代わりに、各スカラー特徴次元を独立して平均0・分散1に正規化します。
表現能力の復元: 正規化によって層の表現能力が失われないよう（例えばシグモイド関数を完全に線形な領域に押し込めてしまうなど）、学習可能なパラメータ $γ$ （スケール）と $β$ （シフト）を導入し、必要に応じて層が恒等写像を復元できるようにします。
決定論的な推論: 学習中は各ミニバッチ $B$ 全体で統計量を計算します。テスト時は、ミニバッチ統計量の代わりに固定の母集団統計量（移動平均または学習バッチ全体から算出）を使用し、単一サンプルに対する決定論的な推論を保証します。
パラメータのスケール不変性: 層の重みのスケール変換に対して $BN ((aW) u) = BN (W u)$ が成立します。これは、重みが大きくなるほど有効勾配が小さくなることを意味し、勾配爆発を防ぎます。

手法（主要な数式を含む）

単一の活性化次元に対応するミニバッチ $B = {x_{1 \dots m}}$ に対して：

ミニバッチ平均の計算： $μ_{B} \leftarrow \frac{1}{m} i = 1 \sum m x_{i}$
ミニバッチ分散の計算： $σ_{B}^{2} \leftarrow \frac{1}{m} i = 1 \sum m (x_{i} - μ_{B})^{2}$
活性化の正規化（数値安定化定数 $ϵ$ を使用）： $x_{i} \leftarrow \frac{x _{i} - μ _{B}}{σ _{B}^{2} + ϵ}$
学習可能なパラメータ $γ$ および $β$ によるスケールとシフト： $y_{i} \leftarrow γ x_{i} + β \equiv BN_{γ, β} (x_{i})$

各層への適用

配置位置: 非線形関数の直前に適用します： $z = g (BN (W u))$ 。元の層のバイアス $b$ は、平均の減算によって相殺されるため省略されます（その役割は $β$ に引き継がれます）。
畳み込み層: 並進等価性を維持するため、空間的な活性化ごとではなく、特徴マップごとに正規化を適用します。バッチサイズを $m$ 、空間解像度を $p \times q$ とすると、実効的なミニバッチサイズは $m^{'} = m \cdot p \cdot q$ となり、特徴マップ全体で1組の $(γ, β)$ が共有されます。

推論時の変換

テスト時には、母集団統計量 $E [x]$ と $Var [x]$ を用いた静的な線形変換になります： $y = \frac{γ}{Var [ x ] + ϵ} \cdot x + (β - \frac{γ E [ x ]}{Var [ x ] + ϵ})$

結果（主要な数値）

シグモイドを用いたMNIST: Batch Normalizationを導入したネットワークは、学習全体を通じて安定した活性化分布を維持し、正規化なしのネットワークと比較して収束を加速させ、より高いテスト精度を達成しました。
ImageNetの学習速度（単一ネットワーク）:
- 正規化なしの Inception は、 $31.0 \times 1 0^{6}$ ステップで72.2%の検証精度に達しました。
- ベースラインの Batch-Normalized Inception は、 $13.3 \times 1 0^{6}$ ステップで72.2%に到達しました。
- 5倍の学習率（BN-x5）を適用した場合、 $2.1 \times 1 0^{6}$ ステップで72.2%に到達しました。これは必要な学習ステップ数が 14分の1に削減 されたことを意味し、最終的には最高73.0%に達しました。
- 30倍の学習率（BN-x30）では、 $6.0 \times 1 0^{6}$ ステップ後に最高精度74.8%を達成しました。
飽和非線形関数: シグモイド活性化関数を用いた正規化なしの Inception は学習に失敗した（ランダム推測に近い精度0.1%に留まった）のに対し、BN-x5-Sigmoid は69.8%のTop-1精度を達成しました。
ImageNet SOTAアンサンブル: 6つのバッチ正規化ネットワークによるアンサンブルは、ILSVRCテストサーバーでTop-5検証誤差 4.9%、テスト誤差 4.82% を記録し、人間の評価基準を上回りました。

限界と未解決の課題

バッチサイズへの依存性: 正規化がミニバッチのサンプル統計量に依存しているため、ミニバッチサイズが極端に小さい場合、分散と平均の推定精度が低下する可能性があります。
再帰型ニューラルネットワーク（RNN）: 論文では順伝播型モデルおよび畳み込みモデルのみをテストしており、internal covariate shiftが同様に重大となる可能性のあるRNNへの適用は未検証の課題として挙げられています。
理論的基盤: 著者らはBatch Normalizationによって層のヤコビ行列の特異値が1に近づくと推測していますが、勾配挙動の厳密な理論的検証は今後の課題として残されています。

重要用語

Internal Covariate Shift: 前層のパラメータ更新によって、学習中にネットワーク内部の活性化分布が変動する現象。
Batch Normalization: ミニバッチ内の層への入力を平均0・分散1に標準化し、学習可能なパラメータでスケールおよびシフトを行う仕組み。
Scale and Shift Parameters (γ and β): 恒等変換を表現する能力を含め、ネットワークの表現力を復元するために活性化次元ごとに用意された学習可能なパラメータ。
Whitening: 平均を0、分散を1にし、特徴次元間を相互に無相関化する入力変換。
Batch Normalizing Transform: ミニバッチの平均と分散を計算し、入力を正規化して、学習されたアフィンスケールとシフトを適用する一連の微分可能アルゴリズム。
Population Statistics: 決定論的な推論を行うために正規化パラメータを固定化すべく、学習ミニバッチ全体を通じて追跡・集計された期待平均値と不偏分散。
Feature Map Normalization: 畳み込み特徴マップ内のすべての活性化が統計量とアフィンパラメータを共有するように、ミニバッチの要素と空間位置全体にわたってまとめて正規化を適用すること。

よくある質問

Batch Normalizationは活性化関数やバイアスに対してどの位置に適用されますか？

非線形活性化関数の直前に適用されます（ $z = g (BN (W u))$ ）。直前の線形変換のバイアスパラメータ $b$ は、平均の減算によって相殺されるため省略され、 $β$ がバイアスの役割を果たします。

学習時と推論時でBatch Normalizationの動作はどのように異なりますか？

学習時は、現在のミニバッチから直接平均と分散を計算して活性化を標準化します。推論時は、これらが固定の母集団統計量（学習バッチ全体の不偏移動平均）に置き換えられ、層は静的な線形変換として機能します。

なぜBatch Normalizationを用いると高い学習率を設定できるのですか？

活性化を正規化することで、小さなパラメータ変動が飽和領域への突入や勾配爆発へと発展するのを防ぎます。さらに、層を通過する逆伝播勾配は重みのスケールに対して不変であり、重みが大きくなるほど相対的な勾配は小さくなるため、不安定化を防ぐことができます。

Batch NormalizationはDropoutの代わりになりますか？

多くの構成において代替可能です。あるサンプルの正規化後の活性化は同じミニバッチに含まれる他のランダムなサンプルに依存するため、確率的なノイズが注入されて効果的な正則化として機能し、Dropoutの必要性を減らすか不要にすることができます。

このページの解説は AI が論文から作成したもので、誤りを含む場合があります。詳細は原文をご確認ください。

XYZNOT で読む（全文翻訳と AI 解説）