Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

Leseleitfaden

Problem und Motivation

Während der Optimierung tiefer Netze mittels SGD verändern Anpassungen der Parameter früherer Schichten die Eingabeverteilung nachfolgender Schichten. Die Autoren bezeichnen dieses Phänomen als Internal Covariate Shift.

Internal Covariate Shift führt zu zwei zentralen Problemen:

1. Subnetzwerke müssen sich kontinuierlich an veränderte Aktivierungsverteilungen anpassen.
2. Aktivierungen driften leicht in die Sättigungsbereiche von Nichtlinearitäten (wie Sigmoid-Funktionen) ab, was zu verschwindenden Gradienten führt und geringe Lernraten sowie eine akribische Parameterinitialisierung erzwingt.

Zwar könnte ein Whitening (Dekorrelieren und Standardisieren) der Schichteingaben über den gesamten Datensatz die Verteilungen stabilisieren, jedoch ist die Berechnung vollständiger Kovarianzmatrizen und deren inverser Quadratwurzeln bei jedem Parameterschritt rechentechnisch untragbar. Zudem kann dies zur Explosion von Gradienten führen, wenn die Normalisierung nicht direkt in die Backpropagation integriert ist.

Kernideen

• Differenzierbare Normalisierungsschicht: Anstatt Aktivierungen außerhalb der Optimierung zu standardisieren, wird die Normalisierung direkt in die Modellarchitektur eingebunden. Dadurch berücksichtigt die Backpropagation die Abhängigkeiten zwischen Schichtaktivierungen und Minibatch-Statistiken.
• Dimensionenweise Normalisierung: Statt eines vollständigen gemeinsamen Whitenings wird jede skalare Merkmalsdimension separat auf einen Mittelwert von null und eine Varianz von eins normalisiert.
• Wiederherstellung der Repräsentationskapazität: Um zu verhindern, dass die Normalisierung die Ausdrucksstärke einer Schicht einschränkt (z. B. indem eine Sigmoid-Funktion in ein rein lineares Verhalten gezwungen wird), erlauben lernbare Parameter $\gamma$ (Skalierung) und $\beta$ (Verschiebung) dem Modell, bei Bedarf wieder die Identitätstransformation herzustellen.
• Deterministische Inferenz: Während des Trainings werden die Statistiken über jeden Minibatch $\mathcal{B}$ berechnet. Zur Testzeit ersetzen feste Populationsstatistiken (ermittelt über gleitende Durchschnitte der Trainings-Batches) die Minibatch-Statistiken, was eine deterministische Inferenz für Einzelsamples gewährleistet.
• Invarianz gegenüber Parameterskalierung: Skalierungstransformationen von Schichtgewichten erfüllen $\text{BN}((aW)\mathrm{u})=\text{BN}(W\mathrm{u})$. Größere Gewichte führen folglich zu kleineren effektiven Gradienten, was einer Gradientenexplosion entgegenwirkt.

Methode (mit den zentralen Gleichungen)

Für einen Minibatch $\mathcal{B}=\{x_{1\dots m}\}$ bezogen auf eine einzelne Aktivierungsdimension:

1. Berechnung des Minibatch-Mittelwerts: $${\mu }_{\mathcal{B}}\leftarrow \frac{1}{m}\sum _{i=1}^m{x}_i$$
2. Berechnung der Minibatch-Varianz: $${\sigma }_{\mathcal{B}}^2\leftarrow \frac{1}{m}\sum _{i=1}^m(x_i-{\mu }_{\mathcal{B}}{)}^2$$
3. Normalisierung der Aktivierungen (mit Stabilitätskonstante $ϵ$): $${\hat{x}}_i\leftarrow \frac{x_i-{\mu }_{\mathcal{B}}}{\sqrt{{\sigma }_{\mathcal{B}}^2+ϵ}}$$
4. Skalierung und Verschiebung mittels der lernbaren Parameter $\gamma$ und $\beta$: $$y_i\leftarrow \gamma {\hat{x}}_i+\beta \equiv {\text{BN}}_{\gamma ,\beta }(x_i)$$

Anwendung auf Schichten

• Platzierung: Wird unmittelbar vor Nichtlinearitäten eingesetzt: $z=g(\text{BN}(Wu))$. Der ursprüngliche Schicht-Bias $b$ entfällt, da die Subtraktion des Mittelwerts ihn neutralisieren würde (seine Funktion wird von $\beta$ übernommen).
• Convolutional Layers: Um die Translationsäquivarianz zu erhalten, erfolgt die Normalisierung pro Feature-Map und nicht pro räumlicher Aktivierung. Bei einer Batchgröße $m$ und einer räumlichen Auflösung $p\times q$ beträgt die effektive Minibatch-Größe $m^{\prime }=m\cdot p\cdot q$, wobei sich alle Werte einer Feature-Map ein gemeinsames Paar $(\gamma ,\beta )$ teilen.

Transformation bei der Inferenz

Zur Testzeit wird die Transformation zu einer statischen linearen Operation unter Verwendung der Populationsstatistiken $\mathrm{E}[x]$ und $\mathrm{Var}[x]$: $$y=\frac{\gamma }{\sqrt{\mathrm{Var}[x]+ϵ}}\cdot x+\left(\beta -\frac{\gamma \mathrm{E}[x]}{\sqrt{\mathrm{Var}[x]+ϵ}}\right)$$

Ergebnisse (mit den wichtigsten Kennzahlen)

• MNIST mit Sigmoiden: Mit Batch Normalization ausgestattete Netze behielten während des Trainings stabile Aktivierungsverteilungen bei, konvergierten schneller und erzielten eine höhere Testgenauigkeit als unnormalisierte Netze.
• ImageNet-Trainingsgeschwindigkeit (Einzelnetz):
  • Das unnormalisierte Inception erreichte 72,2 % Validierungsgenauigkeit nach $31,0\times 10^6$ Schritten.
  • Das Inception-Basismodell mit Batch Normalization erreichte 72,2 % in $13,3\times 10^6$ Schritten.
  • Mit einer 5-fach höheren Lernrate (BN-x5) erreichte es 72,2 % bereits in $2,1\times 10^6$ Schritten – eine 14-fache Reduktion der nötigen Trainingsschritte bei einer Spitzenleistung von 73,0 %.
  • Mit einer 30-fach höheren Lernrate (BN-x30) erreichte das Modell nach $6,0\times 10^6$ Schritten ein Maximum von 74,8 % Genauigkeit.
• Sättigende Nichtlinearitäten: Während ein unnormalisiertes Inception mit Sigmoid-Aktivierungen nicht trainierbar war (es stagnierte bei ca. 0,1 % Zufallsgenauigkeit), erreichte BN-x5-Sigmoid eine Top-1-Genauigkeit von 69,8 %.
• ImageNet-SOTA-Ensemble: Ein Ensemble aus 6 batch-normalisierten Netzen erreichte einen Top-5-Validierungsfehler von 4,9 % und einen Testfehler von 4,82 % auf dem ILSVRC-Testserver und übertraf damit menschliche Benchmarks.

Grenzen und offene Fragen

• Abhängigkeit von der Batchgröße: Da die Normalisierung auf Stichprobenstatistiken des Minibatches basiert, können sehr kleine Minibatch-Größen die Qualität der Schätzungen von Mittelwert und Varianz verschlechtern.
• Rekurrente Netze: Die Arbeit konzentriert sich auf Feedforward- und Faltungsnetze; rekurrente neuronale Netze (RNNs) wurden als offene Forschungsfrage ausgewiesen, bei der Internal Covariate Shift ebenfalls kritisch sein könnte.
• Theoretische Grundlagen: Die Autoren vermuten, dass Batch Normalization dazu führt, dass die Singulärwerte der Schicht-Jacobi-Matrizen nahe bei 1 liegen; ein präziser theoretischer Nachweis des Gradientenverhaltens blieb jedoch zukünftigen Analysen vorbehalten.