Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

Panduan membaca

Masalah dan motivasi

Selama optimasi deep network dengan SGD, perubahan parameter pada layer awal mengubah distribusi input ke layer-layer berikutnya. Para penulis menyebut fenomena ini sebagai Internal Covariate Shift.

Internal covariate shift menimbulkan dua tantangan utama:

1. Sub-jaringan harus terus-menerus beradaptasi dengan distribusi aktivasi yang terus bergeser.
2. Aktivasi sangat mudah melayang ke dalam wilayah saturasi dari fungsi non-linearitas (seperti fungsi sigmoid), menyebabkan vanishing gradient serta memerlukan learning rate kecil dan inisialisasi parameter yang teliti.

Meskipun proses whitening (mendekorelasikan dan menstandardisasi) input layer di seluruh dataset dapat menstabilkan distribusi, menghitung matriks kovarians penuh beserta akar kuadrat inversnya pada setiap pembaruan parameter membutuhkan biaya komputasi yang sangat besar dan dapat menyebabkan ledakan gradien jika normalisasi tidak diintegrasikan ke dalam backpropagation.

Gagasan utama

• Differentiable Normalization Layer: Alih-alih menstandardisasi aktivasi di luar proses optimasi, normalisasi diintegrasikan langsung ke dalam arsitektur model, memastikan backpropagation memperhitungkan dependensi antara aktivasi layer dan statistik mini-batch.
• Per-Dimension Normalization: Alih-alih melakukan joint whitening penuh, setiap dimensi fitur skalar dinormalisasi secara independen ke rata-rata nol dan varians satu.
• Memulihkan Kapasitas Representasi: Untuk memastikan normalisasi tidak merusak kemampuan ekspresif layer (seperti memaksa fungsi sigmoid berperilaku murni linear), parameter terpelajar $\gamma$ (scale) dan $\beta$ (shift) diperkenalkan untuk memungkinkan layer memulihkan transformasi identitas jika diperlukan.
• Inferensi Deterministik: Selama pelatihan, statistik dihitung di setiap mini-batch $\mathcal{B}$. Saat pengujian, statistik populasi tetap (dihitung melalui moving average atau di seluruh batch pelatihan) menggantikan statistik mini-batch, memastikan inferensi sampel tunggal yang deterministik.
• Invariansi Skala Parameter: Transformasi skala dari bobot layer memenuhi $\text{BN}((aW)\mathrm{u})=\text{BN}(W\mathrm{u})$, yang berarti bobot yang lebih besar menghasilkan gradien efektif yang lebih kecil, sehingga mencegah terjadinya ledakan gradien (gradient explosion).

Metode (dengan persamaan utama)

Untuk mini-batch $\mathcal{B}=\{x_{1\dots m}\}$ yang berhubungan dengan satu dimensi aktivasi:

1. Hitung rata-rata mini-batch: $${\mu }_{\mathcal{B}}\leftarrow \frac{1}{m}\sum _{i=1}^m{x}_i$$
2. Hitung varians mini-batch: $${\sigma }_{\mathcal{B}}^2\leftarrow \frac{1}{m}\sum _{i=1}^m(x_i-{\mu }_{\mathcal{B}}{)}^2$$
3. Normalisasi aktivasi (dengan konstanta stabilitas $ϵ$): $${\hat{x}}_i\leftarrow \frac{x_i-{\mu }_{\mathcal{B}}}{\sqrt{{\sigma }_{\mathcal{B}}^2+ϵ}}$$
4. Skalakan dan geser menggunakan parameter terpelajar $\gamma$ dan $\beta$: $$y_i\leftarrow \gamma {\hat{x}}_i+\beta \equiv {\text{BN}}_{\gamma ,\beta }(x_i)$$

Penerapan pada Layer

• Penempatan: Diterapkan tepat sebelum fungsi non-linearitas: $z=g(\text{BN}(Wu))$. Bias layer asli $b$ dihilangkan karena pengurangan rata-rata akan membatalkannya (perannya digantikan oleh $\beta$).
• Convolutional Layer: Untuk mempertahankan sifat ekuivarian translasi, normalisasi diterapkan per feature map, bukan per aktivasi spasial. Untuk ukuran batch $m$ dan resolusi spasial $p\times q$, ukuran mini-batch efektif menjadi $m^{\prime }=m\cdot p\cdot q$, dengan satu pasang $(\gamma ,\beta )$ yang digunakan bersama di setiap feature map.

Transformasi Inferensi

Saat pengujian, transformasi ini menjadi operasi linear statis menggunakan statistik populasi $\mathrm{E}[x]$ dan $\mathrm{Var}[x]$: $$y=\frac{\gamma }{\sqrt{\mathrm{Var}[x]+ϵ}}\cdot x+\left(\beta -\frac{\gamma \mathrm{E}[x]}{\sqrt{\mathrm{Var}[x]+ϵ}}\right)$$

Hasil (dengan angka terpenting)

• MNIST dengan Sigmoid: Jaringan yang dilengkapi dengan Batch Normalization mempertahankan distribusi aktivasi yang stabil sepanjang pelatihan, mempercepat konvergensi dan mencapai akurasi uji yang lebih tinggi dibandingkan jaringan tanpa normalisasi.
• Kecepatan Pelatihan ImageNet (Jaringan Tunggal):
  • Inception tanpa normalisasi mencapai akurasi validasi 72,2% setelah $31,0\times 10^6$ langkah.
  • Inception dengan Batch-Normalized baseline mencapai 72,2% dalam $13,3\times 10^6$ langkah.
  • Dengan learning rate 5x lebih tinggi (BN-x5), ia mencapai 72,2% dalam $2,1\times 10^6$ langkah—sebuah pengurangan 14 kali lipat dalam langkah pelatihan yang dibutuhkan, dan akhirnya mencapai puncak pada 73,0%.
  • Dengan learning rate 30x lebih tinggi (BN-x30), model mencapai akurasi maksimum 74,8% setelah $6,0\times 10^6$ langkah.
• Non-linearitas yang Mengalami Saturasi: Sementara Inception tanpa normalisasi dengan aktivasi sigmoid gagal dilatih (tetap di sekitar akurasi acak 0,1%), BN-x5-Sigmoid meraih akurasi top-1 sebesar 69,8%.
• SOTA Ensemble ImageNet: Ensemble dari 6 jaringan batch-normalized meraih top-5 validation error sebesar 4,9% dan test error sebesar 4,82% pada server pengujian ILSVRC, melampaui baseline penilai manusia.

Batasan dan pertanyaan terbuka

• Ketergantungan pada Ukuran Batch: Karena normalisasi bergantung pada statistik sampel mini-batch, ukuran mini-batch yang sangat kecil dapat menurunkan kualitas estimasi varians dan rata-rata.
• Jaringan Rekuren: Makalah ini menguji model feedforward dan konvolusional, mengidentifikasi recurrent neural networks (RNN) sebagai pertanyaan terbuka yang belum diuji di mana internal covariate shift mungkin juga bersifat krusial.
• Dasar Teoretis: Para penulis menduga bahwa Batch Normalization menyebabkan Jacobian layer memiliki nilai singular yang mendekati 1, tetapi mencatat bahwa pembuktian teoretis yang tepat mengenai perilaku gradien masih terbuka untuk analisis masa depan.