Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

Okuma rehberi

Problem ve motivasyon

SGD ile derin ağ optimizasyonu sırasında, önceki katman parametrelerindeki değişiklikler sonraki katmanlara gelen girdilerin dağılımını değiştirir. Yazarlar bu olguyu Internal Covariate Shift olarak adlandırır.

Internal covariate shift iki temel zorluk yaratır:

1. Alt ağlar sürekli olarak kayan aktivasyon dağılımlarına uyum sağlamak zorundadır.
2. Aktivasyonlar doğrusal olmayan işlevlerin (örneğin sigmoid fonksiyonları) doyum bölgelerine kolayca sürüklenir; bu da gradyanların kaybolmasına (vanishing gradients) yol açarak küçük öğrenme oranları ve titiz parametre başlatma süreçleri gerektirir.

Katman girdilerini tüm veri kümesi genelinde beyazlatmak (whitening - ilişkisizleştirme ve standartlaştırma) dağılımları sabitleyebilse de, her parametre güncellemesinde tam kovaryans matrislerini ve bunların ters kareköklerini hesaplamak hesaplama açısından aşırı maliyetlidir; ayrıca normalleştirme geriye yayılıma (backpropagation) entegre edilmezse gradyanların patlamasına neden olabilir.

Temel fikirler

• Türevlenebilir Normalleştirme Katmanı: Aktivasyonları optimizasyon sürecinin dışında standartlaştırmak yerine normalleştirme doğrudan model mimarisine entegre edilir; böylece geriye yayılımın katman aktivasyonları ile mini grup istatistikleri arasındaki bağımlılıkları hesaba katması sağlanır.
• Boyut Başına Normalleştirme: Tam ortak beyazlatma yerine, her bir skaler özellik boyutu birbirinden bağımsız olarak sıfır ortalama ve birim varyansa normalleştirilir.
• Temsil Kapasitesini Geri Kazandırma: Normalleştirmenin bir katmanın ifade gücünü yok etmemesini (örneğin bir sigmoidi tamamen doğrusal davranmaya zorlamamak gibi) sağlamak için, katmanın gerektiğinde özdeşlik dönüşümünü (identity transformation) geri kazanmasına olanak tanıyan öğrenilebilir $\gamma$ (ölçekleme) ve $\beta$ (kaydırma) parametreleri eklenir.
• Deterministik Çıkarım (Inference): Eğitim sırasında istatistikler her bir $\mathcal{B}$ mini grubu üzerinden hesaplanır. Test aşamasında ise mini grup istatistiklerinin yerini sabit popülasyon istatistikleri (hareketli ortalamalar veya eğitim grupları üzerinden hesaplanan) alır; bu da tekil örnekler için deterministik çıkarım sağlar.
• Parametre Ölçek Değişmezliği: Katman ağırlıklarının ölçek dönüşümleri $\text{BN}((aW)\mathrm{u})=\text{BN}(W\mathrm{u})$ eşitliğini sağlar; bu da daha büyük ağırlıkların daha küçük etkin gradyanlara yol açması anlamına gelir ve gradyan patlamasını engeller.

Yöntem (temel denklemlerle)

Tek bir aktivasyon boyutuna karşılık gelen bir $\mathcal{B}=\{x_{1\dots m}\}$ mini grubu için:

1. Mini grup ortalamasını hesaplayın: $${\mu }_{\mathcal{B}}\leftarrow \frac{1}{m}\sum _{i=1}^m{x}_i$$
2. Mini grup varyansını hesaplayın: $${\sigma }_{\mathcal{B}}^2\leftarrow \frac{1}{m}\sum _{i=1}^m(x_i-{\mu }_{\mathcal{B}}{)}^2$$
3. Aktivasyonları normalleştirin (kararlılık sabiti $ϵ$ ile): $${\hat{x}}_i\leftarrow \frac{x_i-{\mu }_{\mathcal{B}}}{\sqrt{{\sigma }_{\mathcal{B}}^2+ϵ}}$$
4. Öğrenilebilir $\gamma$ ve $\beta$ parametrelerini kullanarak ölçekleyin ve kaydırın: $$y_i\leftarrow \gamma {\hat{x}}_i+\beta \equiv {\text{BN}}_{\gamma ,\beta }(x_i)$$

Katmanlara Uygulanması

• Konumlandırma: Doğrusal olmayan işlevlerin hemen öncesine uygulanır: $z=g(\text{BN}(Wu))$. Orijinal katman sapması (bias) $b$ ihmal edilir çünkü ortalama çıkarma işlemi bunu sıfırlar (rolünü $\beta$ üstlenir).
• Evrişimli Katmanlar (Convolutional Layers): Öteleme eşdeğişirliği (translation equivariance) özelliğini korumak için normalleştirme, uzamsal aktivasyon başına değil özellik haritası (feature map) başına uygulanır. $m$ grup boyutu ve $p\times q$ uzamsal çözünürlüğü için etkin mini grup boyutu $m^{\prime }=m\cdot p\cdot q$ olur ve her özellik haritası genelinde tek bir $(\gamma ,\beta )$ çifti paylaşılır.

Çıkarım Dönüşümü

Test zamanında dönüşüm, $\mathrm{E}[x]$ ve $\mathrm{Var}[x]$ popülasyon istatistiklerini kullanan statik bir doğrusal işleme dönüşür: $$y=\frac{\gamma }{\sqrt{\mathrm{Var}[x]+ϵ}}\cdot x+\left(\beta -\frac{\gamma \mathrm{E}[x]}{\sqrt{\mathrm{Var}[x]+ϵ}}\right)$$

Sonuçlar (en önemli sayılarla)

• Sigmoidli MNIST: Batch Normalization ile donatılmış ağlar, eğitim boyunca kararlı aktivasyon dağılımlarını korumuş, normalleştirilmemiş ağlara kıyasla yakınsamayı hızlandırmış ve daha yüksek test doğruluğuna ulaşmıştır.
• ImageNet Eğitim Hızı (Tek Ağ):
  • Normalleştirilmemiş Inception, $31,0\times 10^6$ adımdan sonra %72,2 doğrulama başarımına ulaştı.
  • Temel Batch-Normalized Inception, %72,2'ye $13,3\times 10^6$ adımda ulaştı.
  • 5 kat daha yüksek öğrenme oranıyla (BN-x5), %72,2'ye $2,1\times 10^6$ adımda ulaştı—bu, gereken eğitim adımlarında 14 katlık bir azalma anlamına gelir ve model nihayetinde %73,0'a ulaştı.
  • 30 kat daha yüksek öğrenme oranıyla (BN-x30), model $6,0\times 10^6$ adımdan sonra maksimum %74,8 doğruluğa ulaştı.
• Doyumlu Doğrusal Olmayan İşlevler: Sigmoid aktivasyonlarına sahip normalleştirilmemiş Inception eğitilemezken (%0,1 civarında rastgele seçim düzeyinde kalarak), BN-x5-Sigmoid %69,8 ilk 1 doğruluğu elde etti.
• ImageNet SOTA Topluluğu: 6 adet batch-normalized ağdan oluşan bir topluluk, ILSVRC test sunucusunda %4,9 ilk 5 doğrulama hatası ve %4,82 test hatası elde ederek insan değerlendirici eşiklerini geride bıraktı.

Sınırlılıklar ve açık sorular

• Grup Boyutu Bağımlılığı: Normalleştirme mini grup örnek istatistiklerine dayandığından, çok küçük mini grup boyutları varyans ve ortalama tahminlerinin kalitesini düşürebilir.
• Yinelemeli Ağlar: Makale ileri beslemeli ve evrişimli modelleri test etmiş; yinelemeli sinir ağlarını (RNN'ler), internal covariate shift olgusunun kritik olabileceği henüz test edilmemiş açık bir soru olarak tanımlamıştır.
• Teorik Temeller: Yazarlar, Batch Normalization'ın katman Jacobian'larının tekil değerlerinin (singular values) 1'e yakın olmasına yol açtığını öne sürmüş, ancak gradyan davranışının kesin teorik doğrulamasının gelecekteki analizlere açık bir konu olduğunu belirtmiştir.