Adam: Stokastik Optimizasyon İçin Bir Yöntem

Okuma rehberi

Problem ve motivasyon

Stokastik birinci dereceden optimizasyon, modern makine öğreniminin omurgasıdır. Ancak, standart Stokastik Gradyan İnişi (SGD), tüm koordinatlara tek tip bir adım boyutu uygular; bu da onu gradyan ölçeklendirmesine, kötü koşullu eğriliğe ve stokastik gürültüye karşı hassas hale getirir. AdaGrad koordinat adım boyutlarını geçmiş karesel gradyanları kullanarak uyarlarken, öğrenme oranı derin mimarilerde hızla sıfıra düşer. RMSProp ve AdaDelta bu düşüşü üstel hareketli ortalamalarla ele alır; ancak RMSProp durağan olmayan ortamlarda teorik garantilerden yoksundur ve her iki yöntem de hareketli ortalamalar sıfırdan başladığında başlangıç yanlılığını hesaba katmaz.

Yazarlar iki paradigmanın avantajlarını birleştirmeyi amaçlamaktadır: AdaGrad/RMSProp (seyrek ve farklı ölçeklenmiş gradyanlara uyum sağlama) ve klasik Momentum (düz yönler boyunca yakınsamayı hızlandırma ve gürültüyü yumuşatma).

Temel fikirler

• Birinci ve İkinci Moment Tahmini: Adam, hem gradyanın (birinci ham moment $m_t$) hem de karesi alınmış gradyanın (ikinci merkezileştirilmemiş moment $v_t$) anlık üstel hareketli ortalamalarını tutar.
• Yanlılık Düzeltmesi (Bias Correction): $m_t$ ve $v_t$ sıfır vektörleri olarak başlatıldığından, standart hareketli ortalamaları özellikle erken yinelemelerde veya sönümleme oranları (decay rates) (${\beta }_1,{\beta }_2$) 1'e yakın olduğunda sıfıra doğru yanlıdır (biased). Adam, $(1-{\beta }_1^t)$ ve $(1-{\beta }_2^t)$ değerlerine bölerek bu yanlılığı analitik olarak düzeltir.
• Gradyan Ölçeklendirmesine Karşı Değişmezlik: Etkin güncelleme yönü yaklaşık olarak ${\hat{m}}_t/\sqrt{{\hat{v}}_t}$ sinyal-gürültü oranıyla ölçeklenir; bu da doğal bir adım boyutu sınırlaması ve gradyanların diyagonal ölçeklendirilmesine karşı değişmezlik sağlar.
• AdaMax: $v_t$ içindeki gradyanların $L_2$ normu takibinin $L_{\infty }$ normuna genelleştirilmesi, ikinci moment yanlılık düzeltmesini ortadan kaldıran sayısal olarak kararlı bir varyant olan AdaMax'ı ortaya çıkarır.

Yöntem (anahtar denklemlerle)

$t$ zaman adımında, $f_t(\theta )$ amaç fonksiyonu, $g_t={\nabla }_{\theta }{f}_t({\theta }_{t-1})$ gradyanı, $\alpha$ adım boyutu, ${\beta }_1,{\beta }_2\in [0,1)$ üstel sönümleme oranları ve küçük bir $ϵ$ sabiti verildiğinde:

1. Yanlı birinci moment tahminini güncelleme: $$m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t$$

2. Yanlı ikinci ham moment tahminini güncelleme: $$v_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)g_t^2$$

3. Yanlılığı düzeltilmiş moment tahminlerini hesaplama: $${\hat{m}}_t=\frac{m_t}{1-{\beta }_1^t}$$ $${\hat{v}}_t=\frac{v_t}{1-{\beta }_2^t}$$

4. Parametreleri güncelleme: $${\theta }_t={\theta }_{t-1}-\alpha \frac{{\hat{m}}_t}{\sqrt{{\hat{v}}_t}+ϵ}$$

Makale tarafından önerilen varsayılan hiperparametreler şunlardır: $\alpha =0.001$, ${\beta }_1=0.9$, ${\beta }_2=0.999$ ve $ϵ=10^{-8}$.

Sonuçlar (en önemli sayılarla)

• Teorik Yakınsama: Sınırlı gradyanlara ve sınırlı parametre uzayı $D$'ye sahip bir çevrim içi konveks optimizasyon çerçevesinde Adam, $R(T)={\sum }_{t=1}^T(f_t({\theta }_t)-f_t({\theta }^{\ast }))=O(\sqrt{T})$ teorik pişmanlık sınırına ulaşarak $O(1/\sqrt{T})$ ortalama pişmanlık hızı sağlar.
• Lojistik Regresyon ve Çok Katmanlı Algılayıcılar (MLP): MNIST sınıflandırmasında Adam, çeşitli mimarilerde AdaGrad, RMSProp ve Nesterov momentumlu SGD'den daha hızlı yakınsamış ve hiperparametre değişikliklerine karşı minimum hassasiyet göstermiştir.
• Evrişimli Sinir Ağları (CNN): CIFAR-10 üzerinde çok katmanlı bir CNN (dropout ve ortaklama içeren) ile değerlendirildiğinde Adam, RMSProp ve AdaDelta'ya kıyasla daha hızlı eğitim kaybı düşüşü sergilemiş ve daha düşük nihai kayba ulaşmıştır.

Kısıtlamalar ve açık sorular

• Konveks ve Konveks Olmayan Teori: Teorik pişmanlık sınırları konveks fonksiyonları varsayar; konveks olmayan derin öğrenme amaçları üzerindeki teorik yakınsama davranışı resmi olarak garanti edilmemiştir.
• Sonraki Teorik Kusurlar: Daha sonraki çalışmalar (örneğin Reddi ve ark., 2018), Adam'ın yakınsama kanıtında ${\Gamma }_{t+1}-{\Gamma }_t$ ifadesinin her zaman pozitif yarı-belirli olmadığı ve bunun zaman zaman ampirik ıraksamaya yol açtığı bir sorun tespit etmiştir (bu da AMSGrad gibi varyantların ortaya çıkmasını sağlamıştır).
• Genelleştirme Farkı (Generalization Gap): Bu makaleyi takip eden ampirik çalışmalar, Adam'ın başlangıçta daha hızlı eğitilmesine rağmen, dikkatle ayarlanmış momentumlu SGD'nin belirli görüntü sınıflandırma görevlerinde genellikle biraz daha iyi genelleşen çözümler bulduğunu belirtmiştir.