Adam: Eine Methode zur stochastischen Optimierung

Leseleitfaden

Problem und Motivation

Die stochastische Optimierung erster Ordnung bildet das Rückgrat des modernen maschinellen Lernens. Allerdings wendet das standardmäßige Stochastic Gradient Descent (SGD) eine einheitliche Schrittweite auf alle Koordinaten an, was es anfällig für Gradientenskalierung, schlecht konditionierte Krümmung und stochastisches Rauschen macht. Obwohl AdaGrad die Schrittweiten einzelner Koordinaten anhand historischer quadrierter Gradienten anpasst, fällt seine Lernrate in tiefen Architekturen sehr schnell gegen null ab. RMSProp und AdaDelta lösen diesen Abfall durch exponentiell gleitende Durchschnitte, jedoch fehlen RMSProp theoretische Garantien in nicht-stationären Umgebungen, und keines der Verfahren berücksichtigt den Initialisierungs-Bias, wenn die gleitenden Durchschnitte bei null beginnen.

Die Autoren zielen darauf ab, die Vorteile zweier Paradigmen zu vereinen: AdaGrad/RMSProp (Anpassung an dünnbesetzte und unterschiedlich skalierte Gradienten) und klassisches Momentum (Beschleunigung der Konvergenz in flachen Richtungen und Glättung von Rauschen).

Kernideen

• Schätzung des ersten und zweiten Moments: Adam führt fortlaufende exponentiell gleitende Durchschnitte sowohl des Gradienten (erstes Rohmoment $m_t$) als auch des quadrierten Gradienten (zweites unzentriertes Moment $v_t$).
• Bias-Korrektur: Da $m_t$ und $v_t$ als Nullvektoren initialisiert werden, sind ihre standardmäßigen gleitenden Durchschnitte zu Beginn in Richtung null verzerrt – insbesondere in frühen Iterationen oder wenn die Abklingraten (${\beta }_1,{\beta }_2$) nahe bei 1 liegen. Adam korrigiert diesen Bias analytisch durch Division durch $(1-{\beta }_1^t)$ und $(1-{\beta }_2^t)$.
• Invariant gegenüber Gradientenskalierung: Die effektive Update-Richtung skaliert näherungsweise mit dem Signal-Rausch-Verhältnis ${\hat{m}}_t/\sqrt{{\hat{v}}_t}$, was eine natürliche Begrenzung der Schrittweite und Invarianz gegenüber diagonaler Skalierung der Gradienten bietet.
• AdaMax: Die Verallgemeinerung der $L_2$-Norm-Verfolgung der Gradienten in $v_t$ auf die $L_{\infty }$-Norm führt zu AdaMax, einer numerisch stabilen Variante, die ohne Bias-Korrektur des zweiten Moments auskommt.

Methode (mit den Schlüsselgleichungen)

Zu jedem Zeitschritt $t$, gegeben die Zielfunktion $f_t(\theta )$, der Gradient $g_t={\nabla }_{\theta }{f}_t({\theta }_{t-1})$, die Schrittweite $\alpha$, die exponentiellen Abklingraten ${\beta }_1,{\beta }_2\in [0,1)$ und eine kleine Konstante $ϵ$:

1. Aktualisierung der verzerrten Schätzung des ersten Moments: $$m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t$$

2. Aktualisierung der verzerrten Schätzung des zweiten Rohmoments: $$v_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)g_t^2$$

3. Berechnung der bias-korrigierten Momentschätzungen: $${\hat{m}}_t=\frac{m_t}{1-{\beta }_1^t}$$ $${\hat{v}}_t=\frac{v_t}{1-{\beta }_2^t}$$

4. Parameter-Update: $${\theta }_t={\theta }_{t-1}-\alpha \frac{{\hat{m}}_t}{\sqrt{{\hat{v}}_t}+ϵ}$$

Die vom Paper empfohlenen Standard-Hyperparameter sind $\alpha =0.001$, ${\beta }_1=0.9$, ${\beta }_2=0.999$ und $ϵ=10^{-8}$.

Ergebnisse (mit den wichtigsten Zahlen)

• Theoretische Konvergenz: In einem Online-konvexen Optimierungsrahmen mit beschränkten Gradienten und beschränktem Parameterbereich $D$ erzielt Adam eine theoretische Regret-Schranke von $R(T)={\sum }_{t=1}^T(f_t({\theta }_t)-f_t({\theta }^{\ast }))=O(\sqrt{T})$, was einer durchschnittlichen Regret-Rate von $O(1/\sqrt{T})$ entspricht.
• Logistische Regression & Multi-Layer-Perzeptren: Bei der MNIST-Klassifikation konvergierte Adam über verschiedene Architekturen hinweg schneller als AdaGrad, RMSProp und SGD mit Nesterov-Momentum und zeigte minimale Sensitivität gegenüber Hyperparameter-Änderungen.
• Convolutional Neural Networks: Evaluiert auf CIFAR-10 mit einem mehrschichtigen CNN (mit Dropout und Pooling) zeigte Adam eine schnellere Reduktion des Trainingsverlusts und erreichte einen niedrigeren finalen Loss als RMSProp und AdaDelta.

Grenzen und offene Fragen

• Konvexe vs. nicht-konvexe Theorie: Die theoretischen Regret-Schranken setzen konvexe Funktionen voraus; ein theoretisches Konvergenzverhalten auf nicht-konvexen Deep-Learning-Zielfunktionen wurde formal nicht garantiert.
• Spätere theoretische Schwachstellen: Nachfolgende Arbeiten (wie Reddi et al., 2018) wiesen nach, dass Adams Konvergenzbeweis eine Lücke enthielt, da ${\Gamma }_{t+1}-{\Gamma }_t$ nicht zwingend positiv semidefinit ist, was mitunter zu empirischer Divergenz führte (und Varianten wie AMSGrad motivierte).
• Generalisierungslücke: Empirische Studien im Nachgang dieser Arbeit stellten fest, dass Adam zwar anfänglich schneller trainiert, sorgfältig abgestimmtes SGD mit Momentum bei bestimmten Bildklassifikationsaufgaben jedoch oft Lösungen findet, die geringfügig besser generalisieren.