Adam : Une méthode pour l'optimisation stochastique

Guide de lecture

Problème et motivation

L'optimisation stochastique de premier ordre est le pilier de l'apprentissage automatique moderne. Cependant, la descente de gradient stochastique classique (SGD) applique un pas uniforme à toutes les coordonnées, ce qui la rend sensible à l'échelle des gradients, aux courbures mal conditionnées et au bruit stochastique. Bien qu'AdaGrad adapte les pas de chaque coordonnée en exploitant les gradients historiques au carré, son taux d'apprentissage décroît rapidement vers zéro dans les architectures profondes. RMSProp et AdaDelta remédient à cette décroissance grâce à des moyennes mobiles exponentielles, mais RMSProp manque de garanties théoriques dans les contextes non stationnaires, et aucun des deux ne prend en compte le biais d'initialisation lorsque les moyennes mobiles débutent à zéro.

Les auteurs cherchent à combiner les avantages de deux paradigmes : AdaGrad/RMSProp (adaptation aux gradients clairsemés et d'échelles différentes) et le Momentum classique (accélération de la convergence sur les directions plates et lissage du bruit).

Idées clés

• Estimation des premier et second moments : Adam conserve des moyennes mobiles exponentielles glissantes du gradient (premier moment brut $m_t$) et du gradient au carré (second moment non centré $v_t$).
• Correction du biais : Comme $m_t$ et $v_t$ sont initialisés par des vecteurs de zéros, leurs moyennes mobiles standards sont biaisées vers zéro, particulièrement lors des premières itérations ou lorsque les taux de décroissance (${\beta }_1,{\beta }_2$) sont proches de 1. Adam corrige analytiquement ce biais en divisant par $(1-{\beta }_1^t)$ et $(1-{\beta }_2^t)$.
• Invariance au rééchelonnement du gradient : La direction effective de mise à jour s'échelonne approximativement avec le rapport signal sur bruit ${\hat{m}}_t/\sqrt{{\hat{v}}_t}$, offrant un bornage naturel de la taille du pas et une invariance au redimensionnement diagonal des gradients.
• AdaMax : En généralisant le suivi des gradients en norme $L_2$ de $v_t$ à la norme $L_{\infty }$, on obtient AdaMax, une variante numériquement stable qui s'affranchit de la correction de biais pour le second moment.

Méthode (avec les équations clés)

À l'étape de temps $t$, pour une fonction objectif $f_t(\theta )$, un gradient $g_t={\nabla }_{\theta }{f}_t({\theta }_{t-1})$, une taille de pas $\alpha$, des taux de décroissance exponentielle ${\beta }_1,{\beta }_2\in [0,1)$, et une petite constante $ϵ$ :

1. Mise à jour de l'estimation biaisée du premier moment : $$m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t$$

2. Mise à jour de l'estimation biaisée du second moment brut : $$v_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)g_t^2$$

3. Calcul des estimations des moments corrigées du biais : $${\hat{m}}_t=\frac{m_t}{1-{\beta }_1^t}$$ $${\hat{v}}_t=\frac{v_t}{1-{\beta }_2^t}$$

4. Mise à jour des paramètres : $${\theta }_t={\theta }_{t-1}-\alpha \frac{{\hat{m}}_t}{\sqrt{{\hat{v}}_t}+ϵ}$$

Les hyperparamètres par défaut recommandés par l'article sont $\alpha =0.001$, ${\beta }_1=0.9$, ${\beta }_2=0.999$, et $ϵ=10^{-8}$.

Résultats (avec les chiffres les plus importants)

• Convergence théorique : Dans un cadre d'optimisation convexe en ligne avec des gradients bornés et un domaine de paramètres $D$ borné, Adam atteint une borne de regret théorique de $R(T)={\sum }_{t=1}^T(f_t({\theta }_t)-f_t({\theta }^{\ast }))=O(\sqrt{T})$, ce qui donne un taux de regret moyen de $O(1/\sqrt{T})$.
• Régression logistique et perceptrons multicouches : Sur la classification MNIST, Adam a convergé plus rapidement qu'AdaGrad, RMSProp et SGD avec momentum de Nesterov sur différentes architectures, affichant une sensibilité minimale aux variations d'hyperparamètres.
• Réseaux de neurones convolutifs : Évalué sur CIFAR-10 avec un CNN multicouche (avec dropout et pooling), Adam a affiché une réduction plus rapide de la perte d'entraînement et a atteint une perte finale inférieure à celles de RMSProp et d'AdaDelta.

Limites et questions ouvertes

• Théorie convexe vs non convexe : Les bornes théoriques de regret supposent des fonctions convexes ; le comportement de convergence théorique sur les objectifs non convexes du deep learning n'était pas formellement garanti.
• Failles théoriques ultérieures : Des travaux ultérieurs (notamment Reddi et al., 2018) ont montré que la preuve de convergence d'Adam présentait une faille où ${\Gamma }_{t+1}-{\Gamma }_t$ n'est pas nécessairement semi-défini positif, entraînant parfois une divergence empirique (ce qui a motivé des variantes comme AMSGrad).
• Écart de généralisation : Des études empiriques postérieures à cet article ont souligné que si Adam s'entraîne plus rapidement au début, SGD avec momentum soigneusement ajusté trouve souvent des solutions qui généralisent légèrement mieux sur certaines tâches de classification d'images.