Adam: A Method for Stochastic Optimization

Guía de lectura

Problema y motivación

La optimización estocástica de primer orden es la columna vertebral del aprendizaje automático moderno. Sin embargo, el Stochastic Gradient Descent (SGD) estándar aplica un tamaño de paso uniforme a todas las coordenadas, lo que lo hace sensible a la escala del gradiente, a la curvatura mal condicionada y al ruido estocástico. Aunque AdaGrad adapta los tamaños de paso por coordenada utilizando gradientes pasados al cuadrado, su tasa de aprendizaje decae rápidamente a cero en arquitecturas profundas. RMSProp y AdaDelta abordan este decaimiento con medias móviles exponenciales, pero RMSProp carece de garantías teóricas en entornos no estacionarios y ninguno de los dos toma en cuenta el sesgo de inicialización cuando las medias móviles parten de cero.

Los autores buscan combinar las ventajas de dos paradigmas: AdaGrad/RMSProp (adaptación a gradientes dispersos y a diferentes escalas) y el Momentum clásico (aceleración de la convergencia a lo largo de direcciones planas y suavizado del ruido).

Ideas clave

• Estimación de primer y segundo momento: Adam mantiene medias móviles exponenciales continuas tanto del gradiente (primer momento bruto $m_t$) como del gradiente al cuadrado (segundo momento no centrado $v_t$).
• Corrección de sesgo: Debido a que $m_t$ y $v_t$ se inicializan como vectores de ceros, sus medias móviles estándar están sesgadas hacia el cero, especialmente en las primeras iteraciones o cuando las tasas de decaimiento (${\beta }_1,{\beta }_2$) son cercanas a 1. Adam corrige analíticamente este sesgo dividiendo entre $(1-{\beta }_1^t)$ y $(1-{\beta }_2^t)$.
• Invarianza al reescalado del gradiente: La dirección efectiva de actualización escala aproximadamente con la relación señal-ruido ${\hat{m}}_t/\sqrt{{\hat{v}}_t}$, lo que proporciona una delimitación natural del tamaño de paso y confiere invarianza frente al escalado diagonal de los gradientes.
• AdaMax: La generalización del seguimiento de gradientes mediante la norma $L_2$ en $v_t$ a la norma $L_{\infty }$ da lugar a AdaMax, una variante numéricamente estable que prescinde de la corrección de sesgo del segundo momento.

Método (con las ecuaciones clave)

En el paso temporal $t$, dada la función objetivo $f_t(\theta )$, el gradiente $g_t={\nabla }_{\theta }{f}_t({\theta }_{t-1})$, el tamaño de paso $\alpha$, las tasas de decaimiento exponencial ${\beta }_1,{\beta }_2\in [0,1)$ y una constante pequeña $ϵ$:

1. Actualizar la estimación sesgada del primer momento: $$m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t$$

2. Actualizar la estimación sesgada del segundo momento bruto: $$v_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)g_t^2$$

3. Calcular las estimaciones de los momentos corregidas por sesgo: $${\hat{m}}_t=\frac{m_t}{1-{\beta }_1^t}$$ $${\hat{v}}_t=\frac{v_t}{1-{\beta }_2^t}$$

4. Actualizar los parámetros: $${\theta }_t={\theta }_{t-1}-\alpha \frac{{\hat{m}}_t}{\sqrt{{\hat{v}}_t}+ϵ}$$

Los hiperparámetros por defecto recomendados por el artículo son $\alpha =0.001$, ${\beta }_1=0.9$, ${\beta }_2=0.999$ y $ϵ=10^{-8}$.

Resultados (con los números más importantes)

• Convergencia teórica: En un marco de optimización convexa online con gradientes acotados y un dominio de parámetros $D$ acotado, Adam logra un límite de arrepentimiento teórico de $R(T)={\sum }_{t=1}^T(f_t({\theta }_t)-f_t({\theta }^{\ast }))=O(\sqrt{T})$, lo que resulta en una tasa media de arrepentimiento de $O(1/\sqrt{T})$.
• Regresión logística y perceptrones multicapa: En la clasificación sobre MNIST, Adam convergió más rápido que AdaGrad, RMSProp y SGD con momentum de Nesterov en diversas arquitecturas, mostrando una sensibilidad mínima a las variaciones en los hiperparámetros.
• Redes neuronales convolucionales: Evaluado en CIFAR-10 con una CNN multicapa (con dropout y pooling), Adam demostró una reducción de la pérdida de entrenamiento más rápida y alcanzó una pérdida final inferior a la de RMSProp y AdaDelta.

Limitaciones y preguntas abiertas

• Teoría convexa vs. no convexa: Los límites teóricos de arrepentimiento asumen funciones convexas; el comportamiento de convergencia teórico sobre objetivos de deep learning no convexos no fue garantizado formalmente.
• Deficiencias teóricas posteriores: Trabajos posteriores (como Reddi et al., 2018) demostraron que la prueba de convergencia de Adam contenía un error en el que ${\Gamma }_{t+1}-{\Gamma }_t$ no es necesariamente semidefinida positiva, lo que ocasionalmente conduce a divergencia empírica (motivo que impulsó variantes como AMSGrad).
• Brecha de generalización: Estudios empíricos posteriores a este artículo señalaron que, si bien Adam entrena más rápido inicialmente, un SGD con momentum cuidadosamente ajustado a menudo encuentra soluciones que generalizan ligeramente mejor en ciertas tareas de clasificación de imágenes.