Adam: A Method for Stochastic Optimization

Guia de leitura

Problema e motivação

A otimização estocástica de primeira ordem é a base do aprendizado de máquina moderno. No entanto, o Stochastic Gradient Descent (SGD) padrão aplica um tamanho de passo uniforme a todas as coordenadas, tornando-o sensível à escala dos gradientes, a curvaturas mal condicionadas e ao ruído estocástico. Embora o AdaGrad adapte os tamanhos de passo por coordenada usando o histórico dos gradientes ao quadrado, sua taxa de aprendizado decai rapidamente para zero em arquiteturas profundas. O RMSProp e o AdaDelta resolvem esse decaimento com médias móveis exponenciais, mas o RMSProp carece de garantias teóricas em cenários não estacionários e nenhum dos dois compensa o viés de inicialização quando as médias móveis começam em zero.

Os autores buscam combinar os benefícios de dois paradigmas: AdaGrad/RMSProp (adaptação a gradientes esparsos e em diferentes escalas) e o Momentum clássico (aceleração da convergência ao longo de direções planas e suavização do ruído).

Ideias centrais

• Estimativa de Primeiro e Segundo Momentos: O Adam mantém médias móveis exponenciais tanto do gradiente (primeiro momento bruto $m_t$) quanto do gradiente ao quadrado (segundo momento não centralizado $v_t$).
• Correção de Viés: Como $m_t$ e $v_t$ são inicializados como vetores de zeros, suas médias móveis padrão são enviesadas em direção a zero — especialmente nas primeiras iterações ou quando as taxas de decaimento (${\beta }_1,{\beta }_2$) estão próximas de 1. O Adam corrige analiticamente esse viés dividindo por $(1-{\beta }_1^t)$ e $(1-{\beta }_2^t)$.
• Invariância ao Redimensionamento do Gradiente: A direção efetiva da atualização é aproximadamente proporcional à relação sinal-ruído ${\hat{m}}_t/\sqrt{{\hat{v}}_t}$, fornecendo uma limitação natural ao tamanho do passo e invariância ao escalonamento diagonal dos gradientes.
• AdaMax: Generalizar o rastreamento da norma $L_2$ dos gradientes em $v_t$ para a norma $L_{\infty }$ resulta no AdaMax, uma variante numericamente estável que dispensa a correção de viés do segundo momento.

Método (com as equações principais)

No passo de tempo $t$, dada a função objetivo $f_t(\theta )$, o gradiente $g_t={\nabla }_{\theta }{f}_t({\theta }_{t-1})$, o tamanho do passo $\alpha$, as taxas de decaimento exponencial ${\beta }_1,{\beta }_2\in [0,1)$ e uma constante pequena $ϵ$:

1. Atualização da estimativa enviesada do primeiro momento: $$m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t$$

2. Atualização da estimativa enviesada do segundo momento bruto: $$v_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)g_t^2$$

3. Cálculo das estimativas de momentos corrigidas para viés: $${\hat{m}}_t=\frac{m_t}{1-{\beta }_1^t}$$ $${\hat{v}}_t=\frac{v_t}{1-{\beta }_2^t}$$

4. Atualização dos parâmetros: $${\theta }_t={\theta }_{t-1}-\alpha \frac{{\hat{m}}_t}{\sqrt{{\hat{v}}_t}+ϵ}$$

Os hiperparâmetros padrão recomendados pelo artigo são $\alpha =0,001$, ${\beta }_1=0,9$, ${\beta }_2=0,999$ e $ϵ=10^{-8}$.

Resultados (com os números mais importantes)

• Convergência Teórica: Em um arcabouço de otimização convexa online com gradientes limitados e domínio de parâmetros $D$ limitado, o Adam atinge um limite de arrependimento teórico de $R(T)={\sum }_{t=1}^T(f_t({\theta }_t)-f_t({\theta }^{\ast }))=O(\sqrt{T})$, gerando uma taxa média de arrependimento de $O(1/\sqrt{T})$.
• Regressão Logística e Perceptrons Multicamadas: Na classificação do MNIST, o Adam convergiu mais rápido do que AdaGrad, RMSProp e SGD com momentum de Nesterov em várias arquiteturas, exibindo sensibilidade mínima a perturbações de hiperparâmetros.
• Redes Neurais Convolucionais: Avaliado no CIFAR-10 com uma CNN multicamadas (com dropout e pooling), o Adam apresentou uma redução mais rápida da perda de treinamento e alcançou uma perda final menor que RMSProp e AdaDelta.

Limitações e questões em aberto

• Teoria Convexa vs. Não Convexa: Os limites teóricos de arrependimento assumem funções convexas; o comportamento de convergência teórica em objetivos não convexos de deep learning não foi formalmente garantido.
• Falhas Teóricas Posteriores: Trabalhos posteriores (como Reddi et al., 2018) demonstraram que a prova de convergência do Adam apresentava um problema em que ${\Gamma }_{t+1}-{\Gamma }_t$ não é necessariamente semidefinida positiva, levando ocasionalmente à divergência empírica (o que motivou variantes como o AMSGrad).
• Lacuna de Generalização (Generalization Gap): Estudos empíricos que sucederam este artigo observaram que, embora o Adam treine mais rápido inicialmente, o SGD com momentum cuidadosamente ajustado frequentemente encontra soluções que generalizam ligeiramente melhor em certas tarefas de classificação de imagens.