Adam: A Method for Stochastic Optimization

論文解讀

問題與動機

隨機一階最佳化是現代機器學習的基石。然而，標準的隨機梯度下降（SGD）對所有座標維度套用相同的步長，使其對梯度縮放、病態曲率（ill-conditioned curvature）及隨機雜訊非常敏感。雖然 AdaGrad 利用歷史平方梯度調整各維度的步長，但在深度架構中其學習率會迅速衰減至零。RMSProp 與 AdaDelta 藉由指數移動平均解決了衰減問題，但 RMSProp 在非平穩環境下缺乏理論保證，且兩者皆未考量移動平均從零開始時的初始化偏差。

作者旨在結合兩種範式的優勢：AdaGrad/RMSProp（自適應稀疏與不同尺度梯度的能力）以及經典 Momentum（加速沿平坦方向的收斂並平滑雜訊）。

核心概念

• 一階與二階動差估計：Adam 同時維護梯度（一階原始動差 $m_t$）與平方梯度（二階非中心動差 $v_t$）的指數移動平均。
• 偏差修正（Bias Correction）：由於 $m_t$ 與 $v_t$ 被初始化為零向量，標準的移動平均會偏向於零——特別是在初期迭代或衰減率（${\beta }_1,{\beta }_2$）接近 1 時。Adam 透過除以 $(1-{\beta }_1^t)$ 和 $(1-{\beta }_2^t)$，在解析上修正了此偏差。
• 對梯度縮放具不變性：有效更新方向大致與訊雜比 ${\hat{m}}_t/\sqrt{{\hat{v}}_t}$ 成比例，這自然提供了步長邊界，並對梯度的對角縮放具不變性。
• AdaMax：將 $v_t$ 中梯度的 $L_2$ 範數追蹤推廣至 $L_{\infty }$ 範數即為 AdaMax，這是一種數值穩定的變體，且無需進行二階動差偏差修正。

方法（與關鍵公式）

在時間步 $t$，給定目標函數 $f_t(\theta )$、梯度 $g_t={\nabla }_{\theta }{f}_t({\theta }_{t-1})$、步長 $\alpha$、指數衰減率 ${\beta }_1,{\beta }_2\in [0,1)$ 以及極小常數 $ϵ$：

1. 更新有偏差的一階動差估計： $$m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t$$

2. 更新有偏差的二階原始動差估計： $$v_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)g_t^2$$

3. 計算偏差修正後的動差估計： $${\hat{m}}_t=\frac{m_t}{1-{\beta }_1^t}$$ $${\hat{v}}_t=\frac{v_t}{1-{\beta }_2^t}$$

4. 更新參數： $${\theta }_t={\theta }_{t-1}-\alpha \frac{{\hat{m}}_t}{\sqrt{{\hat{v}}_t}+ϵ}$$

論文建議的預設超參數為 $\alpha =0.001$、${\beta }_1=0.9$、${\beta }_2=0.999$ 以及 $ϵ=10^{-8}$。

結果（與關鍵數據）

• 理論收斂性：在具備有界梯度與有界參數域 $D$ 的線上凸最佳化架構下，Adam 達到了理論後悔界限 $R(T)={\sum }_{t=1}^T(f_t({\theta }_t)-f_t({\theta }^{\ast }))=O(\sqrt{T})$，平均後悔率為 $O(1/\sqrt{T})$。
• 邏輯斯迴歸與多層感知機：在 MNIST 分類任務上，Adam 在多種架構中的收斂速度均優於 AdaGrad、RMSProp 以及帶 Nesterov 動量的 SGD，且對超參數擾動展現極低的敏感度。
• 卷積神經網路：在 CIFAR-10 上使用多層 CNN（含 dropout 與 pooling）進行評估，Adam 展現出更快的訓練損失下降速度，並達到比 RMSProp 與 AdaDelta 更低的最終損失。

限制與開放問題

• 凸性與非凸性理論：理論後悔界限假設函數為凸函數；在非凸深度學習目標上的理論收斂行為並未獲得正式保證。
• 後續發現的理論缺陷：後續研究（如 Reddi 等人，2018）指出 Adam 的收斂證明存在問題，即 ${\Gamma }_{t+1}-{\Gamma }_t$ 不必然為半正定，偶爾會導致實證上的發散（這也促成了 AMSGrad 等變體的誕生）。
• 泛化差距（Generalization Gap）：該論文之後的實證研究發現，雖然 Adam 初期訓練較快，但在某些影像分類任務上，經過仔細調校的帶動量 SGD 往往能找到泛化表現稍微更好的解。