Adam：一种随机优化方法

论文解读

问题与动机

随机一阶优化是现代机器学习的核心基石。然而，标准随机梯度下降（SGD）对所有坐标应用相同的步长，这使得它对梯度缩放、病态曲率和随机噪声非常敏感。虽然 AdaGrad 利用历史平方梯度自适应调整各坐标步长，但其学习率在深度网络架构中会迅速衰减至零。RMSProp 和 AdaDelta 通过指数移动平均缓解了这一衰减问题，但 RMSProp 在非平稳环境下缺乏理论保证，且两者都未考虑移动平均从零开始时的初始化偏差。

作者旨在结合两种范式的优势：AdaGrad/RMSProp（适应稀疏和不同尺度的梯度）与经典 Momentum（加速平坦方向的收敛并平滑噪声）。

核心思想

• 一阶矩与二阶矩估计：Adam 同时维护梯度（一阶原点矩 $m_t$）和平方梯度（二阶非中心矩 $v_t$）的滑动指数移动平均。
• 偏差校正（Bias Correction）：由于 $m_t$ 和 $v_t$ 初始化为零向量，其标准滑动平均会偏向于零——特别是在早期迭代或衰减率（${\beta }_1,{\beta }_2$）接近 1 时。Adam 通过除以 $(1-{\beta }_1^t)$ 和 $(1-{\beta }_2^t)$ 在解析上校正了这一偏差。
• 梯度重缩放不变性：有效更新方向大致与信噪比 ${\hat{m}}_t/\sqrt{{\hat{v}}_t}$ 成比例，从而提供了自然的步长边界，并对梯度的对角缩放具有不变性。
• AdaMax：将 $v_t$ 中对梯度的 $L_2$ 范数跟踪泛化到 $L_{\infty }$ 范数，由此衍生出 AdaMax。这是一种数值上更稳定的变体，且无需进行二阶矩偏差校正。

方法（及核心公式）

在时间步 $t$，给定目标函数 $f_t(\theta )$、梯度 $g_t={\nabla }_{\theta }{f}_t({\theta }_{t-1})$、步长 $\alpha$、指数衰减率 ${\beta }_1,{\beta }_2\in [0,1)$ 以及极小常数 $ϵ$：

1. 更新有偏一阶矩估计： $$m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t$$

2. 更新有偏二阶原点矩估计： $$v_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)g_t^2$$

3. 计算偏差校正后的矩估计： $${\hat{m}}_t=\frac{m_t}{1-{\beta }_1^t}$$ $${\hat{v}}_t=\frac{v_t}{1-{\beta }_2^t}$$

4. 更新参数： $${\theta }_t={\theta }_{t-1}-\alpha \frac{{\hat{m}}_t}{\sqrt{{\hat{v}}_t}+ϵ}$$

论文推荐的默认超参数为 $\alpha =0.001$、${\beta }_1=0.9$、${\beta }_2=0.999$ 以及 $ϵ=10^{-8}$。

结果（及重要指标）

• 理论收敛性：在梯度有界且参数域 $D$ 有界的在线凸优化框架下，Adam 实现了理论后悔界 $R(T)={\sum }_{t=1}^T(f_t({\theta }_t)-f_t({\theta }^{\ast }))=O(\sqrt{T})$，对应平均后悔率为 $O(1/\sqrt{T})$。
• 逻辑回归与多层感知机：在 MNIST 分类任务中，Adam 在多种网络结构下的收敛速度均快于 AdaGrad、RMSProp 以及带 Nesterov 动量的 SGD，并且对超参数扰动的敏感度极低。
• 卷积神经网络：在 CIFAR-10 上使用多层 CNN（包含 dropout 和 pooling）进行评估，Adam 展现出更快的训练损失下降速度，并达到了比 RMSProp 和 AdaDelta 更低的最终损失。

局限性与开放问题

• 凸优化与非凸理论：理论后悔界基于凸函数假设；对于非凸深度学习目标的理论收敛行为，当时尚未给出严格的形式化证明。
• 后续发现的理论漏洞：后来的研究（如 Reddi et al., 2018）指出 Adam 的收敛性证明存在缺陷，即 ${\Gamma }_{t+1}-{\Gamma }_t$ 不一定为半正定，有时会导致实验中出现发散（这也催生了 AMSGrad 等变体）。
• 泛化差距（Generalization Gap）：该论文发表后的实证研究表明，尽管 Adam 初始训练更快，但在某些图像分类任务上，精心微调的带动量 SGD 往往能找到泛化性能稍好的解。