Adam: A Method for Stochastic Optimization

Diederik P. Kingma; Jimmy Ba

論文 · arXiv 1412.6980

Adam: 確率的最適化のための手法

Adam: A Method for Stochastic Optimization

Diederik P. Kingma, Jimmy Ba

公開日 2014-12-22cs.LG arXiv PDF

XYZNOT で読む（全文翻訳と AI 解説）

3行まとめ

🎯 確率的勾配降下法は、勾配のノイズ、非定常な目的関数、パラメータ間の悪条件の曲率への対処に課題を抱えています。
🔧 過去の勾配および勾配の二乗の指数関数的減衰移動平均を用い、極めて重要な初期化バイアス補正を適用して個別の適応的学習率を計算します。
📈 凸オンライン設定で $O (1/ T)$ のリグレットバウンドを証明し、ディープラーニングのベンチマーク全体でモメンタム付きSGD、AdaGrad、RMSPropを上回る性能を示しました。

概要

低次モーメントの適応的推定に基づく、確率的目的関数の1次勾配ベースの最適化アルゴリズムであるAdamを提案する。本手法は実装が容易であり、計算効率が高く、メモリ要件が極めて少なく、勾配の対角リスケーリングに対して不変であり、データやパラメータが大規模な問題に極めて適している。また、非定常な目的関数や、ノイズが非常に大きい、あるいは疎な勾配を持つ問題にも適している。ハイパーパラメータは直感的な解釈が可能であり、通常はチューニングをほとんど必要としない。Adamの発想の元となった関連アルゴリズムとの関係性についても議論する。さらに、本アルゴリズムの理論的な収束特性を解析し、オンライン凸最適化の枠組みにおいて最良の既知の結果に匹敵する収束率のリグレットバウンド（regret bound）を提供する。実験結果により、Adamが実際によく機能し、他の確率的最適化手法と比べても遜色ないことが実証された。最後に、無限大ノルムに基づくAdamの変形であるAdaMaxについても議論する。

英語の原文概要

We introduce Adam, an algorithm for first-order gradient-based optimization of stochastic objective functions, based on adaptive estimates of lower-order moments. The method is straightforward to implement, is computationally efficient, has little memory requirements, is invariant to diagonal rescaling of the gradients, and is well suited for problems that are large in terms of data and/or parameters. The method is also appropriate for non-stationary objectives and problems with very noisy and/or sparse gradients. The hyper-parameters have intuitive interpretations and typically require little tuning. Some connections to related algorithms, on which Adam was inspired, are discussed. We also analyze the theoretical convergence properties of the algorithm and provide a regret bound on the convergence rate that is comparable to the best known results under the online convex optimization framework. Empirical results demonstrate that Adam works well in practice and compares favorably to other stochastic optimization methods. Finally, we discuss AdaMax, a variant of Adam based on the infinity norm.

論文解説

問題設定と動機

確率的1次最適化は、現代の機械学習の根幹をなしています。しかし、標準的な確率的勾配降下法（SGD）はすべての座標に対して一律のステップサイズを適用するため、勾配のスケール、悪条件の曲率、確率的ノイズの影響を非常に受けやすいという問題があります。AdaGradは過去の勾配の二乗を用いて座標ごとのステップサイズを調整しますが、深いアーキテクチャでは学習率が急速にゼロへと減衰してしまいます。RMSPropやAdaDeltaは指数移動平均を用いることでこの減衰に対処しますが、RMSPropには非定常環境における理論的保証がなく、どちらの手法も移動平均がゼロから開始する際の初期化バイアスを考慮していません。

著者らは、2つのパラダイムの利点を組み合わせることを目指しました。すなわち、AdaGradやRMSProp（疎な勾配やスケールの異なる勾配への適応）と、古典的なMomentum（平坦な方向での収束加速とノイズの平滑化）の統合です。

主要なアイデア

1次および2次モーメントの推定: Adamは、勾配そのもの（未中心化1次モーメント $m_{t}$ ）と勾配の二乗（未中心化2次モーメント $v_{t}$ ）の両方の指数移動平均を保持・更新します。
バイアス補正: $m_{t}$ と $v_{t}$ はゼロベクトルで初期化されるため、特に初期のイテレーションや減衰率（ $β_{1}, β_{2}$ ）が1に近い場合、通常の移動平均はゼロ方向に偏向（バイアス）します。Adamは $(1 - β_{1}^{t})$ および $(1 - β_{2}^{t})$ で割ることにより、このバイアスを解析的に補正します。
勾配のリスケーリングに対する不変性: 有効な更新方向はおおよそS/N比（シグナル・ノイズ比） $\overset{m}{^}_{t} / \overset{v}{^}_{t}$ にスケールされるため、自然とステップサイズに上限が設けられ、勾配の対角スケーリングに対して不変になります。
AdaMax: $v_{t}$ における勾配の $L_{2}$ ノルム追跡を $L_{\infty}$ ノルムに一般化することで、数値的に安定し、2次モーメントのバイアス補正が不要な派生手法であるAdaMaxが得られます。

手法（主要な数式を含む）

タイムステップ $t$ において、目的関数 $f_{t} (θ)$ 、勾配 $g_{t} = \nabla_{θ} f_{t} (θ_{t - 1})$ 、ステップサイズ $α$ 、指数減衰率 $β_{1}, β_{2} \in [0, 1)$ 、微小定数 $ϵ$ が与えられたとき:

バイアスのある1次モーメント推定値を更新: $m_{t} = β_{1} m_{t - 1} + (1 - β_{1}) g_{t}$
バイアスのある未中心化2次モーメント推定値を更新: $v_{t} = β_{2} v_{t - 1} + (1 - β_{2}) g_{t}^{2}$
バイアス補正されたモーメント推定値を計算: $\overset{m}{^}_{t} = \frac{m _{t}}{1 - β _{1}^{t}}$ $\overset{v}{^}_{t} = \frac{v _{t}}{1 - β _{2}^{t}}$
パラメータを更新: $θ_{t} = θ_{t - 1} - α \frac{m ^ _{t}}{v ^ _{t} + ϵ}$

論文で推奨されているデフォルトのハイパーパラメータは、 $α = 0.001$ 、 $β_{1} = 0.9$ 、 $β_{2} = 0.999$ 、 $ϵ = 1 0^{- 8}$ です。

結果（重要な数値を含む）

理論的な収束性: 有界な勾配と有界なパラメータ領域 $D$ を持つオンライン凸最適化の枠組みにおいて、Adamは $R (T) = \sum_{t = 1}^{T} (f_{t} (θ_{t}) - f_{t} (θ^{*})) = O (T)$ という理論的リグレットバウンドを達成し、平均リグレット率は $O (1/ T)$ となります。
ロジスティック回帰および多層パーセプトロン: MNIST分類において、Adamは多様なアーキテクチャ全体でAdaGrad、RMSProp、Nesterovモメンタム付きSGDよりも高速に収束し、ハイパーパラメータの変動に対する感度も極めて低いことを示しました。
畳み込みニューラルネットワーク（CNN）: CIFAR-10を用いた多層CNN（ドロップアウトとプーリングを含む）の評価において、AdamはRMSPropやAdaDeltaよりも迅速に訓練損失を減少させ、より低い最終損失に到達しました。

限界と未解決の課題

凸と非凸の理論: 理論的リグレットバウンドは凸関数を前提としており、非凸なディープラーニングの目的関数に対する理論的な収束挙動は正式には保証されていませんでした。
その後の理論的欠陥の指摘: 後続研究（Reddi et al., 2018など）により、Adamの収束証明には $Γ_{t + 1} - Γ_{t}$ が必ずしも半正定値にならないという問題があることが証明され、場合によっては経験的に発散することが判明しました（これがAMSGradなどの派生手法の開発につながりました）。
汎化性能のギャップ: 本論文以降の実証研究では、Adamは初期の学習が高速である一方で、慎重に調整されたモメンタム付きSGDのほうが、特定の画像分類タスクにおいてわずかに汎化性能の高い解を見つけることが多いと指摘されています。

重要用語

Adam: 「Adaptive Moment Estimation（適応的モーメント推定）」に由来する、1次勾配に基づく確率的最適化のためのアルゴリズム。
First Moment Vector: 過去の確率的勾配の指数減衰移動平均であり、推定された平均方向を表す。
Second Raw Moment Vector: 過去の要素ごとの確率的勾配の二乗の指数減衰移動平均であり、未中心化分散を追跡する。
Bias Correction: 最適化の初期ステップにおいて、ゼロに向かう初期化バイアスを打ち消すために移動平均を $1/ (1 - β^{t})$ でリスケーリングする処理。
Signal-to-Noise Ratio (SNR): 不確実性の高い次元ではステップサイズを縮小し、確信度の高い次元では拡大する比率 $\overset{m}{^}_{t} / \overset{v}{^}_{t}$ 。
AdaMax: $L_{2}$ ノルムに基づく2次モーメント推定を $L_{\infty}$ ノルムに一般化したAdamの変形手法。
Regret Bound: アルゴリズムの累積損失と、事後的に最良であった固定パラメータの累積損失との差を測定する理論的指標。

よくある質問

Adamでバイアス補正が必要な理由は何ですか？

$m_{0}$ と $v_{0}$ がゼロベクトルとして初期化されるため、初期のイテレーションでは移動平均がゼロへ強く偏向します（特に $β_{1}$ と $β_{2}$ が1に近い場合）。 $(1 - β_{1}^{t})$ および $(1 - β_{2}^{t})$ で除算することにより、推定量の期待値が真のモーメントと一致するように補正されます。

Adamの推奨されるデフォルトのハイパーパラメータは何ですか？

著者らは、学習率 $α = 0.001$ 、1次モーメントの減衰率 $β_{1} = 0.9$ 、2次モーメントの減衰率 $β_{2} = 0.999$ 、数値的安定性のための定数 $ϵ = 1 0^{- 8}$ を推奨しています。

AdamはRMSPropとどのように異なりますか？

RMSPropは勾配の二乗の指数移動平均を使用しますが、1次モーメントの移動平均（モメンタム）を持たず、初期化バイアスの補正も実行しません。

AdaMaxとは何ですか？

AdaMaxは、Adamの $L_{2}$ ノルムによる2次モーメント追跡を $L_{\infty}$ ノルムへと一般化したもので、勾配の二乗の累積和を絶対値の最大値の累積追跡に置き換え、2次モーメントのバイアス補正を不要にした派生手法です。

このページの解説は AI が論文から作成したもので、誤りを含む場合があります。詳細は原文をご確認ください。

XYZNOT で読む（全文翻訳と AI 解説）