Adam: A Method for Stochastic Optimization

Diederik P. Kingma; Jimmy Ba

Makalah · arXiv 1412.6980

Adam: A Method for Stochastic Optimization

Diederik P. Kingma, Jimmy Ba

Terbit 2014-12-22cs.LG arXiv PDF

Baca dengan terjemahan dan AI

Ringkasan tiga baris

🎯 Stochastic gradient descent kesulitan menangani gradien bising, fungsi objektif non-stasioner, dan kurvatur berpenyakit buruk (ill-conditioned) pada seluruh parameter.
🔧 Menghitung learning rate adaptif untuk setiap parameter menggunakan rata-rata bergerak teredam eksponensial dari gradien dan kuadrat gradien sebelumnya, disertai koreksi bias inisialisasi yang esensial.
📈 Membuktikan batas sesalan (regret bound) $O (1/ T)$ untuk skenario daring konveks dan melampaui SGD dengan momentum, AdaGrad, serta RMSProp pada berbagai tolok ukur deep learning.

Abstrak

Kami memperkenalkan Adam, sebuah algoritme untuk optimasi berbasis gradien orde pertama dari fungsi objektif stokastik, yang didasarkan pada estimasi adaptif dari momen-momen orde lebih rendah. Metode ini mudah diimplementasikan, efisien secara komputasi, membutuhkan sedikit memori, invarian terhadap penskalaan ulang diagonal gradien, dan sangat cocok untuk masalah yang besar dalam hal data dan/atau parameter. Metode ini juga sesuai untuk objektif non-stasioner serta masalah dengan gradien yang sangat bising dan/atau jarang (sparse). Hyperparameter-nya memiliki interpretasi yang intuitif dan biasanya membutuhkan sedikit penyesuaian. Beberapa keterkaitan dengan algoritme terkait, yang menginspirasi Adam, turut dibahas. Kami juga menganalisis sifat konvergensi teoretis dari algoritme ini dan memberikan batas sesalan (regret bound) pada laju konvergensi yang sebanding dengan hasil terbaik yang diketahui dalam kerangka kerja optimasi konveks daring. Hasil empiris menunjukkan bahwa Adam bekerja dengan baik dalam praktiknya dan unggul jika dibandingkan dengan metode optimasi stokastik lainnya. Terakhir, kami membahas AdaMax, sebuah varian dari Adam yang didasarkan pada norma tak hingga ( $L_{\infty}$ ).

Abstrak asli (bahasa Inggris)

We introduce Adam, an algorithm for first-order gradient-based optimization of stochastic objective functions, based on adaptive estimates of lower-order moments. The method is straightforward to implement, is computationally efficient, has little memory requirements, is invariant to diagonal rescaling of the gradients, and is well suited for problems that are large in terms of data and/or parameters. The method is also appropriate for non-stationary objectives and problems with very noisy and/or sparse gradients. The hyper-parameters have intuitive interpretations and typically require little tuning. Some connections to related algorithms, on which Adam was inspired, are discussed. We also analyze the theoretical convergence properties of the algorithm and provide a regret bound on the convergence rate that is comparable to the best known results under the online convex optimization framework. Empirical results demonstrate that Adam works well in practice and compares favorably to other stochastic optimization methods. Finally, we discuss AdaMax, a variant of Adam based on the infinity norm.

Panduan membaca

Masalah dan motivasi

Optimasi orde pertama stokastik merupakan tulang punggung pembelajaran mesin modern. Namun, Stochastic Gradient Descent (SGD) standar menerapkan ukuran langkah yang seragam ke semua koordinat, menjadikannya sensitif terhadap penskalaan gradien, kurvatur berpenyakit buruk (ill-conditioned), dan derau stokastik. Meskipun AdaGrad mengadaptasi ukuran langkah tiap koordinat menggunakan riwayat kuadrat gradien, laju pembelajarannya cepat menyusut mendekati nol pada arsitektur yang dalam. RMSProp dan AdaDelta mengatasi penyusutan ini dengan rata-rata bergerak eksponensial, namun RMSProp tidak memiliki jaminan teoretis dalam kondisi non-stasioner dan keduanya tidak memperhitungkan bias inisialisasi ketika rata-rata bergerak dimulai dari nol.

Para penulis bertujuan menggabungkan keunggulan dari dua paradigma: AdaGrad/RMSProp (beradaptasi dengan gradien yang jarang dan berskala berbeda) serta Momentum klasik (mempercepat konvergensi di sepanjang arah yang datar dan memperhalus derau).

Ide utama

Estimasi Momen Pertama dan Kedua: Adam mempertahankan rata-rata bergerak eksponensial berjalan dari gradien (momen mentah pertama $m_{t}$ ) dan kuadrat gradien (momen mentah kedua yang tidak terpusat $v_{t}$ ).
Koreksi Bias: Karena $m_{t}$ dan $v_{t}$ diinisialisasi sebagai vektor nol, rata-rata bergerak standarnya bias mendekati nol—terutama pada iterasi awal atau saat laju peluruhan ( $β_{1}, β_{2}$ ) mendekati 1. Adam mengoreksi bias ini secara analitis dengan membaginya masing-masing dengan $(1 - β_{1}^{t})$ dan $(1 - β_{2}^{t})$ .
Invarian terhadap Penskalaan Ulang Gradien: Arah pembaruan efektif secara aproksimatif berskala dengan rasio sinyal-terhadap-derau (signal-to-noise ratio) $\overset{m}{^}_{t} / \overset{v}{^}_{t}$ , memberikan pembatasan ukuran langkah alami dan sifat invarian terhadap penskalaan diagonal dari gradien.
AdaMax: Menggeneralisasi pelacakan gradien norma $L_{2}$ pada $v_{t}$ ke norma $L_{\infty}$ menghasilkan AdaMax, sebuah varian yang stabil secara numerik dan tidak memerlukan koreksi bias momen kedua.

Metode (dengan persamaan utama)

Pada langkah waktu $t$ , dengan fungsi objektif $f_{t} (θ)$ , gradien $g_{t} = \nabla_{θ} f_{t} (θ_{t - 1})$ , ukuran langkah $α$ , laju peluruhan eksponensial $β_{1}, β_{2} \in [0, 1)$ , dan konstanta kecil $ϵ$ :

Perbarui estimasi momen pertama yang bias: $m_{t} = β_{1} m_{t - 1} + (1 - β_{1}) g_{t}$
Perbarui estimasi momen mentah kedua yang bias: $v_{t} = β_{2} v_{t - 1} + (1 - β_{2}) g_{t}^{2}$
Hitung estimasi momen yang telah dikoreksi bias: $\overset{m}{^}_{t} = \frac{m _{t}}{1 - β _{1}^{t}}$ $\overset{v}{^}_{t} = \frac{v _{t}}{1 - β _{2}^{t}}$
Perbarui parameter: $θ_{t} = θ_{t - 1} - α \frac{m ^ _{t}}{v ^ _{t} + ϵ}$

Hyperparameter bawaan yang direkomendasikan oleh makalah ini adalah $α = 0.001$ , $β_{1} = 0.9$ , $β_{2} = 0.999$ , dan $ϵ = 1 0^{- 8}$ .

Hasil (dengan angka-angka terpenting)

Konvergensi Teoretis: Dalam kerangka kerja optimasi konveks daring dengan gradien terbatas dan domain parameter terbatas $D$ , Adam mencapai batas sesalan (regret bound) teoretis $R (T) = \sum_{t = 1}^{T} (f_{t} (θ_{t}) - f_{t} (θ^{*})) = O (T)$ , menghasilkan laju sesalan rata-rata $O (1/ T)$ .
Regresi Logistik & Multi-layer Perceptron: Pada klasifikasi MNIST, Adam berkonvergensi lebih cepat daripada AdaGrad, RMSProp, dan SGD dengan Nesterov momentum di berbagai arsitektur, serta menunjukkan sensitivitas yang sangat rendah terhadap perturbasi hyperparameter.
Convolutional Neural Networks: Dievaluasi pada CIFAR-10 menggunakan CNN multi-lapis (dengan dropout dan pooling), Adam menunjukkan penurunan kerugian pelatihan yang lebih cepat dan mencapai kerugian akhir yang lebih rendah dibandingkan RMSProp dan AdaDelta.

Keterbatasan dan pertanyaan terbuka

Teori Konveks vs. Non-Konveks: Batas sesalan teoretis mengasumsikan fungsi konveks; perilaku konvergensi teoretis pada objektif deep learning yang non-konveks tidak dijamin secara formal.
Kelemahan Teoretis yang Ditemukan Kemudian: Penelitian selanjutnya (seperti Reddi et al., 2018) membuktikan bahwa bukti konvergensi Adam memiliki masalah di mana $Γ_{t + 1} - Γ_{t}$ tidak selalu semi-definit positif, yang terkadang menyebabkan divergensi empiris (memicu lahirnya varian seperti AMSGrad).
Celah Generalisasi (Generalization Gap): Berbagai studi empiris menyusul makalah ini mencatat bahwa meskipun Adam melatih model lebih cepat pada awalnya, SGD dengan momentum yang disetel dengan cermat sering kali menemukan solusi yang melakukan generalisasi sedikit lebih baik pada tugas klasifikasi gambar tertentu.

Istilah kunci

Adam: Algoritme untuk optimasi stokastik berbasis gradien orde pertama yang berasal dari istilah 'adaptive moment estimation'.
First Moment Vector (Vektor Momen Pertama): Rata-rata bergerak teredam secara eksponensial dari gradien stokastik historis, yang merepresentasikan estimasi arah rata-rata.
Second Raw Moment Vector (Vektor Momen Mentah Kedua): Rata-rata bergerak teredam secara eksponensial dari kuadrat elemen demi elemen gradien stokastik historis, yang melacak varians tanpa pemusatan.
Bias Correction (Koreksi Bias): Penskalaan ulang rata-rata bergerak dengan $1/ (1 - β^{t})$ untuk meniadakan bias inisialisasi terhadap nol selama langkah-langkah optimasi awal.
Signal-to-Noise Ratio (SNR): Rasio $\overset{m}{^}_{t} / \overset{v}{^}_{t}$ , yang mengecilkan ukuran langkah pada dimensi dengan ketidakpastian tinggi dan memperbesarnya pada dimensi yang yakin.
AdaMax: Varian dari Adam di mana estimasi momen kedua berbasis norma $L_{2}$ digeneralisasikan ke norma $L_{\infty}$ .
Regret Bound (Batas Sesalan): Metrik teoretis yang mengukur perbedaan antara kerugian kumulatif algoritme dan kerugian parameter tetap terbaik secara retrospektif.

Pertanyaan

Mengapa koreksi bias diperlukan dalam Adam?

Karena $m_{0}$ dan $v_{0}$ diinisialisasi sebagai vektor nol, rata-rata bergerak sangat bias mendekati nol pada iterasi awal (terutama ketika $β_{1}$ dan $β_{2}$ bernilai dekat dengan 1). Pembagian dengan $(1 - β_{1}^{t})$ dan $(1 - β_{2}^{t})$ mengoreksi nilai ekspektasi penduga agar cocok dengan momen sebenarnya.

Berapa nilai hyperparameter bawaan yang disarankan untuk Adam?

Para penulis merekomendasikan learning rate $α = 0.001$ , peluruhan momen pertama $β_{1} = 0.9$ , peluruhan momen kedua $β_{2} = 0.999$ , dan konstanta stabilitas numerik $ϵ = 1 0^{- 8}$ .

Apa perbedaan antara Adam dan RMSProp?

RMSProp menggunakan rata-rata bergerak eksponensial dari kuadrat gradien, namun tidak menyertakan rata-rata bergerak momen pertama (momentum) dan tidak menerapkan koreksi bias inisialisasi.

Apa itu AdaMax?

AdaMax menggeneralisasikan pelacakan momen kedua norma $L_{2}$ pada Adam ke norma $L_{\infty}$ , menggantikan akumulasi kuadrat gradien dengan nilai maksimum berjalan dari gradien absolut, sehingga meniadakan kebutuhan koreksi bias momen kedua.

Ulasan di halaman ini ditulis oleh AI dari makalah dan mungkin mengandung kesalahan. Baca makalahnya untuk detail.

Baca dengan terjemahan dan AI