Adam: Метод стохастической оптимизации

Разбор статьи

Проблема и мотивация

Стохастическая оптимизация первого порядка лежит в основе современного машинного обучения. Однако стандартный стохастический градиентный спуск (SGD) применяет единый размер шага ко всем координатам, что делает его чувствительным к масштабированию градиентов, плохо обусловленной кривизне и стохастическому шуму. Хотя AdaGrad адаптирует шаг по координатам с помощью накопленных квадратов градиентов, его скорость обучения быстро затухает до нуля в глубоких архитектурах. RMSProp и AdaDelta решают проблему этого затухания с помощью экспоненциальных скользящих средних, однако для RMSProp отсутствуют теоретические гарантии в нестационарных условиях, и ни один из этих методов не учитывает смещение инициализации, когда скользящие средние стартуют с нуля.

Авторы стремились объединить преимущества двух парадигм: AdaGrad/RMSProp (адаптация к разреженным и различающимся по масштабу градиентам) и классического Momentum (ускорение сходимости вдоль пологих направлений и сглаживание шума).

Ключевые идеи

• Оценка первого и второго моментов: Adam поддерживает экспоненциальные скользящие средние как самого градиента (первый начальный момент $m_t$), так и квадрата градиента (второй нецентрированный момент $v_t$).
• Коррекция смещения (Bias Correction): Поскольку $m_t$ и $v_t$ инициализируются нулевыми векторами, их стандартные скользящие средние смещены к нулю — особенно на ранних итерациях или когда коэффициенты затухания (${\beta }_1,{\beta }_2$) близки к 1. Adam аналитически корректирует это смещение делением на $(1-{\beta }_1^t)$ и $(1-{\beta }_2^t)$.
• Инвариантность к масштабированию градиента: Эффективное направление шага приближенно масштабируется отношением сигнал/шум ${\hat{m}}_t/\sqrt{{\hat{v}}_t}$, что обеспечивает естественное ограничение величины шага и инвариантность к диагональному масштабированию градиентов.
• AdaMax: Обобщение отслеживания градиентов в норме $L_2$ для $v_t$ на норму $L_{\infty }$ дает AdaMax — численно стабильный вариант, в котором не требуется коррекция смещения для второго момента.

Метод (с ключевыми формулами)

На шаге $t$, при заданной целевой функции $f_t(\theta )$, градиенте $g_t={\nabla }_{\theta }{f}_t({\theta }_{t-1})$, размере шага $\alpha$, коэффициентах экспоненциального затухания ${\beta }_1,{\beta }_2\in [0,1)$ и малой константе $ϵ$:

1. Обновление смещенной оценки первого момента: $$m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t$$

2. Обновление смещенной оценки второго начального момента: $$v_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)g_t^2$$

3. Вычисление скорректированных по смещению оценок моментов: $${\hat{m}}_t=\frac{m_t}{1-{\beta }_1^t}$$ $${\hat{v}}_t=\frac{v_t}{1-{\beta }_2^t}$$

4. Обновление параметров: $${\theta }_t={\theta }_{t-1}-\alpha \frac{{\hat{m}}_t}{\sqrt{{\hat{v}}_t}+ϵ}$$

Значения гиперпараметров по умолчанию, рекомендованные в статье: $\alpha =0.001$, ${\beta }_1=0.9$, ${\beta }_2=0.999$ и $ϵ=10^{-8}$.

Результаты (с важнейшими показателями)

• Теоретическая сходимость: В рамках онлайн-выпуклой оптимизации с ограниченными градиентами и ограниченной областью параметров $D$ алгоритм Adam достигает теоретической границы регрета $R(T)={\sum }_{t=1}^T(f_t({\theta }_t)-f_t({\theta }^{\ast }))=O(\sqrt{T})$, что обеспечивает среднюю скорость снижения регрета порядка $O(1/\sqrt{T})$.
• Логистическая регрессия и многослойные перцептроны: На задаче классификации MNIST Adam сходился быстрее, чем AdaGrad, RMSProp и SGD с моментумом Нестерова на различных архитектурах, демонстрируя минимальную чувствительность к изменению гиперпараметров.
• Сверточные нейронные сети: На датасете CIFAR-10 с использованием многослойной CNN (с dropout и пулингом) Adam показал более быстрое снижение функции потерь на обучении и достиг меньшего финального значения потерь, чем RMSProp и AdaDelta.

Ограничения и открытые вопросы

• Выпуклая теория против невыпуклой: Теоретические границы регрета предполагают выпуклость функций; теоретическая сходимость на невыпуклых задачах глубокого обучения формально доказана не была.
• Последующие теоретические неточности: Более поздние работы (например, Reddi et al., 2018) показали, что в доказательстве сходимости Adam есть пробел, из-за которого разность ${\Gamma }_{t+1}-{\Gamma }_t$ не обязательно является положительно полуопределенной, что в редких случаях ведет к расходимости на практике (это привело к появлению таких модификаций, как AMSGrad).
• Разрыв в обобщающей способности (Generalization Gap): Последующие эмпирические исследования показали, что хотя Adam обучается на начальных этапах быстрее, тщательно настроенный SGD с моментумом нередко находит решения, обладающие чуть лучшей обобщающей способностью в ряде задач классификации изображений.