Proximal Policy Optimization Algorithms

Разбор статьи

Проблема и мотивация

Стандартные методы градиента стратегии выполняют один шаг стохастического градиентного спуска на собранную траекторию, что приводит к низкой эффективности по выборке (sample efficiency). Метод Trust Region Policy Optimization (TRPO) устраняет проблему нестабильности, накладывая ограничение на дивергенцию Кульбака-Лейблера (KL) между старым и новым распределениями стратегий, однако требует вычисления производных второго порядка (матрицы информации Фишера через алгоритмы сопряженных градиентов). Это делает TRPO вычислительно затратным, сложным в реализации и затрудняет его интеграцию с архитектурами, разделяющими параметры между сетями стратегии и ценности, а также использующими рекуррентные нейросети (RNN).

Ключевые идеи

PPO сохраняет преимущества стабильности TRPO, полагаясь исключительно на оптимизацию первого порядка. Это достигается за счет изменения целевой функции вместо использования жесткого или вычислительно тяжелого ограничения:

• Отношение вероятностей (Probability Ratio): Задает веса важности $r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{\text{old}}}(a_t|s_t)}$, где $r_t({\theta }_{\text{old}})=1$.
• Клиппированная суррогатная целевая функция (Clipped Surrogate Objective): Не позволяет $r_t(\theta )$ сильно отклоняться от 1 путем ограничения (клиппинга) отношения до $[1-ϵ,1+ϵ]$ и взятия минимума от клиппированной и неклиппированной функций. Это работает как пессимистическая граница, препятствующая слишком большим обновлениям стратегии.
• Альтернатива с адаптивным штрафом за KL (Adaptive KL Penalty): Исследует альтернативный подход с динамической настройкой коэффициента штрафа за KL $\beta$ в зависимости от измеренной дивергенции KL относительно целевого значения $d_{\text{targ}}$.

Метод (с ключевыми уравнениями)

Пусть $r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{\text{old}}}(a_t|s_t)}$, а ${\hat{A}}_t$ — оценка функции преимущества в момент времени $t$. Основная клиппированная суррогатная целевая функция имеет вид:

$$L^{\text{CLIP}}(\theta )={\hat{\mathbb{E}}}_t\left[\min \left(r_t(\theta ){\hat{A}}_t,\text{clip}(r_t(\theta ),1-ϵ,1+ϵ){\hat{A}}_t\right)\right]$$

При одновременной оптимизации сети стратегии и функции ценности (с общими параметрами) общая функция потерь включает клиппированный суррогатный лосс, квадратичную ошибку функции ценности и энтропийный бонус $S[{\pi }_{\theta }]$ для поощрения исследования среды:

$$L_t^{\text{CLIP+VF+S}}(\theta )={\hat{\mathbb{E}}}_t\left[L_t^{\text{CLIP}}(\theta )-c_1{\left(V_{\theta }(s_t)-V_t^{\text{targ}}\right)}^2+c_{2}S[{\pi }_{\theta }](s_t)\right]$$

Преимущества ${\hat{A}}_t$ вычисляются с использованием Generalized Advantage Estimation (GAE):

$${\hat{A}}_t=\sum _{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+l}^V$$

где ${\delta }_t^V=r_t+\gamma V(s_{t+1})-V(s_t)$.

Результаты (с ключевыми цифрами)

• Бенчмарки непрерывного управления: Оценка проводилась в средах симуляции локомоции MuJoCo (например, HalfCheetah, Hopper, Walker2d, Humanoid). PPO с клиппированной функцией потерь ($L^{\text{CLIP}}$) превзошел версию с адаптивным штрафом за KL и превзошел TRPO практически во всех средах. На HalfCheetah-v1 PPO достиг среднего значения награды за эпизод более 4000 за 1 миллион шагов, значительно опередив TRPO и другие базовые модели.
• Чувствительность к гиперпараметрам: Эксперименты с $ϵ\in \{0.1,0.2,0.3\}$ показали, что значение $ϵ=0.2$ стабильно обеспечивает наилучшие результаты.
• Игры Atari: PPO показал более высокую среднюю награду за эпизод, чем A2C, в 30 из 49 игр, а также опередил ACER как по эффективности выборки, так и по финальному счету в ряде сложных игр.

Ограничения и открытые вопросы

• Механизм клиппинга является эвристической нижней границей, которая формально не гарантирует, что обновления стратегии останутся строго в пределах доверительной области.
• Производительность остается чувствительной к гиперпараметрам Generalized Advantage Estimation ($\lambda ,\gamma$) и расписанию скорости обучения (learning rate).
• Хотя эффективность использования данных выше, чем у стандартных градиентов стратегии, она все еще уступает полностью off-policy алгоритмам (таким как Q-learning или DDPG) в задачах непрерывного управления.