Proximal Policy Optimization Algorithms

John Schulman; Filip Wolski; Prafulla Dhariwal; Alec Radford; Oleg Klimov

Artículos · arXiv 1707.06347

Proximal Policy Optimization Algorithms

John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov

Publicado 2017-07-20cs.LG arXiv PDF

Leer con traducción e IA

Resumen en tres líneas

🎯 Los métodos estándar de gradiente de política son ineficientes en datos e inestables, mientras que Trust Region Policy Optimization (TRPO) es computacionalmente complejo y depende de la optimización de segundo orden.
🔧 Introduce una función objetivo subrogada recortada novedosa que penaliza las actualizaciones de política que alejan demasiado el cociente de probabilidades de 1, permitiendo múltiples épocas de descenso de gradiente estocástico por minilotes.
📈 Supera a TRPO, A2C y ACER en tareas de referencia de control continuo y juegos de Atari 2600, logrando una recompensa episódica promedio superior a 4000 en el benchmark HalfCheetah-v1.

Resumen

Proponemos una nueva familia de métodos de gradiente de política para el aprendizaje por refuerzo, los cuales alternan entre el muestreo de datos mediante la interacción con el entorno y la optimización de una función objetivo "subrogada" utilizando ascenso de gradiente estocástico. Mientras que los métodos estándar de gradiente de política realizan una única actualización de gradiente por muestra de datos, proponemos una función objetivo novedosa que permite múltiples épocas de actualizaciones por minilotes. Los nuevos métodos, que denominamos optimización de política proximal (PPO), poseen algunos de los beneficios de la optimización de política de región de confianza (TRPO), pero son mucho más sencillos de implementar, más generales y tienen una mejor complejidad de muestreo (empíricamente). Nuestros experimentos evalúan PPO en un conjunto de tareas de referencia, incluida la locomoción robótica simulada y el juego de Atari, y demostramos que PPO supera a otros métodos de gradiente de política online, logrando en general un equilibrio favorable entre complejidad de muestreo, simplicidad y tiempo de cómputo.

Resumen original (inglés)

We propose a new family of policy gradient methods for reinforcement learning, which alternate between sampling data through interaction with the environment, and optimizing a "surrogate" objective function using stochastic gradient ascent. Whereas standard policy gradient methods perform one gradient update per data sample, we propose a novel objective function that enables multiple epochs of minibatch updates. The new methods, which we call proximal policy optimization (PPO), have some of the benefits of trust region policy optimization (TRPO), but they are much simpler to implement, more general, and have better sample complexity (empirically). Our experiments test PPO on a collection of benchmark tasks, including simulated robotic locomotion and Atari game playing, and we show that PPO outperforms other online policy gradient methods, and overall strikes a favorable balance between sample complexity, simplicity, and wall-time.

Guía de lectura

Problema y motivación

Los métodos estándar de gradiente de política realizan un único paso de descenso de gradiente estocástico por cada trayectoria muestreada, lo que conduce a una baja eficiencia de muestreo. Aunque Trust Region Policy Optimization (TRPO) resuelve la inestabilidad imponiendo una restricción sobre la divergencia de Kullback-Leibler (KL) entre las distribuciones de la política antigua y la nueva, requiere calcular derivadas de segundo orden (la Matriz de Información de Fisher mediante algoritmos de gradiente conjugado). Esto hace que TRPO sea computacionalmente costoso, difícil de implementar y complicado de integrar con arquitecturas que comparten parámetros entre las redes de política y de valor o que utilizan redes neuronales recurrentes (RNNs).

Ideas clave

PPO conserva las ventajas de estabilidad de TRPO basándose únicamente en la optimización de primer orden. Esto se logra modificando la función objetivo en lugar de imponer una restricción estricta o computacionalmente pesada:

Cociente de probabilidades: Define el peso de importancia $r_{t} (θ) = \frac{π _{θ} ( a _{t} ∣ s _{t} )}{π _{θ_{old}} ( a _{t} ∣ s _{t} )}$ , donde $r_{t} (θ_{old}) = 1$ .
Objetivo subrogado recortado (Clipped Surrogate Objective): Evita que $r_{t} (θ)$ se aleje de 1 recortando el cociente al intervalo $[1 - ϵ, 1 + ϵ]$ y tomando el mínimo entre los objetivos con y sin recorte. Esto actúa como un límite pesimista, desincentivando actualizaciones de política excesivamente grandes.
Alternativa con penalización de KL adaptativa: Explora un enfoque alternativo que ajusta de forma adaptativa un coeficiente de penalización de KL $β$ en función de la divergencia KL medida con respecto a un valor objetivo $d_{targ}$ .

Método (con las ecuaciones clave)

Sean $r_{t} (θ) = \frac{π _{θ} ( a _{t} ∣ s _{t} )}{π _{θ_{old}} ( a _{t} ∣ s _{t} )}$ y $\hat{A}_{t}$ un estimador de la función de ventaja en el paso temporal $t$ . El objetivo subrogado recortado central es:

$L^{CLIP} (θ) = \hat{E}_{t} [min (r_{t} (θ) \hat{A}_{t}, clip (r_{t} (θ), 1 - ϵ, 1 + ϵ) \hat{A}_{t})]$

Al optimizar una red combinada de política y función de valor (con parámetros compartidos), la función de pérdida combinada incluye el objetivo subrogado recortado, una pérdida de error cuadrático de la función de valor y un término de entropía $S [π_{θ}]$ para fomentar la exploración:

$L_{t}^{CLIP+VF+S} (θ) = \hat{E}_{t} [L_{t}^{CLIP} (θ) - c_{1} (V_{θ} (s_{t}) - V_{t}^{targ})^{2} + c_{2} S [π_{θ}] (s_{t})]$

Las ventajas $\hat{A}_{t}$ se calculan utilizando Generalized Advantage Estimation (GAE):

$\hat{A}_{t} = l = 0 \sum \infty (γλ)^{l} δ_{t + l}^{V}$

donde $δ_{t}^{V} = r_{t} + γV (s_{t + 1}) - V (s_{t})$ .

Resultados (con las cifras más importantes)

Benchmarks de control continuo: Evaluado en entornos de locomoción de MuJoCo (por ejemplo, HalfCheetah, Hopper, Walker2d, Humanoid). PPO con el objetivo recortado ( $L^{CLIP}$ ) superó a la versión de penalización de KL adaptativa y aventajó a TRPO en casi todos los dominios. En HalfCheetah-v1, PPO alcanzó una puntuación de recompensa episódica superior a 4000 en 1 millón de pasos, muy por encima de TRPO y otras líneas base.
Sensibilidad de hiperparámetros: Los experimentos que evaluaron $ϵ \in {0.1, 0.2, 0.3}$ demostraron que $ϵ = 0.2$ produjo consistentemente un rendimiento sólido.
Juegos de Atari: PPO logró puntuaciones episódicas promedio más altas que A2C en 30 de 49 juegos, y superó a ACER tanto en eficiencia de muestreo como en puntuación final en varios títulos desafiantes.

Limitaciones y preguntas abiertas

El mecanismo de recorte es un límite inferior heurístico que no garantiza formalmente que las actualizaciones de la política permanezcan dentro de una región de confianza estricta.
El rendimiento sigue siendo sensible a los hiperparámetros de la estimación de ventaja generalizada ( $λ, γ$ ) y a los esquemas de tasa de aprendizaje.
Aunque la eficiencia de muestreo mejora con respecto a los gradientes de política estándar, sigue siendo inferior a la de los algoritmos totalmente fuera de política (off-policy, por ejemplo, Q-learning o DDPG) en tareas de control continuo.

Términos clave

Proximal Policy Optimization (PPO): Una clase de algoritmos de gradiente de política para aprendizaje por refuerzo que optimizan un objetivo subrogado recortado utilizando múltiples épocas de descenso de gradiente estocástico por minilotes.
Clipped Surrogate Objective: Una función objetivo que acota el cociente de probabilidades de la política dentro de $[1 - ϵ, 1 + ϵ]$ para prevenir actualizaciones desestabilizadoras.
Trust Region Policy Optimization (TRPO): Un algoritmo predecesor que restringe las actualizaciones de la política mediante una restricción estricta sobre el promedio de la divergencia KL, resuelta mediante métodos de segundo orden.
Probability Ratio ($r_t(\theta)$): El cociente entre la probabilidad de la acción bajo la nueva política y la probabilidad de la acción bajo la política de comportamiento (antigua): $π_{θ} (a_{t} ∣ s_{t}) / π_{θ_{old}} (a_{t} ∣ s_{t})$ .
Generalized Advantage Estimation (GAE): Una técnica de estimación de ventajas parametrizada por $γ$ y $λ$ que equilibra el compromiso entre varianza y sesgo.
Adaptive KL Penalty: Una formulación alternativa de PPO que escala dinámicamente un multiplicador de Lagrange sobre la divergencia KL si la divergencia empírica se desvía de un umbral objetivo.
Surrogate Objective: Una aproximación local del rendimiento esperado de la política que coincide con el objetivo real hasta el primer orden en torno a los parámetros actuales.

Preguntas

¿Por qué PPO toma el mínimo entre los objetivos con y sin recorte?

Tomar el mínimo genera un límite inferior pesimista sobre el objetivo subrogado, asegurando que el algoritmo ignore actualizaciones que darían lugar a recompensas positivas elevadas si el cociente de probabilidades se desvía excesivamente de 1.

¿Cuál es la principal ventaja práctica de PPO sobre TRPO?

PPO utiliza optimizadores estándar de primer orden (como Adam) en lugar de métodos de segundo orden como el gradiente conjugado, lo que lo hace más fácil de implementar, más rápido por iteración y compatible con arquitecturas que comparten parámetros.

¿Qué valor del parámetro de recorte $\epsilon$ funciona mejor?

Los autores evaluaron empíricamente $ϵ \in {0.1, 0.2, 0.3}$ en tareas de referencia de locomoción y encontraron que $ϵ = 0.2$ funcionó consistentemente mejor.

¿Se puede aplicar PPO a arquitecturas con parámetros compartidos entre política y valor?

Sí, PPO puede combinar el objetivo subrogado recortado, la pérdida de error cuadrático de la función de valor y un término de entropía en una única pérdida escalar optimizada mediante retropropagación.

La explicación de esta página la escribió una IA a partir del artículo y puede contener errores. Consulte el artículo para los detalles.

Leer con traducción e IA