Proximal Policy Optimization Algorithms

John Schulman; Filip Wolski; Prafulla Dhariwal; Alec Radford; Oleg Klimov

Articles · arXiv 1707.06347

Proximal Policy Optimization Algorithms

John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov

Publié le 2017-07-20cs.LG arXiv PDF

Lire avec traduction et IA

Résumé en trois lignes

🎯 Les méthodes classiques de gradient de politique sont inefficaces en données et instables, tandis que Trust Region Policy Optimization (TRPO) est coûteux en calcul et repose sur une optimisation au second ordre.
🔧 Introduction d'un nouvel objectif de substitution tronqué (clipped surrogate objective) pénalisant les mises à jour qui éloignent trop le ratio de probabilités de 1, autorisant plusieurs époques de descente de gradient stochastique par mini-lots.
📈 Surpasse TRPO, A2C et ACER sur des benchmarks de contrôle continu et des jeux Atari 2600, atteignant un score moyen de récompense par épisode supérieur à 4000 sur le benchmark HalfCheetah-v1.

Résumé

Nous proposons une nouvelle famille de méthodes de gradient de politique pour l'apprentissage par renforcement, qui alternent entre l'échantillonnage de données par interaction avec l'environnement et l'optimisation d'une fonction objectif « surrogate » (de substitution) à l'aide d'une ascension de gradient stochastique. Alors que les méthodes standard de gradient de politique effectuent une seule mise à jour de gradient par échantillon de données, nous proposons une nouvelle fonction objectif qui permet plusieurs époques de mises à jour par mini-lots. Ces nouvelles méthodes, que nous appelons Proximal Policy Optimization (PPO), bénéficient de certains des avantages de Trust Region Policy Optimization (TRPO), mais elles sont bien plus simples à implémenter, plus générales et présentent une meilleure complexité d'échantillonnage (empiriquement). Nos expériences évaluent PPO sur un ensemble de tâches de référence, notamment la locomotion robotique simulée et des jeux Atari, et nous montrons que PPO surpasse d'autres méthodes en ligne de gradient de politique, tout en trouvant un compromis très favorable entre complexité d'échantillonnage, simplicité et temps de calcul.

Résumé original (anglais)

We propose a new family of policy gradient methods for reinforcement learning, which alternate between sampling data through interaction with the environment, and optimizing a "surrogate" objective function using stochastic gradient ascent. Whereas standard policy gradient methods perform one gradient update per data sample, we propose a novel objective function that enables multiple epochs of minibatch updates. The new methods, which we call proximal policy optimization (PPO), have some of the benefits of trust region policy optimization (TRPO), but they are much simpler to implement, more general, and have better sample complexity (empirically). Our experiments test PPO on a collection of benchmark tasks, including simulated robotic locomotion and Atari game playing, and we show that PPO outperforms other online policy gradient methods, and overall strikes a favorable balance between sample complexity, simplicity, and wall-time.

Guide de lecture

Problème et motivation

Les méthodes standard de gradient de politique effectuent une seule étape de descente de gradient stochastique par trajectoire échantillonnée, ce qui entraîne une faible efficacité d'échantillonnage. Bien que Trust Region Policy Optimization (TRPO) résolve les problèmes d'instabilité en imposant une contrainte sur la divergence de Kullback-Leibler (KL) entre l'ancienne et la nouvelle politique, elle nécessite le calcul de dérivées du second ordre (la matrice d'information de Fisher via des algorithmes de gradient conjugué). Cela rend TRPO lourd en calcul, complexe à implémenter et difficile à intégrer avec des architectures partageant des paramètres entre les réseaux de politique et de valeur ou utilisant des réseaux de neurones récurrents (RNN).

Idées clés

PPO conserve les avantages de stabilité de TRPO tout en reposant exclusivement sur une optimisation du premier ordre. L'algorithme y parvient en modifiant la fonction objectif plutôt qu'en imposant une contrainte stricte ou coûteuse en calcul :

Ratio de probabilités : Définit le poids d'échantillonnage préférentiel (importance weight) $r_{t} (θ) = \frac{π _{θ} ( a _{t} ∣ s _{t} )}{π _{θ_{old}} ( a _{t} ∣ s _{t} )}$ , où $r_{t} (θ_{old}) = 1$ .
Objectif de substitution tronqué (Clipped Surrogate Objective) : Empêche $r_{t} (θ)$ de trop s'éloigner de 1 en tronquant le ratio dans l'intervalle $[1 - ϵ, 1 + ϵ]$ et en prenant le minimum entre l'objectif tronqué et non tronqué. Cela agit comme une borne pessimiste, décourageant les mises à jour de politique excessivement grandes.
Variante avec pénalité KL adaptative : Explore une approche alternative qui ajuste de manière adaptative un coefficient de pénalité KL $β$ en fonction de la divergence KL mesurée par rapport à une valeur cible $d_{targ}$ .

Méthode (avec les équations clés)

Soient $r_{t} (θ) = \frac{π _{θ} ( a _{t} ∣ s _{t} )}{π _{θ_{old}} ( a _{t} ∣ s _{t} )}$ et $\hat{A}_{t}$ un estimateur de la fonction d'avantage à l'instant $t$ . L'objectif principal de substitution tronqué est :

$L^{CLIP} (θ) = \hat{E}_{t} [min (r_{t} (θ) \hat{A}_{t}, clip (r_{t} (θ), 1 - ϵ, 1 + ϵ) \hat{A}_{t})]$

Lors de l'optimisation conjointe d'un réseau partagé de politique et de fonction de valeur, la fonction de perte combinée comprend l'objectif de substitution tronqué, l'erreur quadratique de la fonction de valeur et un bonus d'entropie $S [π_{θ}]$ pour encourager l'exploration :

$L_{t}^{CLIP+VF+S} (θ) = \hat{E}_{t} [L_{t}^{CLIP} (θ) - c_{1} (V_{θ} (s_{t}) - V_{t}^{targ})^{2} + c_{2} S [π_{θ}] (s_{t})]$

Les avantages $\hat{A}_{t}$ sont calculés à l'aide de Generalized Advantage Estimation (GAE) :

$\hat{A}_{t} = l = 0 \sum \infty (γλ)^{l} δ_{t + l}^{V}$

où $δ_{t}^{V} = r_{t} + γV (s_{t + 1}) - V (s_{t})$ .

Résultats (avec les chiffres les plus importants)

Benchmarks de contrôle continu : Évalué sur des environnements de locomotion MuJoCo (ex. HalfCheetah, Hopper, Walker2d, Humanoid). PPO avec l'objectif tronqué ( $L^{CLIP}$ ) a surpassé la version avec pénalité KL adaptative ainsi que TRPO sur la quasi-totalité des domaines. Sur HalfCheetah-v1, PPO a atteint un score de récompense épisodique supérieur à 4000 en 1 million d'étapes, bien au-dessus de TRPO et des autres références.
Sensibilité aux hyperparamètres : Des expériences testant $ϵ \in {0.1, 0.2, 0.3}$ ont démontré que $ϵ = 0.2$ offrait systématiquement de solides performances.
Jeux Atari : PPO a obtenu des scores moyens par épisode supérieurs à A2C sur 30 des 49 jeux évalués, et a dépassé ACER tant en efficacité d'échantillonnage qu'en score final sur plusieurs titres exigeants.

Limites et questions ouvertes

Le mécanisme de troncature (clipping) est une borne inférieure heuristique qui ne garantit pas formellement que les mises à jour de politique restent à l'intérieur d'une région de confiance stricte.
La performance reste sensible aux hyperparamètres de l'estimation généralisée de l'avantage ( $λ, γ$ ) et aux planifications du taux d'apprentissage.
Bien que l'efficacité d'échantillonnage soit supérieure à celle des gradients de politique classiques, elle reste inférieure à celle des algorithmes pleinement hors politique (off-policy, tels que le Q-learning ou DDPG) sur les tâches de contrôle continu.

Termes clés

Proximal Policy Optimization (PPO): Une classe d'algorithmes de gradient de politique en apprentissage par renforcement qui optimise un objectif de substitution tronqué en utilisant plusieurs époques de descente de gradient stochastique par mini-lots.
Clipped Surrogate Objective: Une fonction objectif qui borne le ratio de probabilités de la politique dans $[1 - ϵ, 1 + ϵ]$ afin d'empêcher les mises à jour déstabilisantes.
Trust Region Policy Optimization (TRPO): Un algorithme prédécesseur qui contraint les mises à jour de politique via une contrainte stricte sur la divergence KL moyenne, résolue à l'aide de méthodes du second ordre.
Probability Ratio ($r_t(\theta)$): Le ratio entre la probabilité de l'action selon la nouvelle politique et celle selon la politique comportementale (ancienne) : $π_{θ} (a_{t} ∣ s_{t}) / π_{θ_{old}} (a_{t} ∣ s_{t})$ .
Generalized Advantage Estimation (GAE): Une technique d'estimation de l'avantage paramétrée par $γ$ et $λ$ qui équilibre le compromis entre variance et biais.
Adaptive KL Penalty: Une formulation alternative de PPO qui ajuste dynamiquement le multiplicateur de Lagrange sur la divergence KL si la divergence empirique s'écarte d'un seuil cible.
Surrogate Objective: Une approximation locale de la performance attendue de la politique qui correspond à l'objectif réel au premier ordre autour des paramètres actuels.

Questions

Pourquoi PPO prend-il le minimum entre l'objectif tronqué et non tronqué ?

Prendre le minimum établit une borne inférieure pessimiste sur l'objectif de substitution, garantissant que l'algorithme ignore les mises à jour qui produiraient des gains élevés artificiels si le ratio de probabilités dévie excessivement de 1.

Quel est le principal avantage pratique de PPO par rapport à TRPO ?

PPO utilise des optimiseurs standard de premier ordre (comme Adam) plutôt que des méthodes de gradient conjugué de second ordre, ce qui le rend plus simple à implémenter, plus rapide par itération et compatible avec les architectures à paramètres partagés.

Quelle valeur du paramètre de troncature $\epsilon$ fonctionne le mieux ?

Les auteurs ont évalué empiriquement $ϵ \in {0.1, 0.2, 0.3}$ sur des tâches de locomotion de référence et ont constaté que $ϵ = 0.2$ offrait systématiquement les meilleurs résultats.

PPO peut-il être appliqué à des architectures partageant les paramètres de la politique et de la valeur ?

Oui, PPO permet de combiner l'objectif de substitution tronqué, l'erreur quadratique de la fonction de valeur et un bonus d'entropie au sein d'une perte scalaire unique optimisée par rétropropagation.

La présentation de cette page a été rédigée par une IA à partir de l'article et peut contenir des erreurs. Consultez l'article pour les détails.

Lire avec traduction et IA