Proximal Policy Optimization Algorithms

John Schulman; Filip Wolski; Prafulla Dhariwal; Alec Radford; Oleg Klimov

Paper · arXiv 1707.06347

Proximal Policy Optimization Algorithms

John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov

Veröffentlicht 2017-07-20cs.LG arXiv PDF

Mit Übersetzung und KI lesen

Zusammenfassung in drei Zeilen

🎯 Standard-Policy-Gradient-Methoden sind stichprobenineffizient und instabil, während Trust Region Policy Optimization (TRPO) rechnerisch komplex ist und auf Optimierung zweiter Ordnung basiert.
🔧 Führt eine neuartige geclippte Surrogate-Zielfunktion ein, die Policy-Updates bestraft, wenn das Wahrscheinlichkeitsverhältnis zu weit von 1 abweicht, wodurch mehrere Epochen von Minibatch-SGD ermöglicht werden.
📈 Übertrifft TRPO, A2C und ACER auf Continuous-Control-Benchmarks und Atari-2600-Spielen und erzielt einen durchschnittlichen episodischen Reward von über 4000 auf der HalfCheetah-v1-Benchmark.

Abstract

Wir schlagen eine neue Familie von Policy-Gradient-Methoden für das verstärkende Lernen vor, die zwischen dem Sammeln von Daten durch Interaktion mit der Umgebung und der Optimierung einer „Surrogate“-Zielfunktion mittels stochastischem Gradientenaufstieg abwechseln. Während Standard-Policy-Gradient-Methoden ein einzelnes Gradienten-Update pro Datenstichprobe durchführen, schlagen wir eine neuartige Zielfunktion vor, die mehrere Epochen von Minibatch-Updates ermöglicht. Die neuen Methoden, die wir Proximal Policy Optimization (PPO) nennen, bieten einige der Vorteile von Trust Region Policy Optimization (TRPO), sind jedoch wesentlich einfacher zu implementieren, allgemeiner anwendbar und weisen (empirisch) eine bessere Stichprobenkomplexität auf. Unsere Experimente evaluieren PPO auf einer Reihe von Benchmark-Aufgaben, einschließlich simulierter robotischer Lokomotion sowie Atari-Spielen; wir zeigen, dass PPO andere Online-Policy-Gradient-Methoden übertrifft und insgesamt eine vorteilhafte Balance zwischen Stichprobenkomplexität, Einfachheit und Rechenzeit erzielt.

Original-Abstract (Englisch)

We propose a new family of policy gradient methods for reinforcement learning, which alternate between sampling data through interaction with the environment, and optimizing a "surrogate" objective function using stochastic gradient ascent. Whereas standard policy gradient methods perform one gradient update per data sample, we propose a novel objective function that enables multiple epochs of minibatch updates. The new methods, which we call proximal policy optimization (PPO), have some of the benefits of trust region policy optimization (TRPO), but they are much simpler to implement, more general, and have better sample complexity (empirically). Our experiments test PPO on a collection of benchmark tasks, including simulated robotic locomotion and Atari game playing, and we show that PPO outperforms other online policy gradient methods, and overall strikes a favorable balance between sample complexity, simplicity, and wall-time.

Leseleitfaden

Problemstellung und Motivation

Standard-Policy-Gradient-Methoden führen pro gesampelter Trajektorie lediglich einen einzigen stochastischen Gradientenabstiegsschritt durch, was zu einer geringen Stichprobeneffizienz führt. Obwohl Trust Region Policy Optimization (TRPO) diese Instabilität behebt, indem es eine Nebenbedingung an die Kullback-Leibler- (KL-)Divergenz zwischen den alten und neuen Policy-Verteilungen erzwingt, erfordert dies die Berechnung von Ableitungen zweiter Ordnung (Fisher-Informationsmatrix via Konjugierte-Gradienten-Verfahren). Dies macht TRPO rechenintensiv, schwer implementierbar und erschwert die Integration in Architekturen, die Parameter zwischen Policy- und Value-Netzwerken teilen oder rekurrente neuronale Netze (RNNs) einsetzen.

Kernideen

PPO behält die Stabilitätsvorteile von TRPO bei, stützt sich dabei jedoch ausschließlich auf Optimierungsverfahren erster Ordnung. Dies wird durch eine Modifikation der Zielfunktion anstelle harter oder rechnerisch aufwendiger Nebenbedingungen erreicht:

Wahrscheinlichkeitsverhältnis: Definiert das Importance-Weight $r_{t} (θ) = \frac{π _{θ} ( a _{t} ∣ s _{t} )}{π _{θ_{old}} ( a _{t} ∣ s _{t} )}$ , wobei $r_{t} (θ_{old}) = 1$ ist.
Geclippte Surrogate-Zielfunktion: Verhindert, dass sich $r_{t} (θ)$ zu weit von 1 entfernt, indem das Verhältnis auf $[1 - ϵ, 1 + ϵ]$ geclippt und das Minimum der geclippten und ungeclippten Zielfunktionen gebildet wird. Dies wirkt als pessimistische Schranke und verhindert übermäßig große Policy-Updates.
Alternative mit adaptiver KL-Strafe: Untersucht einen alternativen Ansatz, der einen KL-Strafkoeffizienten $β$ adaptiv anpasst, basierend auf der gemessenen KL-Divergenz im Vergleich zu einem Zielwert $d_{targ}$ .

Methode (mit den zentralen Gleichungen)

Sei $r_{t} (θ) = \frac{π _{θ} ( a _{t} ∣ s _{t} )}{π _{θ_{old}} ( a _{t} ∣ s _{t} )}$ und $\hat{A}_{t}$ ein Schätzer der Advantage-Funktion zum Zeitschritt $t$ . Die zentrale geclippte Surrogate-Zielfunktion lautet:

$L^{CLIP} (θ) = \hat{E}_{t} [min (r_{t} (θ) \hat{A}_{t}, clip (r_{t} (θ), 1 - ϵ, 1 + ϵ) \hat{A}_{t})]$

Bei der Optimierung eines kombinierten Policy- und Value-Function-Netzwerks (mit geteilten Parametern) umfasst die kombinierte Verlustfunktion das geclippte Surrogate, einen quadratischen Fehler-Verlust für die Value-Funktion und einen Entropie-Bonus $S [π_{θ}]$ , um Exploration zu fördern:

$L_{t}^{CLIP+VF+S} (θ) = \hat{E}_{t} [L_{t}^{CLIP} (θ) - c_{1} (V_{θ} (s_{t}) - V_{t}^{targ})^{2} + c_{2} S [π_{θ}] (s_{t})]$

Die Advantages $\hat{A}_{t}$ werden mittels Generalized Advantage Estimation (GAE) berechnet:

$\hat{A}_{t} = l = 0 \sum \infty (γλ)^{l} δ_{t + l}^{V}$

wobei $δ_{t}^{V} = r_{t} + γV (s_{t + 1}) - V (s_{t})$ ist.

Ergebnisse (mit den wichtigsten Kennzahlen)

Continuous-Control-Benchmarks: Evaluiert auf MuJoCo-Lokomotionsumgebungen (z. B. HalfCheetah, Hopper, Walker2d, Humanoid). PPO mit der geclippten Zielfunktion ( $L^{CLIP}$ ) übertraf die Version mit adaptiver KL-Strafe und lag in fast allen Domänen vor TRPO. Auf HalfCheetah-v1 erzielte PPO innerhalb von 1 Million Schritten einen episodischen Reward-Score von über 4000, deutlich vor TRPO und anderen Baselines.
Hyperparametersensitivität: Experimente mit $ϵ \in {0.1, 0.2, 0.3}$ zeigten, dass $ϵ = 0.2$ konsistent starke Leistungen erbrachte.
Atari-Spiele: PPO erzielte in 30 von 49 Spielen höhere durchschnittliche episodische Scores als A2C und übertraf ACER sowohl hinsichtlich Stichprobeneffizienz als auch Final-Score bei mehreren anspruchsvollen Titeln.

Grenzen und offene Fragen

Der Clipping-Mechanismus ist eine heuristische untere Schranke, die formal nicht garantiert, dass Policy-Updates innerhalb einer strikten Trust Region bleiben.
Die Performance reagiert weiterhin empfindlich auf die Hyperparameter der Generalized Advantage Estimation ( $λ, γ$ ) sowie Learning-Rate-Schedules.
Obwohl sich die Stichprobeneffizienz gegenüber Standard-Policy-Gradients verbessert, bleibt sie bei Continuous-Control-Aufgaben geringer als bei reinen Off-Policy-Algorithmen (z. B. Q-learning oder DDPG).

Schlüsselbegriffe

Proximal Policy Optimization (PPO): Eine Klasse von Policy-Gradient-Algorithmen im verstärkenden Lernen, die eine geclippte Surrogate-Zielfunktion über mehrere Epochen von Minibatch-SGD optimiert.
Clipped Surrogate Objective: Eine Zielfunktion, die das Policy-Wahrscheinlichkeitsverhältnis auf $[1 - ϵ, 1 + ϵ]$ beschränkt, um destabilisierende Updates zu verhindern.
Trust Region Policy Optimization (TRPO): Ein Vorgängeralgorithmus, der Policy-Updates über eine harte durchschnittliche KL-Divergenz-Nebenbedingung mittels Methoden zweiter Ordnung einschränkt.
Probability Ratio ($r_t(\theta)$): Das Verhältnis zwischen der Aktionswahrscheinlichkeit unter der neuen Policy und der Aktionswahrscheinlichkeit unter der Verhaltens- (alten) Policy: $π_{θ} (a_{t} ∣ s_{t}) / π_{θ_{old}} (a_{t} ∣ s_{t})$ .
Generalized Advantage Estimation (GAE): Ein durch $γ$ und $λ$ parametrisiertes Advantage-Schätzverfahren, das den Trade-off zwischen Varianz und Bias ausbalanciert.
Adaptive KL Penalty: Eine alternative PPO-Formulierung, die einen Lagrange-Multiplikator auf die KL-Divergenz dynamisch skaliert, wenn die empirische Divergenz von einem Zielwert abweicht.
Surrogate Objective: Eine lokale Approximation der erwarteten Policy-Performance, die erster Ordnung um die aktuellen Parameter mit der wahren Zielfunktion übereinstimmt.

Fragen

Warum bildet PPO das Minimum zwischen der geclippten und ungeclippten Zielfunktion?

Die Bildung des Minimums liefert eine pessimistische untere Schranke für die Surrogate-Zielfunktion. Dadurch wird sichergestellt, dass Updates ignoriert werden, die große positive Belohnungen vortäuschen würden, wenn das Wahrscheinlichkeitsverhältnis zu stark von 1 abweicht.

Was ist der zentrale praktische Vorteil von PPO gegenüber TRPO?

PPO nutzt Standard-Optimierer erster Ordnung (wie Adam) statt Verfahren zweiter Ordnung (Konjugierte Gradienten), was die Implementierung vereinfacht, die Iterationszeit verkürzt und die Kompatibilität mit geteilten Netzwerkarchitekturen sicherstellt.

Welcher Wert für den Clipping-Parameter $\epsilon$ funktioniert am besten?

Die Autoren evaluierten empirisch $ϵ \in {0.1, 0.2, 0.3}$ über Lokomotions-Benchmark-Aufgaben hinweg und stellten fest, dass $ϵ = 0.2$ konsistent die besten Ergebnisse erzielte.

Kann PPO auf Architekturen mit gemeinsam genutzten Policy- und Value-Parametern angewendet werden?

Ja, PPO kann die geclippte Surrogate-Zielfunktion, den quadratischen Fehler-Verlust der Value-Funktion und einen Entropie-Bonus in einer einzigen skalaren Verlustfunktion kombinieren, die durch Backpropagation optimiert wird.

Die Übersicht auf dieser Seite wurde von einer KI aus dem Paper erstellt und kann Fehler enthalten. Details stehen im Paper.

Mit Übersetzung und KI lesen