Proximal Policy Optimization Algorithms

John Schulman; Filip Wolski; Prafulla Dhariwal; Alec Radford; Oleg Klimov

論文 · arXiv 1707.06347

Proximal Policy Optimization Algorithms

John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov

公開日 2017-07-20cs.LG arXiv PDF

XYZNOT で読む（全文翻訳と AI 解説）

3行まとめ

🎯 標準的な方策勾配法はサンプル効率が低く不安定であり、一方のTrust Region Policy Optimization（TRPO）は計算が複雑で2次最適化に依存している。
🔧 確率比が1から大きく離れる方策更新にペナルティを課す、新しいクリップ付き代理目的関数を導入し、ミニバッチ確率的勾配降下法による複数エポックの更新を可能にした。
📈 連続値制御ベンチマークタスクおよびAtari 2600ゲームにおいてTRPO、A2C、ACERを上回り、HalfCheetah-v1ベンチマークでは4000を超える平均エピソード報酬を達成した。

概要

本論文では、環境との相互作用によるデータ収集と、確率的勾配上昇法を用いた「代理（surrogate）」目的関数の最適化を交互に行う、強化学習のための新しい方策勾配法ファミリーを提案する。標準的な方策勾配法がデータサンプルごとに1回の勾配更新を行うのに対し、本手法ではミニバッチによる複数エポックの更新を可能にする新しい目的関数を提案する。Proximal Policy Optimization（PPO）と呼ぶこの新手法は、Trust Region Policy Optimization（TRPO）の利点を持ちつつ、実装がはるかにシンプルで汎用性が高く、（経験的に）優れたサンプル複雑性を有する。シミュレーション環境でのロボット歩行やAtariゲームプレイを含む一連のベンチマークタスクでPPOを評価した結果、PPOは他のオンライン方策勾配法を凌駕し、サンプル複雑性、シンプルさ、計算実行時間の間で極めて良好なバランスを実現していることを示す。

英語の原文概要

We propose a new family of policy gradient methods for reinforcement learning, which alternate between sampling data through interaction with the environment, and optimizing a "surrogate" objective function using stochastic gradient ascent. Whereas standard policy gradient methods perform one gradient update per data sample, we propose a novel objective function that enables multiple epochs of minibatch updates. The new methods, which we call proximal policy optimization (PPO), have some of the benefits of trust region policy optimization (TRPO), but they are much simpler to implement, more general, and have better sample complexity (empirically). Our experiments test PPO on a collection of benchmark tasks, including simulated robotic locomotion and Atari game playing, and we show that PPO outperforms other online policy gradient methods, and overall strikes a favorable balance between sample complexity, simplicity, and wall-time.

論文解説

問題設定と動機

標準的な方策勾配法は、サンプリングされた軌跡ごとに1回の確率的勾配降下ステップしか実行しないため、サンプル効率が極めて悪くなります。Trust Region Policy Optimization（TRPO）は、新旧の方策分布間のカルバック・ライブラー（KL）ダイバージェンスに制約を課すことでこの不安定性を解決しますが、2次微分の計算（共役勾配法によるフィッシャー情報行列の計算）を必要とします。これによりTRPOは計算負荷が高く、実装が困難であり、方策ネットワークと価値ネットワーク間でパラメータを共有するアーキテクチャやリカレントニューラルネットワーク（RNN）との統合が難しいという課題がありました。

主要なアイデア

PPOは、1次最適化のみに依存しながらTRPOの安定性の利点を維持します。厳格かつ計算コストの高い制約を強制するのではなく、目的関数自体を変更することでこれを実現します：

確率比（Probability Ratio）： 重要度ウェイトを $r_{t} (θ) = \frac{π _{θ} ( a _{t} ∣ s _{t} )}{π _{θ_{old}} ( a _{t} ∣ s _{t} )}$ と定義します。ここで $r_{t} (θ_{old}) = 1$ です。
クリップ付き代理目的関数（Clipped Surrogate Objective）： 比率を $[1 - ϵ, 1 + ϵ]$ にクリップし、クリップされた目的関数とクリップされていない目的関数の最小値を取ることで、 $r_{t} (θ)$ が1から離れすぎるのを防ぎます。これは悲観的な下界（pessimistic bound）として機能し、過度な方策更新を抑制します。
適応型KLペナルティ（代替案）： 目標値 $d_{targ}$ に対する測定されたKLダイバージェンスに基づいて、KLペナルティ係数 $β$ を適応的に調整する代替手法も検討されています。

手法（主要な数式を含む）

$r_{t} (θ) = \frac{π _{θ} ( a _{t} ∣ s _{t} )}{π _{θ_{old}} ( a _{t} ∣ s _{t} )}$ とし、 $\hat{A}_{t}$ をタイムステップ $t$ におけるアドバンテージ関数の推定量とします。中核となるクリップ付き代理目的関数は次のとおりです：

$L^{CLIP} (θ) = \hat{E}_{t} [min (r_{t} (θ) \hat{A}_{t}, clip (r_{t} (θ), 1 - ϵ, 1 + ϵ) \hat{A}_{t})]$

方策と価値関数のネットワークを結合して最適化する（パラメータを共有する）場合、全体の損失関数にはクリップ付き代理目的関数、二乗誤差による価値関数損失、および探索を促進するためのエントロピーボーナス $S [π_{θ}]$ が含まれます：

$L_{t}^{CLIP+VF+S} (θ) = \hat{E}_{t} [L_{t}^{CLIP} (θ) - c_{1} (V_{θ} (s_{t}) - V_{t}^{targ})^{2} + c_{2} S [π_{θ}] (s_{t})]$

アドバンテージ $\hat{A}_{t}$ は、Generalized Advantage Estimation (GAE) を用いて計算されます：

$\hat{A}_{t} = l = 0 \sum \infty (γλ)^{l} δ_{t + l}^{V}$

ここで、 $δ_{t}^{V} = r_{t} + γV (s_{t + 1}) - V (s_{t})$ です。

結果（主要な数値を含む）

連続値制御ベンチマーク： MuJoCo歩行環境（HalfCheetah、Hopper、Walker2d、Humanoidなど）で評価を実施しました。クリップ付き目的関数（ $L^{CLIP}$ ）を用いたPPOは、適応型KLペナルティ版を上回り、ほぼすべてのドメインでTRPOを凌駕しました。HalfCheetah-v1では、PPOは100万ステップ以内で4000を超えるエピソード報酬スコアを達成し、TRPOや他のベースラインを大幅に上回りました。
ハイパーパラメータの感度分析： $ϵ \in {0.1, 0.2, 0.3}$ をテストした実験により、 $ϵ = 0.2$ が一貫して優れた性能を示すことが実証されました。
Atariゲーム： PPOは49タイトル中30タイトルでA2Cよりも高い平均エピソードスコアを記録し、いくつかの高難度タイトルではサンプル効率と最終スコアの両方でACERを上回りました。

限界と未解決の課題

クリッピングメカニズムはヒューリスティックな下界であり、方策の更新が厳密な信頼領域内に留まることを理論的に保証するものではありません。
Generalized Advantage Estimationのハイパーパラメータ（ $λ, γ$ ）や学習率スケジューリングに対して性能が依然として敏感です。
標準的な方策勾配法と比べるとサンプル効率は向上しているものの、連続値制御タスクにおいては完全なオフポリシーアルゴリズム（Q-learningやDDPGなど）には及びません。

重要用語

Proximal Policy Optimization (PPO): ミニバッチ確率的勾配降下法による複数エポックの更新を用いて、クリップ付き代理目的関数を最適化する強化学習の方策勾配アルゴリズムの一種。
Clipped Surrogate Objective: 方策の不安定化を招く更新を防ぐため、方策の確率比を $[1 - ϵ, 1 + ϵ]$ の範囲内に制限する目的関数。
Trust Region Policy Optimization (TRPO): 2次最適化手法を用いて解かれる厳格な平均KLダイバージェンス制約によって、方策更新を制限する先行アルゴリズム。
Probability Ratio ($r_t(\theta)$): 新しい方策における行動確率と挙動（旧）方策における行動確率の比率： $π_{θ} (a_{t} ∣ s_{t}) / π_{θ_{old}} (a_{t} ∣ s_{t})$ 。
Generalized Advantage Estimation (GAE): 分散とバイアスのトレードオフを調整する $γ$ と $λ$ によってパラメータ化されたアドバンテージ推定手法。
Adaptive KL Penalty: 経験的なKLダイバージェンスが目標閾値から乖離した場合に、ダイバージェンスにかかるラグランジュ乗数を動的にスケールさせるPPOの代替定式化。
Surrogate Objective: 現在のパラメータ周辺において1次の精度で真の目的関数と一致する、方策の期待性能の局所近似関数。

よくある質問

なぜPPOはクリップ付き目的関数とクリップなし目的関数の最小値を取るのですか？

最小値を取ることで代理目的関数に対する悲観的な下界を形成し、確率比が1から過度に乖離して大きな正の報酬をもたらすような更新をアルゴリズムが無視するようにするためです。

TRPOに対するPPOの主な実用上の利点は何ですか？

PPOは2次の共役勾配法ではなく標準的な1次最適化手法（Adamなど）を使用するため、実装が容易で、イテレーションあたりの計算が高速であり、パラメータを共有するアーキテクチャとも容易に統合できます。

クリッピングパラメータ $\epsilon$ はどの値が最も効果的ですか？

著者が歩行ベンチマークタスクで $ϵ \in {0.1, 0.2, 0.3}$ を実験的にテストした結果、 $ϵ = 0.2$ が一貫して最も優れた性能を示しました。

PPOは方策と価値関数のパラメータを共有するアーキテクチャに適用できますか？

はい。PPOはクリップ付き代理目的関数、価値関数の二乗誤差損失、およびエントロピーボーナスを1つのスカラー損失に結合し、誤差逆伝播法によって同時に最適化できます。

このページの解説は AI が論文から作成したもので、誤りを含む場合があります。詳細は原文をご確認ください。

XYZNOT で読む（全文翻訳と AI 解説）