Proximal Policy Optimization Algorithms

John Schulman; Filip Wolski; Prafulla Dhariwal; Alec Radford; Oleg Klimov

論文 · arXiv 1707.06347

Proximal Policy Optimization Algorithms

John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov

發表於 2017-07-20cs.LG arXiv PDF

用 XYZNOT 閱讀（全文翻譯與 AI 講解）

三句話總結

🎯 標準策略梯度方法的樣本效率低且不穩定，而信賴區間策略最佳化（TRPO）計算複雜度高，並依賴二階最佳化。
🔧 引入新型截斷代理目標函數，懲罰使機率比偏離 1 過遠的策略更新，從而允許多個 Epoch 的小批次隨機梯度下降。
📈 在連續控制基準任務與 Atari 2600 遊戲上表現超越 TRPO、A2C 和 ACER，並在 HalfCheetah-v1 基準上達到超過 4000 的平均回合獎勵。

摘要

我們提出了一族用於強化學習的新型策略梯度方法，該方法在透過與環境互動採樣資料，以及使用隨機梯度上升最佳化「代理」目標函數之間交替進行。標準的策略梯度方法每個資料樣本僅執行一次梯度更新，而我們提出了一種新穎的目標函數，能夠實現多個 Epoch 的小批次（minibatch）更新。這種新方法稱為近端策略最佳化（PPO），它具備了信賴區間策略最佳化（TRPO）的部分優勢，但實作上更為簡單、通用性更高，且在實證上擁有更佳的樣本複雜度。我們在包含模擬機器人運動和 Atari 遊戲在內的一系列基準任務上測試了 PPO，實驗結果顯示 PPO 優於其他線上策略梯度方法，並且在樣本複雜度、簡潔性與實際執行時間之間取得了極佳的平衡。

英文原文摘要

We propose a new family of policy gradient methods for reinforcement learning, which alternate between sampling data through interaction with the environment, and optimizing a "surrogate" objective function using stochastic gradient ascent. Whereas standard policy gradient methods perform one gradient update per data sample, we propose a novel objective function that enables multiple epochs of minibatch updates. The new methods, which we call proximal policy optimization (PPO), have some of the benefits of trust region policy optimization (TRPO), but they are much simpler to implement, more general, and have better sample complexity (empirically). Our experiments test PPO on a collection of benchmark tasks, including simulated robotic locomotion and Atari game playing, and we show that PPO outperforms other online policy gradient methods, and overall strikes a favorable balance between sample complexity, simplicity, and wall-time.

論文解讀

問題與動機

標準策略梯度方法在每個採樣軌跡上僅執行單次隨機梯度下降步驟，導致樣本效率低落。雖然信賴區間策略最佳化（TRPO）透過約束新舊策略分佈之間的 Kullback-Leibler (KL) 散度解決了不穩定性問題，但它需要計算二階導數（透過共軛梯度演算法計算費雪資訊矩陣 Fisher Information Matrix）。這使得 TRPO 計算成本高昂、實作困難，且難以與策略和價值網路共享參數的架構或循環神經網路（RNN）整合。

核心概念

PPO 保留了 TRPO 的穩定性優勢，同時僅依賴一階最佳化。它是透過修改目標函數來達成此目的，而非施加硬性或計算負擔繁重的約束：

機率比（Probability Ratio）： 定義重要性權重 $r_{t} (θ) = \frac{π _{θ} ( a _{t} ∣ s _{t} )}{π _{θ_{old}} ( a _{t} ∣ s _{t} )}$ ，其中 $r_{t} (θ_{old}) = 1$ 。
截斷代理目標（Clipped Surrogate Objective）： 將機率比截斷至 $[1 - ϵ, 1 + ϵ]$ 並取截斷與未截斷目標的最小值，防止 $r_{t} (θ)$ 過度偏離 1。這作為悲觀下界，能抑制過大的策略更新。
自適應 KL 懲罰替代方案（Adaptive KL Penalty Alternative）： 探討了一種替代方法，根據相對於目標值 $d_{targ}$ 所測得的 KL 散度，自適應地調整 KL 懲罰係數 $β$ 。

方法（含核心方程式）

令 $r_{t} (θ) = \frac{π _{θ} ( a _{t} ∣ s _{t} )}{π _{θ_{old}} ( a _{t} ∣ s _{t} )}$ ，且 $\hat{A}_{t}$ 為時間步 $t$ 的優勢函數估計值。核心的截斷代理目標為：

$L^{CLIP} (θ) = \hat{E}_{t} [min (r_{t} (θ) \hat{A}_{t}, clip (r_{t} (θ), 1 - ϵ, 1 + ϵ) \hat{A}_{t})]$

當最佳化結合策略與價值函數的網路（共享參數）時，合併損失函數包含截斷代理項、均方誤差價值函數損失，以及鼓勵探索的熵獎勵 $S [π_{θ}]$ ：

$L_{t}^{CLIP+VF+S} (θ) = \hat{E}_{t} [L_{t}^{CLIP} (θ) - c_{1} (V_{θ} (s_{t}) - V_{t}^{targ})^{2} + c_{2} S [π_{θ}] (s_{t})]$

優勢值 $\hat{A}_{t}$ 是使用廣義優勢估計（GAE）計算：

$\hat{A}_{t} = l = 0 \sum \infty (γλ)^{l} δ_{t + l}^{V}$

其中 $δ_{t}^{V} = r_{t} + γV (s_{t + 1}) - V (s_{t})$ 。

結果（含重要數據）

連續控制基準測試： 在 MuJoCo 運動環境（例如 HalfCheetah、Hopper、Walker2d、Humanoid）上進行評估。採用截斷目標（ $L^{CLIP}$ ）的 PPO 表現優於自適應 KL 懲罰版本，並在幾乎所有領域都超越了 TRPO。在 HalfCheetah-v1 上，PPO 在 100 萬步內達到了超過 4000 的回合獎勵分數，遠高於 TRPO 及其他基準線。
超參數敏感度： 測試 $ϵ \in {0.1, 0.2, 0.3}$ 的實驗顯示， $ϵ = 0.2$ 能持續帶來強健的效能。
Atari 遊戲： PPO 在 49 款遊戲中的 30 款上獲得了比 A2C 更高的平均回合分數，並在數個具挑戰性的遊戲中，於樣本效率和最終得分方面均超越了 ACER。

局限性與未決問題

截斷機制屬於啟發式下界，無法在形式上保證策略更新絕對保持在嚴格的信賴區間之內。
模型表現對廣義優勢估計超參數（ $λ, γ$ ）及學習率排程仍相當敏感。
儘管樣本效率相較於標準策略梯度有所改善，但在連續控制任務上仍低於完全離線策略（off-policy）演算法（例如 Q-learning 或 DDPG）。

關鍵術語

Proximal Policy Optimization (PPO): 一類強化學習策略梯度演算法，透過多個 Epoch 的小批次隨機梯度下降來最佳化截斷代理目標函數。
Clipped Surrogate Objective: 一種將策略機率比限制在 $[1 - ϵ, 1 + ϵ]$ 區間內的目標函數，以防止導致不穩定的更新。
Trust Region Policy Optimization (TRPO): PPO 的前身演算法，透過二階方法求解硬性平均 KL 散度約束來限制策略更新。
Probability Ratio ($r_t(\theta)$): 新策略下的動作機率與行為（舊）策略下的動作機率之比率： $π_{θ} (a_{t} ∣ s_{t}) / π_{θ_{old}} (a_{t} ∣ s_{t})$ 。
Generalized Advantage Estimation (GAE): 一種由 $γ$ 和 $λ$ 參數化的優勢估計技術，用於權衡變異數（variance）與偏差（bias）。
Adaptive KL Penalty: PPO 的另一種形式，當經驗 KL 散度偏離目標閾值時，動態調整作用於 KL 散度上的拉格朗日乘數。
Surrogate Objective: 期望策略表現的局部近似值，在當前參數附近與真實目標有一階相符。

常見問題

為什麼 PPO 要取截斷目標與未截斷目標的最小值？

取最小值可建構代理目標的悲觀下界，確保當機率比過度偏離 1 時，演算法會忽略可能帶來過大正向獎勵的更新。

相較於 TRPO，PPO 最主要的使用優勢是什麼？

PPO 使用標準的一階最佳化器（例如 Adam）而非二階共軛梯度法，因此實作更簡單、每次迭代速度更快，且能與共享架構相容。

截斷參數 $\epsilon$ 設定為多少效果最好？

作者在基準運動任務中對 $ϵ \in {0.1, 0.2, 0.3}$ 進行了實證測試，發現 $ϵ = 0.2$ 能持續表現最佳。

PPO 可以應用於策略與價值網路共享參數的架構嗎？

可以，PPO 能將截斷代理目標、價值函數均方誤差損失以及熵獎勵合併為單一標量損失，直接透過反向傳播進行最佳化。

本頁解讀由 AI 根據論文生成，可能有錯誤；細節請以原文為準。

用 XYZNOT 閱讀（全文翻譯與 AI 講解）