Proximal Policy Optimization Algorithms

John Schulman; Filip Wolski; Prafulla Dhariwal; Alec Radford; Oleg Klimov

论文 · arXiv 1707.06347

近端策略优化算法（Proximal Policy Optimization Algorithms）

Proximal Policy Optimization Algorithms

John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov

发表于 2017-07-20cs.LG arXiv PDF

用 XYZNOT 阅读（全文翻译与 AI 讲解）

三句话总结

🎯 标准策略梯度方法样本效率低且不稳定，而信任域策略优化（TRPO）计算复杂且依赖二阶优化。
🔧 引入了一种新颖的截断替代目标函数，惩罚使概率比过分偏离 1 的策略更新，从而支持多轮小批量随机梯度下降。
📈 在连续控制基准任务和 Atari 2600 游戏上均超越了 TRPO、A2C 和 ACER，在 HalfCheetah-v1 基准上实现了超过 4000 的平均回合奖励。

摘要

我们提出了一族用于强化学习的新型策略梯度方法，该方法在通过与环境交互采样数据和使用随机梯度上升优化“替代”目标函数之间交替进行。标准的策略梯度方法对每个数据样本执行一次梯度更新，而我们提出了一种新颖的目标函数，能够支持多轮小批量更新。这种被称为近端策略优化（PPO）的新方法具有信任域策略优化（TRPO）的部分优势，但其实现更加简单，通用性更强，且（经验上）具有更好的样本复杂度。我们在包括模拟机器人运动和 Atari 游戏在内的一系列基准任务上测试了 PPO，实验表明 PPO 优于其他在线策略梯度方法，并且在样本复杂度、简易性和实际运行时间之间取得了极佳的平衡。

英文原文摘要

We propose a new family of policy gradient methods for reinforcement learning, which alternate between sampling data through interaction with the environment, and optimizing a "surrogate" objective function using stochastic gradient ascent. Whereas standard policy gradient methods perform one gradient update per data sample, we propose a novel objective function that enables multiple epochs of minibatch updates. The new methods, which we call proximal policy optimization (PPO), have some of the benefits of trust region policy optimization (TRPO), but they are much simpler to implement, more general, and have better sample complexity (empirically). Our experiments test PPO on a collection of benchmark tasks, including simulated robotic locomotion and Atari game playing, and we show that PPO outperforms other online policy gradient methods, and overall strikes a favorable balance between sample complexity, simplicity, and wall-time.

论文解读

问题与动机

标准的策略梯度方法对采样的每条轨迹仅执行一次随机梯度下降步，导致样本效率低下。尽管信任域策略优化（TRPO）通过对新旧策略分布之间的 Kullback-Leibler (KL) 散度施加约束解决了不稳定性问题，但它需要计算二阶导数（通过共轭梯度算法求解 Fisher 信息矩阵）。这使得 TRPO 计算成本高昂、实现复杂，并且难以与策略网络和价值网络共享参数的架构或循环神经网络（RNN）相结合。

核心思想

PPO 在仅依赖一阶优化的同时保留了 TRPO 的稳定性优势。它通过修改目标函数而非施加硬性或计算繁重的约束来实现这一点：

概率比（Probability Ratio）： 定义重要性权重 $r_{t} (θ) = \frac{π _{θ} ( a _{t} ∣ s _{t} )}{π _{θ_{old}} ( a _{t} ∣ s _{t} )}$ ，其中 $r_{t} (θ_{old}) = 1$ 。
截断替代目标（Clipped Surrogate Objective）： 通过将概率比截断在 $[1 - ϵ, 1 + ϵ]$ 之间并取截断与未截断目标之间的最小值，防止 $r_{t} (θ)$ 过分偏离 1。这构成了悲观下界，抑制了过大的策略更新。
自适应 KL 惩罚替代方案（Adaptive KL Penalty Alternative）： 探索了一种替代方法，即根据测得的 KL 散度相对于目标值 $d_{targ}$ 的大小，自适应地调整 KL 惩罚系数 $β$ 。

方法（含核心公式）

设 $r_{t} (θ) = \frac{π _{θ} ( a _{t} ∣ s _{t} )}{π _{θ_{old}} ( a _{t} ∣ s _{t} )}$ ，且 $\hat{A}_{t}$ 为在时间步 $t$ 处的优势函数估计。核心截断替代目标为：

$L^{CLIP} (θ) = \hat{E}_{t} [min (r_{t} (θ) \hat{A}_{t}, clip (r_{t} (θ), 1 - ϵ, 1 + ϵ) \hat{A}_{t})]$

当优化联合策略和价值函数网络（共享参数）时，联合损失函数包括截断替代目标、均方误差价值函数损失以及用于鼓励探索的熵奖励 $S [π_{θ}]$ ：

$L_{t}^{CLIP+VF+S} (θ) = \hat{E}_{t} [L_{t}^{CLIP} (θ) - c_{1} (V_{θ} (s_{t}) - V_{t}^{targ})^{2} + c_{2} S [π_{θ}] (s_{t})]$

优势 $\hat{A}_{t}$ 使用广义优势估计（GAE）计算：

$\hat{A}_{t} = l = 0 \sum \infty (γλ)^{l} δ_{t + l}^{V}$

其中 $δ_{t}^{V} = r_{t} + γV (s_{t + 1}) - V (s_{t})$ 。

结果（含核心数据）

连续控制基准： 在 MuJoCo 运动环境（例如 HalfCheetah、Hopper、Walker2d、Humanoid）上进行了评估。带有截断目标（ $L^{CLIP}$ ）的 PPO 表现优于自适应 KL 惩罚版本，并在几乎所有任务中均超越了 TRPO。在 HalfCheetah-v1 上，PPO 在 100 万步内达到了超过 4000 的回合奖励分数，远高于 TRPO 和其他基线。
超参数敏感性： 测试 $ϵ \in {0.1, 0.2, 0.3}$ 的实验表明， $ϵ = 0.2$ 始终能取得稳健的强劲表现。
Atari 游戏： 在 49 款游戏中，PPO 在 30 款游戏中的平均回合得分高于 A2C，并且在多个高难度游戏中，无论样本效率还是最终得分均优于 ACER。

局限与待解决问题

截断机制是一种启发式下界，在形式上并不能保证策略更新严格保留在信任域内。
性能对广义优势估计超参数（ $λ, γ$ ）和学习率调度仍然相对敏感。
尽管比标准策略梯度的样本效率有所提升，但在连续控制任务上其样本效率仍低于完全异策略（off-policy）算法（例如 Q-learning 或 DDPG）。

关键术语

Proximal Policy Optimization (PPO)（近端策略优化）: 一类强化学习策略梯度算法，通过使用多轮小批量随机梯度下降来优化截断替代目标。
Clipped Surrogate Objective（截断替代目标）: 一种将策略概率比约束在 $[1 - ϵ, 1 + ϵ]$ 内的目标函数，用于防止破坏稳定性的过大更新。
Trust Region Policy Optimization (TRPO)（信任域策略优化）: PPO 的前身算法，通过硬性平均 KL 散度约束来限制策略更新，采用二阶优化方法求解。
Probability Ratio ($r_t(\theta)$)（概率比）: 新策略下的动作概率与行为（旧）策略下的动作概率之比： $π_{θ} (a_{t} ∣ s_{t}) / π_{θ_{old}} (a_{t} ∣ s_{t})$ 。
Generalized Advantage Estimation (GAE)（广义优势估计）: 一种由 $γ$ 和 $λ$ 参数化的优势估计技术，用于权衡方差与偏差。
Adaptive KL Penalty（自适应 KL 惩罚）: PPO 的一种替代形式，当经验测得的 KL 散度偏离目标阈值时，动态调整针对 KL 散度的拉格朗日乘子。
Surrogate Objective（替代目标）: 期望策略表现的局部近似，在当前参数附近与真实目标具有一阶一致性。

常见问题

为什么 PPO 要在截断目标和未截断目标之间取最小值？

取最小值构成了替代目标的悲观下界，确保在概率比过分偏离 1 时，算法会忽略那些可能带来过大正向奖励的不稳定更新。

相比 TRPO，PPO 最主要的实际优势是什么？

PPO 使用标准的一阶优化器（如 Adam）而非二阶共轭梯度方法，这使其实现更简单、每次迭代速度更快，并且与参数共享架构完全兼容。

截断参数 $\epsilon$ 取什么值效果最好？

作者在基准运动任务上对 $ϵ \in {0.1, 0.2, 0.3}$ 进行了实证测试，发现 $ϵ = 0.2$ 始终表现最佳。

PPO 可以应用于策略和价值参数共享的架构吗？

可以，PPO 可以将截断替代目标、价值函数均方误差损失以及熵奖励整合为一个标量损失，直接通过反向传播进行端到端优化。

本页解读由 AI 根据论文生成，可能有错误；细节请以原文为准。

用 XYZNOT 阅读（全文翻译与 AI 讲解）