Proximal Policy Optimization Algorithms

John Schulman; Filip Wolski; Prafulla Dhariwal; Alec Radford; Oleg Klimov

Makalah · arXiv 1707.06347

Proximal Policy Optimization Algorithms

John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov

Terbit 2017-07-20cs.LG arXiv PDF

Baca dengan terjemahan dan AI

Ringkasan tiga baris

🎯 Metode policy gradient standar tidak efisien dalam sampel dan tidak stabil, sedangkan Trust Region Policy Optimization (TRPO) rumit secara komputasi dan bergantung pada optimasi orde kedua.
🔧 Memperkenalkan fungsi clipped surrogate objective baru yang membatasi pembaruan kebijakan agar rasio probabilitas tidak bergeser terlalu jauh dari 1, memungkinkan beberapa epoch minibatch stochastic gradient descent.
📈 Mengungguli TRPO, A2C, dan ACER pada tugas tolok ukur continuous control dan game Atari 2600, mencapai reward episodik rata-rata lebih dari 4000 pada tolok ukur HalfCheetah-v1.

Abstrak

Kami mengusulkan famili baru dari metode policy gradient untuk reinforcement learning, yang bergantian antara mengumpulkan data melalui interaksi dengan lingkungan, dan mengoptimalkan fungsi objektif "surrogate" menggunakan stochastic gradient ascent. Jika metode policy gradient standar melakukan satu pembaruan gradien per sampel data, kami mengusulkan fungsi objektif baru yang memungkinkan beberapa epoch pembaruan minibatch. Metode baru ini, yang kami sebut proximal policy optimization (PPO), memiliki sebagian keunggulan dari trust region policy optimization (TRPO), tetapi jauh lebih sederhana untuk diimplementasikan, lebih umum, dan memiliki kompleksitas sampel yang lebih baik (secara empiris). Eksperimen kami menguji PPO pada serangkaian tugas tolok ukur, termasuk lokomosi robotik tersimulasi dan permainan Atari, dan kami menunjukkan bahwa PPO mengungguli metode online policy gradient lainnya, serta secara keseluruhan mencapai keseimbangan yang menguntungkan antara kompleksitas sampel, kesederhanaan, dan wall-time.

Abstrak asli (bahasa Inggris)

We propose a new family of policy gradient methods for reinforcement learning, which alternate between sampling data through interaction with the environment, and optimizing a "surrogate" objective function using stochastic gradient ascent. Whereas standard policy gradient methods perform one gradient update per data sample, we propose a novel objective function that enables multiple epochs of minibatch updates. The new methods, which we call proximal policy optimization (PPO), have some of the benefits of trust region policy optimization (TRPO), but they are much simpler to implement, more general, and have better sample complexity (empirically). Our experiments test PPO on a collection of benchmark tasks, including simulated robotic locomotion and Atari game playing, and we show that PPO outperforms other online policy gradient methods, and overall strikes a favorable balance between sample complexity, simplicity, and wall-time.

Panduan membaca

Masalah dan motivasi

Metode policy gradient standar melakukan satu langkah stochastic gradient descent per trayektori sampel, yang menyebabkan efisiensi sampel yang buruk. Meskipun Trust Region Policy Optimization (TRPO) mengatasi ketidakstabilan dengan menerapkan batasan pada divergensi Kullback-Leibler (KL) antara distribusi kebijakan lama dan baru, metode ini membutuhkan komputasi turunan orde kedua (Fisher Information Matrix melalui algoritma conjugate gradient). Hal ini membuat TRPO mahal secara komputasi, sulit diimplementasikan, dan sulit diintegrasikan dengan arsitektur yang berbagi parameter antara jaringan kebijakan dan nilai atau menggunakan recurrent neural network (RNN).

Ide utama

PPO mempertahankan keunggulan stabilitas TRPO sembari hanya mengandalkan optimasi orde pertama. Ini dicapai dengan memodifikasi fungsi objektif daripada memaksakan batasan yang ketat atau berat secara komputasi:

Probability Ratio: Mendefinisikan importance weight $r_{t} (θ) = \frac{π _{θ} ( a _{t} ∣ s _{t} )}{π _{θ_{old}} ( a _{t} ∣ s _{t} )}$ , di mana $r_{t} (θ_{old}) = 1$ .
Clipped Surrogate Objective: Mencegah $r_{t} (θ)$ bergerak terlalu jauh dari 1 dengan melakukan clipping rasio ke rentang $[1 - ϵ, 1 + ϵ]$ dan mengambil nilai minimum dari objektif clipped dan unclipped. Ini bertindak sebagai batas pesimistis, mencegah pembaruan kebijakan yang terlalu besar.
Alternatif Penalti KL Adaptif: Mengeksplorasi pendekatan alternatif yang menyesuaikan koefisien penalti KL $β$ secara adaptif berdasarkan divergensi KL terukur relatif terhadap nilai target $d_{targ}$ .

Metode (dengan persamaan utama)

Misalkan $r_{t} (θ) = \frac{π _{θ} ( a _{t} ∣ s _{t} )}{π _{θ_{old}} ( a _{t} ∣ s _{t} )}$ dan $\hat{A}_{t}$ adalah estimator dari fungsi advantage pada timestep $t$ . Inti dari clipped surrogate objective adalah:

$L^{CLIP} (θ) = \hat{E}_{t} [min (r_{t} (θ) \hat{A}_{t}, clip (r_{t} (θ), 1 - ϵ, 1 + ϵ) \hat{A}_{t})]$

Saat mengoptimalkan jaringan gabungan fungsi kebijakan dan nilai (yang berbagi parameter), fungsi loss gabungan mencakup clipped surrogate, squared-error value function loss, dan bonus entropi $S [π_{θ}]$ untuk mendorong eksplorasi:

$L_{t}^{CLIP+VF+S} (θ) = \hat{E}_{t} [L_{t}^{CLIP} (θ) - c_{1} (V_{θ} (s_{t}) - V_{t}^{targ})^{2} + c_{2} S [π_{θ}] (s_{t})]$

Advantage $\hat{A}_{t}$ dihitung menggunakan Generalized Advantage Estimation (GAE):

$\hat{A}_{t} = l = 0 \sum \infty (γλ)^{l} δ_{t + l}^{V}$

di mana $δ_{t}^{V} = r_{t} + γV (s_{t + 1}) - V (s_{t})$ .

Hasil (dengan angka-angka terpenting)

Tolok Ukur Continuous Control: Dievaluasi pada lingkungan lokomosi MuJoCo (misalnya, HalfCheetah, Hopper, Walker2d, Humanoid). PPO dengan clipped objective ( $L^{CLIP}$ ) mengungguli versi penalti KL adaptif dan melampaui TRPO di hampir semua ranah. Pada HalfCheetah-v1, PPO mencapai skor reward episodik di atas 4000 dalam 1 juta langkah, jauh di atas TRPO dan baseline lainnya.
Sensitivitas Hiperparameter: Eksperimen pengujian $ϵ \in {0.1, 0.2, 0.3}$ menunjukkan bahwa $ϵ = 0.2$ secara konsisten menghasilkan performa yang kuat.
Game Atari: PPO mencapai skor episodik rata-rata yang lebih tinggi daripada A2C pada 30 dari 49 permainan, serta melampaui ACER baik dalam efisiensi sampel maupun skor akhir pada beberapa judul yang menantang.

Keterbatasan dan pertanyaan terbuka

Mekanisme clipping adalah batas bawah heuristik yang tidak menjamin secara formal bahwa pembaruan kebijakan tetap berada dalam trust region yang ketat.
Performa tetap sensitif terhadap hiperparameter generalized advantage estimation ( $λ, γ$ ) dan jadwal learning rate.
Meskipun efisiensi sampel meningkat dibandingkan policy gradient standar, efisiensinya masih lebih rendah daripada algoritma fully off-policy (misalnya, Q-learning atau DDPG) pada tugas continuous control.

Istilah kunci

Proximal Policy Optimization (PPO): Kelas algoritma policy gradient reinforcement learning yang mengoptimalkan clipped surrogate objective menggunakan beberapa epoch minibatch stochastic gradient descent.
Clipped Surrogate Objective: Fungsi objektif yang membatasi rasio probabilitas kebijakan dalam rentang $[1 - ϵ, 1 + ϵ]$ untuk mencegah pembaruan yang menyebabkan ketidakstabilan.
Trust Region Policy Optimization (TRPO): Algoritma pendahulu yang membatasi pembaruan kebijakan melalui batasan rata-rata divergensi KL yang ketat, diselesaikan menggunakan metode orde kedua.
Probability Ratio ($r_t(\theta)$): Rasio antara probabilitas tindakan di bawah kebijakan baru dan probabilitas tindakan di bawah kebijakan perilaku (lama): $π_{θ} (a_{t} ∣ s_{t}) / π_{θ_{old}} (a_{t} ∣ s_{t})$ .
Generalized Advantage Estimation (GAE): Teknik estimasi advantage yang diparametrisasi oleh $γ$ dan $λ$ untuk menyeimbangkan kompromi antara varians dan bias.
Adaptive KL Penalty: Formulasi PPO alternatif yang secara dinamis menyesuaikan skala pengali Lagrange pada divergensi KL jika divergensi empiris menyimpang dari ambang batas target.
Surrogate Objective: Aproksimasi lokal dari performa kebijakan yang diharapkan yang mencocokkan objektif sebenarnya hingga orde pertama di sekitar parameter saat ini.

Pertanyaan

Mengapa PPO mengambil nilai minimum antara objektif clipped dan unclipped?

Mengambil nilai minimum menciptakan batas bawah yang pesimistis pada surrogate objective, memastikan bahwa algoritma mengabaikan pembaruan yang akan menghasilkan reward positif besar jika rasio probabilitas menyimpang terlalu jauh dari 1.

Apa keunggulan praktis utama PPO dibandingkan TRPO?

PPO menggunakan pengoptimal orde pertama standar (seperti Adam) daripada metode conjugate gradient orde kedua, sehingga lebih sederhana untuk diimplementasikan, lebih cepat per iterasi, dan kompatibel dengan arsitektur berparameter bersama.

Berapa nilai parameter clipping $\epsilon$ yang paling baik?

Para penulis menguji secara empiris $ϵ \in {0.1, 0.2, 0.3}$ pada tugas-tugas tolok ukur lokomosi dan menemukan bahwa $ϵ = 0.2$ secara konsisten memberikan performa terbaik.

Bisakah PPO diterapkan pada arsitektur dengan parameter kebijakan dan nilai yang dipakai bersama?

Ya, PPO dapat menggabungkan clipped surrogate objective, value function squared error loss, dan bonus entropi ke dalam satu loss skalar yang dioptimalkan melalui backpropagation.

Ulasan di halaman ini ditulis oleh AI dari makalah dan mungkin mengandung kesalahan. Baca makalahnya untuk detail.

Baca dengan terjemahan dan AI