Proximal Policy Optimization Algorithms

Okuma rehberi

Problem ve motivasyon

Standart politika gradyanı yöntemleri, örneklenen yörünge başına tek bir stokastik gradyan inişi adımı gerçekleştirir ve bu da düşük örneklem verimliliğine yol açar. Trust Region Policy Optimization (TRPO), eski ve yeni politika dağılımları arasındaki Kullback-Leibler (KL) ıraksamasını sınırlandırarak kararsızlığı çözse de, ikinci dereceden türevlerin hesaplanmasını gerektirir (eşlenik gradyan algoritmaları aracılığıyla Fisher Bilgi Matrisi). Bu durum TRPO'yu hesaplama açısından maliyetli, uygulanması zor ve politika ile değer ağları arasında parametre paylaşan veya tekrarlayan sinir ağları (RNN'ler) kullanan mimarilerle entegre edilmesi güç hale getirir.

Temel fikirler

PPO, TRPO'nun kararlılık avantajlarını korurken yalnızca birinci dereceden optimizasyona dayanır. Bunu, katı veya hesaplama açısından ağır bir kısıtlama uygulamak yerine amaç fonksiyonunu değiştirerek başarır:

• Olasılık Oranı: $r_t({\theta }_{\text{old}})=1$ olmak üzere, önem ağırlığını $r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{\text{old}}}(a_t|s_t)}$ olarak tanımlar.
• Kırpılmış Vekil Amaç: Oranı $[1-ϵ,1+ϵ]$ aralığına kırparak ve kırpılmış ile kırpılmamış amaçların minimumunu alarak $r_t(\theta )$ değerinin 1'den uzaklaşmasını engeller. Bu, kötümser bir alt sınır görevi görerek aşırı büyük politika güncellemelerini caydırır.
• Uyarlanabilir KL Cezası Alternatifi: Ölçülen KL ıraksamasının hedef değer olan $d_{\text{targ}}$ ile olan ilişkisine göre KL ceza katsayısı $\beta$'yı dinamik olarak ayarlayan alternatif bir yaklaşımı araştırır.

Yöntem (temel denklemlerle)

$r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{\text{old}}}(a_t|s_t)}$ ve ${\hat{A}}_t$ zaman adımındaki $t$ avantaj fonksiyonunun bir kestiricisi olsun. Temel kırpılmış vekil amaç şöyledir:

$$L^{\text{CLIP}}(\theta )={\hat{\mathbb{E}}}_t\left[\min \left(r_t(\theta ){\hat{A}}_t,\text{clip}(r_t(\theta ),1-ϵ,1+ϵ){\hat{A}}_t\right)\right]$$

Ortak bir politika ve değer fonksiyonu ağı optimize edilirken (parametrelerin paylaşıldığı durum), birleşik kayıp fonksiyonu kırpılmış vekili, karesel hata değer fonksiyonu kaybını ve keşfi teşvik etmek için bir entropi bonusunu $S[{\pi }_{\theta }]$ içerir:

$$L_t^{\text{CLIP+VF+S}}(\theta )={\hat{\mathbb{E}}}_t\left[L_t^{\text{CLIP}}(\theta )-c_1{\left(V_{\theta }(s_t)-V_t^{\text{targ}}\right)}^2+c_{2}S[{\pi }_{\theta }](s_t)\right]$$

Avantajlar ${\hat{A}}_t$, Generalized Advantage Estimation (GAE) kullanılarak hesaplanır:

$${\hat{A}}_t=\sum _{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+l}^V$$

burada ${\delta }_t^V=r_t+\gamma V(s_{t+1})-V(s_t)$ şeklindedir.

Sonuçlar (en önemli sayılarla)

• Sürekli Kontrol Kıyaslamaları: MuJoCo hareket ortamlarında (örneğin HalfCheetah, Hopper, Walker2d, Humanoid) değerlendirilmiştir. Kırpılmış amaçlı PPO ($L^{\text{CLIP}}$), uyarlanabilir KL cezası versiyonundan daha iyi performans göstermiş ve neredeyse tüm alanlarda TRPO'yu geride bırakmıştır. HalfCheetah-v1 üzerinde PPO, 1 milyon adımda 4000'in üzerinde epizodik ödül puanı elde ederek TRPO ve diğer referans modellerin oldukça üzerine çıkmıştır.
• Hiperparametre Duyarlılığı: $ϵ\in \{0.1,0.2,0.3\}$ değerlerini test eden deneyler, $ϵ=0.2$ değerinin tutarlı bir şekilde güçlü performans sağladığını göstermiştir.
• Atari Oyunları: PPO, 49 oyunun 30'unda A2C'den daha yüksek ortalama epizodik skorlar elde etmiş ve birçok zorlu oyunda hem örneklem verimliliği hem de nihai skor açısından ACER'ı geride bırakmıştır.

Sınırlılıklar ve açık sorular

• Kırpma mekanizması, politika güncellemelerinin kesin bir güvenli bölge içinde kalacağını resmi olarak garanti etmeyen sezgisel bir alt sınırdır.
• Performans, genelleştirilmiş avantaj kestirimi hiperparametrelerine ($\lambda ,\gamma$) ve öğrenme oranı çizelgelerine karşı duyarlılığını korumaktadır.
• Standart politika gradyanlarına kıyasla örneklem verimliliği artsa da, sürekli kontrol görevlerinde tamamen off-policy algoritmalara (örneğin Q-learning veya DDPG) göre daha düşüktür.