Proximal Policy Optimization Algorithms

Guia de leitura

Problema e motivação

Métodos tradicionais de gradiente de política realizam um único passo de descida de gradiente estocástico por trajetória amostrada, resultando em baixa eficiência amostral. Embora o Trust Region Policy Optimization (TRPO) resolva a instabilidade impondo uma restrição à divergência de Kullback-Leibler (KL) entre as distribuições da política antiga e da nova, ele exige o cálculo de derivadas de segunda ordem (Matriz de Informação de Fisher via algoritmos de gradiente conjugado). Isso torna o TRPO computacionalmente caro, difícil de implementar e complexo de integrar a arquiteturas que compartilham parâmetros entre as redes de política e valor ou que utilizam redes neurais recorrentes (RNNs).

Ideias centrais

O PPO mantém as vantagens de estabilidade do TRPO, baseando-se exclusivamente em otimização de primeira ordem. Ele alcança isso modificando a função objetivo em vez de impor uma restrição estrita ou computacionalmente pesada:

• Razão de Probabilidade: Define o peso de importância $r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{\text{old}}}(a_t|s_t)}$, onde $r_t({\theta }_{\text{old}})=1$.
• Objetivo Substituto Truncado (Clipped Surrogate Objective): Evita que $r_t(\theta )$ se afaste muito de 1 ao truncar a razão para o intervalo $[1-ϵ,1+ϵ]$ e tomar o mínimo entre os objetivos truncado e não truncado. Isso atua como um limite pessimista, desestimulando atualizações excessivamente grandes na política.
• Alternativa com Penalidade KL Adaptativa: Explora uma abordagem alternativa que ajusta dinamicamente um coeficiente de penalidade KL $\beta$ com base na divergência KL medida em relação a um valor alvo $d_{\text{targ}}$.

Método (com as equações principais)

Sejam $r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{\text{old}}}(a_t|s_t)}$ e ${\hat{A}}_t$ um estimador da função de vantagem no passo de tempo $t$. O objetivo substituto truncado principal é:

$$L^{\text{CLIP}}(\theta )={\hat{\mathbb{E}}}_t\left[\min \left(r_t(\theta ){\hat{A}}_t,\text{clip}(r_t(\theta ),1-ϵ,1+ϵ){\hat{A}}_t\right)\right]$$

Ao otimizar uma rede combinada de política e função de valor (com compartilhamento de parâmetros), a função de perda total inclui o substituto truncado, uma perda de erro quadrático da função de valor e um bônus de entropia $S[{\pi }_{\theta }]$ para incentivar a exploração:

$$L_t^{\text{CLIP+VF+S}}(\theta )={\hat{\mathbb{E}}}_t\left[L_t^{\text{CLIP}}(\theta )-c_1{\left(V_{\theta }(s_t)-V_t^{\text{targ}}\right)}^2+c_{2}S[{\pi }_{\theta }](s_t)\right]$$

As vantagens ${\hat{A}}_t$ são calculadas usando Generalized Advantage Estimation (GAE):

$${\hat{A}}_t=\sum _{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+l}^V$$

onde ${\delta }_t^V=r_t+\gamma V(s_{t+1})-V(s_t)$.

Resultados (com os números mais importantes)

• Benchmarks de Controle Contínuo: Avaliado em ambientes de locomoção do MuJoCo (por exemplo, HalfCheetah, Hopper, Walker2d, Humanoid). O PPO com o objetivo truncado ($L^{\text{CLIP}}$) superou a versão com penalidade KL adaptativa e superou o TRPO em quase todos os domínios. No HalfCheetah-v1, o PPO atingiu uma pontuação de recompensa episódica superior a 4000 em 1 milhão de passos, bem acima do TRPO e de outras linhas de base.
• Sensibilidade a Hiperparâmetros: Experimentos testando $ϵ\in \{0.1,0.2,0.3\}$ demonstraram que $ϵ=0.2$ apresentou consistentemente um desempenho robusto.
• Jogos de Atari: O PPO obteve pontuações episódicas médias superiores às do A2C em 30 de 49 jogos, e superou o ACER tanto em eficiência amostral quanto em pontuação final em diversos títulos desafiadores.

Limitações e questões em aberto

• O mecanismo de truncamento é um limite inferior heurístico que não garante formalmente que as atualizações da política permaneçam dentro de uma região de confiança estrita.
• O desempenho continua sensível aos hiperparâmetros do Generalized Advantage Estimation ($\lambda ,\gamma$) e aos cronogramas de taxa de aprendizado.
• Embora a eficiência amostral seja melhor do que a dos gradientes de política tradicionais, ela ainda é inferior à de algoritmos totalmente off-policy (como Q-learning ou DDPG) em tarefas de controle contínuo.