Proximal Policy Optimization Algorithms

Hướng dẫn đọc

Vấn đề và động lực

Các phương pháp policy gradient tiêu chuẩn chỉ thực hiện một bước stochastic gradient descent duy nhất cho mỗi quỹ đạo được lấy mẫu, dẫn đến hiệu quả sử dụng mẫu kém. Mặc dù Trust Region Policy Optimization (TRPO) giải quyết được sự mất ổn định bằng cách áp đặt ràng buộc lên phân kỳ Kullback-Leibler (KL) giữa phân phối chính sách cũ và mới, phương pháp này đòi hỏi tính toán đạo hàm bậc hai (Ma trận thông tin Fisher thông qua các thuật toán conjugate gradient). Điều này làm cho TRPO tốn kém về mặt tính toán, khó cài đặt và khó tích hợp với các kiến trúc chia sẻ tham số giữa mạng chính sách và mạng giá trị hoặc sử dụng mạng nơ-ron hồi quy (RNNs).

Ý tưởng cốt lõi

PPO giữ lại các lợi ích về độ ổn định của TRPO nhưng chỉ dựa hoàn toàn vào tối ưu hóa bậc một. Thuật toán đạt được điều này bằng cách sửa đổi hàm mục tiêu thay vì áp đặt một ràng buộc cứng hoặc nặng về mặt tính toán:

• Tỉ số xác suất (Probability Ratio): Định nghĩa trọng số tầm quan trọng $r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{\text{old}}}(a_t|s_t)}$, trong đó $r_t({\theta }_{\text{old}})=1$.
• Mục tiêu đại diện dạng cắt (Clipped Surrogate Objective): Ngăn $r_t(\theta )$ lệch quá xa khỏi 1 bằng cách cắt (clip) tỉ số này trong đoạn $[1-ϵ,1+ϵ]$ và lấy giá trị nhỏ nhất giữa mục tiêu đã cắt và chưa cắt. Điều này hoạt động như một cận bi quan (pessimistic bound), hạn chế các bước cập nhật chính sách quá lớn.
• Lựa chọn thay thế phạt KL thích ứng (Adaptive KL Penalty): Khám phá một cách tiếp cận khác giúp điều chỉnh linh hoạt hệ số phạt KL $\beta$ dựa trên phân kỳ KL đo được so với một giá trị mục tiêu $d_{\text{targ}}$.

Phương pháp (kèm các phương trình chính)

Đặt $r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{\text{old}}}(a_t|s_t)}$ và ${\hat{A}}_t$ là ước lượng của hàm advantage tại bước thời gian $t$. Hàm mục tiêu đại diện dạng cắt cốt lõi là:

$$L^{\text{CLIP}}(\theta )={\hat{\mathbb{E}}}_t\left[\min \left(r_t(\theta ){\hat{A}}_t,\text{clip}(r_t(\theta ),1-ϵ,1+ϵ){\hat{A}}_t\right)\right]$$

Khi tối ưu hóa mạng kết hợp cả chính sách và hàm giá trị (chia sẻ tham số), hàm mất mát kết hợp sẽ bao gồm mục tiêu đại diện dạng cắt, mất mát sai số bình phương của hàm giá trị và một phần thưởng entropy $S[{\pi }_{\theta }]$ để khuyến khích khám phá:

$$L_t^{\text{CLIP+VF+S}}(\theta )={\hat{\mathbb{E}}}_t\left[L_t^{\text{CLIP}}(\theta )-c_1{\left(V_{\theta }(s_t)-V_t^{\text{targ}}\right)}^2+c_{2}S[{\pi }_{\theta }](s_t)\right]$$

Advantage ${\hat{A}}_t$ được tính toán bằng cách sử dụng Generalized Advantage Estimation (GAE):

$${\hat{A}}_t=\sum _{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+l}^V$$

trong đó ${\delta }_t^V=r_t+\gamma V(s_{t+1})-V(s_t)$.

Kết quả (kèm các con số quan trọng nhất)

• Các benchmark điều khiển liên tục: Được đánh giá trên các môi trường vận động MuJoCo (ví dụ: HalfCheetah, Hopper, Walker2d, Humanoid). PPO với hàm mục tiêu dạng cắt ($L^{\text{CLIP}}$) vượt trội hơn phiên bản phạt KL thích ứng và vượt qua TRPO trên hầu hết các bài toán. Trên HalfCheetah-v1, PPO đạt điểm phần thưởng mỗi tập trên 4000 chỉ trong vòng 1 triệu bước, cao hơn đáng kể so với TRPO và các baseline khác.
• Độ nhạy với siêu tham số: Các thử nghiệm với $ϵ\in \{0.1,0.2,0.3\}$ chứng minh rằng $ϵ=0.2$ mang lại hiệu năng cao một cách nhất quán.
• Trò chơi Atari: PPO đạt điểm trung bình mỗi tập cao hơn A2C trên 30 trong số 49 trò chơi, đồng thời vượt qua ACER cả về hiệu quả mẫu lẫn điểm số cuối cùng trên nhiều tựa game đầy thử thách.

Hạn chế và các câu hỏi mở

• Cơ chế cắt chỉ là một cận dưới heuristic chứ không đảm bảo về mặt lý thuyết rằng các cập nhật chính sách luôn nằm trong một trust region nghiêm ngặt.
• Hiệu năng vẫn nhạy cảm với các siêu tham số của generalized advantage estimation ($\lambda ,\gamma$) và lịch trình giảm tốc độ học (learning rate schedules).
• Dù hiệu quả sử dụng mẫu đã cải thiện so với policy gradient tiêu chuẩn, nó vẫn thấp hơn so với các thuật toán hoàn toàn off-policy (như Q-learning hoặc DDPG) trên các tác vụ điều khiển liên tục.