Chơi Atari với Học tăng cường sâu (Deep Reinforcement Learning)

Hướng dẫn đọc

Vấn đề và động lực

Học tăng cường (RL) trong các miền dữ liệu cảm giác trước đây phụ thuộc vào các đặc trưng được thiết kế thủ công kết hợp với các hàm giá trị tuyến tính hoặc xấp xỉ chính sách. Mạng nơ-ron sâu đã chứng minh khả năng học biểu diễn mạnh mẽ trong thị giác máy tính và nhận dạng giọng nói, nhưng việc áp dụng chúng vào RL đặt ra những thách thức cơ bản:

• Phần thưởng trễ và thưa thớt: Các tín hiệu học tập là vô hướng, nhiễu và bị tách biệt khỏi các hành động hàng nghìn bước thời gian.
• Quan sát không i.i.d.: Các trạng thái môi trường liên tiếp tạo thành chuỗi thời gian có tương quan cao chứ không phải là các mẫu độc lập.
• Phân phối phi dừng: Chính sách sinh dữ liệu thay đổi liên tục trong quá trình học, tạo ra các vòng phản hồi có thể khiến các bộ xấp xỉ hàm phi tuyến tính bị phân kỳ.

Mục tiêu của công trình này là tạo ra một thuật toán và kiến trúc mạng nơ-ron duy nhất có khả năng học các chính sách điều khiển trực tiếp từ đầu vào thị giác nhiều chiều (video RGB $210\times 160$) trên nhiều trò chơi Atari 2600 khác nhau mà không cần sửa đổi riêng cho từng trò chơi.

Các ý tưởng cốt lõi

• Điều khiển cảm giác đầu-cuối (End-to-end sensory control): Ánh xạ trực tiếp từ các pixel thô sang giá trị hành động ($Q$-values) mà không cần hệ thống thị giác đặc thù cho miền hoặc quyền truy cập vào cấu trúc nội bộ của trình giả lập.
• Bộ nhớ đệm trải nghiệm (Experience Replay Buffer): Lưu trữ các tương tác của agent $e_t=(s_t,a_t,r_t,s_{t+1})$ trong bộ nhớ đệm hữu hạn $\mathcal{D}$. Quá trình huấn luyện lấy mẫu các mini-batch ngẫu nhiên đồng đều từ bộ nhớ này. Điều này giúp phá vỡ mối tương quan giữa các mẫu, giảm phương sai gradient và ổn định phân phối dữ liệu qua các chính sách trước đây.
• Tham số hóa đầu ra giá trị hành động: Thay vì đưa cả trạng thái và hành động vào làm đầu vào để tính một giá trị vô hướng duy nhất $Q(s,a)$, mạng chỉ nhận biểu diễn trạng thái làm đầu vào và xuất ra một vector chứa các giá trị $Q$ dự đoán cho tất cả các hành động rời rạc hợp lệ chỉ trong một lượt lan truyền xuôi (forward pass).
• Xếp chồng và giảm kích thước khung hình (Frame stacking & downsampling): Do các khung hình đơn lẻ bị hiện tượng perceptual aliasing (không thể suy ra vận tốc hoặc quỹ đạo), lịch sử gồm 4 khung hình mức xám đã qua tiền xử lý được xếp chồng thành một tensor đầu vào kích thước $84\times 84\times 4$.

Phương pháp (kèm các phương trình chính)

Chuỗi trạng thái $s_t=(x_1,a_1,\dots ,x_t)$ được ánh xạ thông qua hàm tiền xử lý $\varphi$ thành biểu diễn kích thước $84\times 84\times 4$. Các tham số mạng $\theta$ được huấn luyện bằng một chuỗi các hàm mất mát sai số Bellman bình phương trung bình tại mỗi vòng lặp $i$:

$$L_i({\theta }_i)={\mathbb{E}}_{(s,a,r,s^{\prime })\sim \mathcal{D}}\left[{\left(y_i-Q(s,a;{\theta }_i)\right)}^2\right]$$

trong đó mục tiêu $y_i$ được tính bằng cách sử dụng các tham số ${\theta }_{i-1}$ từ vòng lặp trước:

$$y_i=\{\begin{array}{ll}r& \text{cho trạng thaˊi keˆˊt thuˊc }{s}^{\prime }\\ r+\gamma {\max }_{a^{\prime }}Q(s^{\prime },a^{\prime };{\theta }_{i-1})& \text{cho trạng thaˊi khoˆng keˆˊt thuˊc }{s}^{\prime }\end{array}$$

Gradient theo ${\theta }_i$ là:

$${\nabla }_{{\theta }_i}{L}_i({\theta }_i)={\mathbb{E}}_{(s,a,r,s^{\prime })}\left[\left(r+\gamma \underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime };{\theta }_{i-1})-Q(s,a;{\theta }_i)\right){\nabla }_{{\theta }_i}Q(s,a;{\theta }_i)\right]$$

Kiến trúc mô hình và thiết lập huấn luyện

• Đầu vào: Hình ảnh $84\times 84\times 4$ được tạo ra bằng cách cắt các khung hình mức xám đã giảm tỷ lệ.
• Conv 1: 16 bộ lọc kích thước $8\times 8$, bước trượt (stride) 4, hàm kích hoạt ReLU.
• Conv 2: 32 bộ lọc kích thước $4\times 4$, bước trượt 2, hàm kích hoạt ReLU.
• FC 1: 256 đơn vị kết nối đầy đủ (fully-connected) với ReLU.
• Đầu ra: Lớp tuyến tính kết nối đầy đủ với 4 đến 18 đầu ra (mỗi đầu ra cho một hành động hợp lệ).
• Trình tối ưu hóa: RMSProp với kích thước batch 32.
• Khám phá (Exploration): $ϵ$-greedy với $ϵ$ giảm dần tuyến tính từ $1.0$ xuống $0.1$ qua $10^6$ khung hình đầu tiên, sau đó cố định ở $0.1$.
• Cắt tỉa phần thưởng (Reward Clipping): Phần thưởng dương được đặt thành $+1$, phần thưởng âm thành $-1$ và phần thưởng trung hòa thành $0$ để chuẩn hóa thang đo lỗi.
• Bỏ qua khung hình (Frame-skipping): Agent quan sát và hành động sau mỗi $k=4$ khung hình (lặp lại hành động), ngoại trừ $k=3$ cho Space Invaders để giữ cho các sprite laser nhấp nháy có thể nhìn thấy được.

Kết quả (với các số liệu quan trọng nhất)

DQN đã được đánh giá trên bảy trò chơi Atari 2600 bằng chính sách $ϵ$-greedy với $ϵ=0.05$. Điểm trung bình so với các baseline RL tuyến tính trước đó và con người chuyên gia:

• DQN vượt trội hơn các phương pháp học tăng cường trước đó (Sarsa và Contingency) trên cả bảy trò chơi.
• DQN vượt qua điểm của chuyên gia con người trên ba trò chơi: Breakout (168 so với 31), Enduro (470 so với 368), và Pong (20 so với -3).
• Việc theo dõi giá trị $Q$ cực đại dự đoán trung bình trên tập trạng thái giữ lại (held-out set) cho thấy sự cải thiện đơn điệu mượt mà trong quá trình huấn luyện, thể hiện tính ổn định mà không bị phân kỳ.

Hạn chế và các câu hỏi mở

• Lập kế hoạch chiến lược tầm xa: Các trò chơi yêu cầu gán tín nhiệm dài hạn, có độ trễ lớn (chẳng hạn như Q*bert, Seaquest và Space Invaders) vẫn tụt hậu đáng kể so với điểm số của con người.
• Tác dụng phụ của việc cắt tỉa phần thưởng: Việc chuẩn hóa tất cả các phần thưởng dương thành $+1$ khiến mô hình không phân biệt được mục tiêu có giá trị cao và mục tiêu có giá trị thấp.
• Hạn chế của bộ nhớ replay đồng đều: Bộ nhớ đệm replay có dung lượng cố định ($10^6$ khung hình), sẽ ghi đè lên dữ liệu cũ hơn và lấy mẫu đồng đều mà không gán trọng số cho các bước chuyển trạng thái theo mức độ quan trọng (khác với prioritized replay).
• Giá trị mục tiêu thay đổi: Mặc dù các tham số ${\theta }_{i-1}$ được giữ cố định trong một bước gradient đơn lẻ, chúng vẫn cập nhật liên tục qua các bước SGD (một mạng mục tiêu chuyên dụng cập nhật chậm hơn đã được giới thiệu trong các nghiên cứu sau này).