Playing Atari with Deep Reinforcement Learning

Volodymyr Mnih; Koray Kavukcuoglu; David Silver; Alex Graves; Ioannis Antonoglou; Daan Wierstra; Martin Riedmiller

論文 · arXiv 1312.5602

Playing Atari with Deep Reinforcement Learning

Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller

發表於 2013-12-19cs.LG arXiv PDF

用 XYZNOT 閱讀（全文翻譯與 AI 講解）

三句話總結

🎯 從高維度視覺輸入進行增強式學習，過去常面臨訓練不穩定、樣本效率低下以及過度依賴人工設計特徵的問題。
🔧 透過從經驗回放緩衝區抽樣小批次資料，結合無模型 Q-learning，將卷積神經網路直接與原始像素端對端連接。
📈 在七款 Atari 遊戲中的六款超越了以往的強化學習基準，並在 Breakout、Enduro 和 Pong 的得分超越了人類專家基準。

摘要

我們提出了第一個成功利用增強式學習直接從高維度感官輸入學習控制策略的深度學習模型。該模型是一個卷積神經網路，使用 Q-learning 的變體進行訓練，其輸入為原始像素，輸出為估算未來獎勵的價值函數。我們將此方法應用於 Arcade Learning Environment 中的七款 Atari 2600 遊戲，且未對網路架構或學習演算法進行任何調整。研究結果顯示，該模型在其中六款遊戲中超越了以往所有的演算法，並在其中三款遊戲中擊敗了人類專家。

英文原文摘要

We present the first deep learning model to successfully learn control policies directly from high-dimensional sensory input using reinforcement learning. The model is a convolutional neural network, trained with a variant of Q-learning, whose input is raw pixels and whose output is a value function estimating future rewards. We apply our method to seven Atari 2600 games from the Arcade Learning Environment, with no adjustment of the architecture or learning algorithm. We find that it outperforms all previous approaches on six of the games and surpasses a human expert on three of them.

論文解讀

問題與研究動機

在感官領域中的增強式學習（RL）歷來依賴人工設計的特徵，並結合線性價值函數或策略近似。儘管深度神經網路在電腦視覺和語音辨識中展現出強大的表徵學習能力，但將其應用於增強式學習卻面臨根本挑戰：

延遲且稀疏的獎勵：學習訊號為純量、噪訊多，且往往與動作相隔數千個時間步長。
非獨立同分布（Non-i.i.d.）觀測值：連續的環境狀態構成高度相關的時間序列，而非獨立樣本。
非平穩分布：資料生成策略在學習過程中持續改變，形成反饋迴路，容易導致非線性函數近似器發散。

本研究的目標是建立單一演算法與神經網路架構，能夠直接從高維度視覺輸入（ $210 \times 160$ RGB 影像）學習控制策略，並適用於多款 Atari 2600 遊戲，無須針對個別遊戲進行調整。

核心概念

端對端感官控制：直接將原始像素映射到動作價值（ $Q$ -values），無須領域專屬的視覺系統，亦不依賴模擬器內部狀態。
經驗回放緩衝區（Experience Replay Buffer）：將代理人的互動歷程 $e_{t} = (s_{t}, a_{t}, r_{t}, s_{t + 1})$ 儲存在有限記憶體緩衝區 $D$ 中。訓練時從此記憶體隨機均勻抽取小批次樣本。這打破了樣本間的相關性、降低梯度變異數，並穩定了跨越過去策略的資料分布。
動作價值輸出參數化：網路並非同時輸入狀態與動作以計算單一純量 $Q (s, a)$ ，而是僅以狀態表徵作為輸入，並在單次前向傳播中直接輸出包含所有合法離散動作預測 $Q$ -values 的向量。
畫面堆疊與降採樣：由於單一畫面存在感知混淆（無法推斷速度或移動軌跡），因此將四幀經過前處理的灰階畫面堆疊成 $84 \times 84 \times 4$ 的輸入張量。

方法（含核心公式）

狀態序列 $s_{t} = (x_{1}, a_{1}, \dots, x_{t})$ 透過前處理函數 $ϕ$ 映射為 $84 \times 84 \times 4$ 的表徵。網路參數 $θ$ 在每次迭代 $i$ 中使用一系列均方 Bellman 誤差損失函數進行訓練：

$L_{i} (θ_{i}) = E_{(s, a, r, s^{'}) \sim D} [(y_{i} - Q (s, a; θ_{i}))^{2}]$

其中目標值 $y_{i}$ 是使用前一次迭代的參數 $θ_{i - 1}$ 計算得出：

$y_{i} = {r r + γ max_{a^{'}} Q (s^{'}, a^{'}; θ_{i - 1}) 若 s^{'} 為終止狀態若 s^{'} 為非終止狀態$

對 $θ_{i}$ 的梯度為：

$\nabla_{θ_{i}} L_{i} (θ_{i}) = E_{(s, a, r, s^{'})} [(r + γ a^{'} max Q (s^{'}, a^{'}; θ_{i - 1}) - Q (s, a; θ_{i})) \nabla_{θ_{i}} Q (s, a; θ_{i})]$

模型架構與訓練設定

輸入：透過裁切降採樣灰階畫面所產生的 $84 \times 84 \times 4$ 影像。
Conv 1：16 個尺寸為 $8 \times 8$ 的濾波器，步幅 4，ReLU 活化函數。
Conv 2：32 個尺寸為 $4 \times 4$ 的濾波器，步幅 2，ReLU 活化函數。
FC 1：256 個全連接 ReLU 單元。
輸出：具有 4 到 18 個輸出的全連接線性層（對應各合法動作）。
最佳化器：RMSProp，批次大小為 32。
探索機制： $ϵ$ -greedy，在前 $1 0^{6}$ 幀內將 $ϵ$ 線性遞減從 $1.0$ 降至 $0.1$ ，之後固定為 $0.1$ 。
獎勵裁剪（Reward Clipping）：將正獎勵設為 $+ 1$ 、負獎勵設為 $- 1$ 、中立獎勵設為 $0$ ，以標準化誤差尺度。
跳幀（Frame skipping）：代理人每 $k = 4$ 幀進行一次觀察與行動（重複該動作），唯獨 Space Invaders 設為 $k = 3$ 以確保閃爍的雷射精靈圖形可見。

實驗結果（含重要數據）

DQN 在七款 Atari 2600 遊戲中進行評估，採用 $ϵ = 0.05$ 的 $ϵ$ -greedy 策略。與先前的線性 RL 基準及人類專家的平均得分比較如下：

遊戲	Random	Sarsa	Contingency	DQN（平均）	人類專家	DQN（最佳回合）
Beam Rider	354	996	1743	4092	7456	5184
Breakout	1.2	5.2	6	168	31	225
Enduro	0	129	159	470	368	661
Pong	-20.4	-19	-17	20	-3	21
*Qbert**	157	614	960	1952	18900	4500
Seaquest	110	665	723	1705	28010	1740
Space Invaders	179	271	268	581	3690	1075

DQN 在所有七款遊戲中均優於先前的增強式學習方法（Sarsa 與 Contingency）。
DQN 在三款遊戲中的得分超越了人類專家：Breakout（168 vs. 31）、Enduro（470 vs. 368）與 Pong（20 vs. -3）。
追蹤保留狀態集上的平均預測最大 $Q$ -value 顯示訓練過程中呈現平滑的單調上升，證明了訓練的穩定性且未出現發散。

限制與開放問題

長跨度戰略規劃：需要延遲、長期信用分配的遊戲（例如 Q*bert、Seaquest 和 Space Invaders），表現顯著落後於人類得分。
獎勵裁剪的副作用：將所有正獎勵正規化為 $+ 1$ ，導致無法區分高價值目標與低價值目標。
均勻回放記憶體的局限：回放緩衝區具有固定容量（ $1 0^{6}$ 幀），會覆蓋舊資料，且採樣時未根據轉移的重要性進行加權（不像後續的優先權回放 Prioritized Replay）。
變動的目標值：雖然參數 $θ_{i - 1}$ 在單次梯度步長中保持固定，但它們在各 SGD 步長間持續更新（後續研究引入了專門且緩慢更新的目標網路 Target Network）。

關鍵術語

Deep Q-Networks (DQN): 一種利用 Q-learning 訓練的卷積神經網路架構，可直接將高維度狀態觀測值映射為所有合法動作的動作價值估算。
Experience Replay: 一種將狀態轉移儲存於回放記憶體中，並隨機抽取小批次進行權重更新的機制，能打破時間相關性並平滑資料分布的偏移。
Q-learning: 一種離策（off-policy）、無模型（model-free）的時間差分增強式學習演算法，以迭代方式估算最佳動作價值函數 $Q^{*} (s, a)$ 。
Arcade Learning Environment (ALE): 一個提供 Atari 2600 遊戲的軟體平台，作為增強式學習代理人與影像畫面及模擬硬體互動的實證評測基準。
Frame-skipping: 一種代理人每隔 $k$ 幀才採樣一次觀測值並選取動作的技術，在跳過的畫面中重複執行所選動作，以加速實際運作時間。
Reward Clipping: 在訓練期間將所有環境正獎勵轉換為 $+ 1$ ，負獎勵轉換為 $- 1$ 的技巧，用以穩定跨不同遊戲分數尺度的梯度。
Perceptual Aliasing: 單一靜態視覺畫面因缺乏足夠狀態資訊（例如速度或移動方向），導致無法辨識真實底層環境狀態的情況。

常見問題

為什麼 DQN 在單次前向傳播中預測所有動作價值，而不是將（狀態，動作）作為輸入？

僅將前處理後的狀態作為輸入，並輸出所有合法動作的 Q-values 向量，使代理人能在單次前向傳播中評估所有可行動作，而無須在每個時間步長執行 $∣ A ∣$ 次獨立的前向傳播。

為什麼使用 Q-learning 訓練深度網路時必須使用經驗回放？

標準的連續 RL 轉移具有強烈的相關性，並會產生由當前策略權重決定的動態資料分布。從回放記憶體中均勻採樣過去的轉移，能打破相關性、降低更新變異數，並防止破壞性的反饋迴路或模型發散。

DQN 如何從 2D 影像中處理速度與運動資訊？

前處理函數將最近連續 4 幀降採樣後的灰階畫面堆疊成一個 $84 \times 84 \times 4$ 的輸入張量，使網路具備推斷物體速度與移動方向的能力。

DQN 在哪些 Atari 遊戲中超越了人類表現？

DQN 在 Breakout（168 vs. 31）、Enduro（470 vs. 368）和 Pong（20 vs. -3）上的平均得分超越了人類專家基準。

本頁解讀由 AI 根據論文生成，可能有錯誤；細節請以原文為準。

用 XYZNOT 閱讀（全文翻譯與 AI 講解）