Playing Atari with Deep Reinforcement Learning

Volodymyr Mnih; Koray Kavukcuoglu; David Silver; Alex Graves; Ioannis Antonoglou; Daan Wierstra; Martin Riedmiller

论文 · arXiv 1312.5602

利用深度强化学习玩 Atari 游戏 (Playing Atari with Deep Reinforcement Learning)

Playing Atari with Deep Reinforcement Learning

Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller

发表于 2013-12-19cs.LG arXiv PDF

用 XYZNOT 阅读（全文翻译与 AI 讲解）

三句话总结

🎯 基于高维视觉输入的强化学习通常面临不稳定、样本效率低以及依赖手工设计特征的困境。
🔧 将卷积神经网络直接连接到原始像素，采用无模型 Q-learning 并从经验回放缓冲区中采样的 mini-batch 上进行训练。
📈 在七款 Atari 游戏中的六款上超越了先前的 RL 基线，并在 Breakout、Enduro 和 Pong 上超过了人类专家的基准得分。

摘要

我们提出了首个使用强化学习直接从高维感官输入成功学习控制策略的深度学习模型。该模型是一个卷积神经网络，使用 Q-learning 的变体进行训练，其输入为原始像素，输出为估计未来奖励的价值函数。我们将该方法应用于 Arcade Learning Environment 中的七款 Atari 2600 游戏，且未对网络架构或学习算法进行任何调整。实验发现，该方法在其中六款游戏上的表现优于以往所有方法，并在其中三款游戏上超越了人类专家。

英文原文摘要

We present the first deep learning model to successfully learn control policies directly from high-dimensional sensory input using reinforcement learning. The model is a convolutional neural network, trained with a variant of Q-learning, whose input is raw pixels and whose output is a value function estimating future rewards. We apply our method to seven Atari 2600 games from the Arcade Learning Environment, with no adjustment of the architecture or learning algorithm. We find that it outperforms all previous approaches on six of the games and surpasses a human expert on three of them.

论文解读

问题与动机

感官领域的强化学习（RL）历来依赖于手工工程特征结合线性价值函数或策略逼近。深度神经网络在计算机视觉和语音识别中展现了强大的表征学习能力，但将其应用于强化学习面临着根本性的挑战：

延迟与稀疏奖励：学习信号是标量且含有噪声，往往与动作间隔数千个时间步长。
非独立同分布（Non-i.i.d.）观测：连续的环境状态构成高度相关的时间序列，而非独立样本。
非平稳分布：在学习过程中，生成数据的策略不断变化，产生可能导致非线性函数逼近器发散的反馈回路。

这项工作的目标是构建一个单一的算法和神经网络架构，能够在不针对具体游戏进行修改的情况下，直接从高维视觉输入（ $210 \times 160$ RGB 视频）跨多种 Atari 2600 游戏学习控制策略。

核心思想

端到端感官控制：直接将原始像素映射为动作价值（ $Q$ 值），无需特定领域的视觉系统，也无需访问模拟器内部状态。
经验回放缓冲区（Experience Replay Buffer）：将智能体的交互体验 $e_{t} = (s_{t}, a_{t}, r_{t}, s_{t + 1})$ 存储在有限容量的内存缓冲区 $D$ 中。训练时从该内存中随机进行均匀 mini-batch 采样。这打破了样本相关性，降低了梯度方差，并稳定了跨历史策略的数据分布。
动作价值输出参数化：网络并不将状态和动作同时作为输入来计算单个标量 $Q (s, a)$ ，而是仅将状态表征作为输入，在单次前向传播中输出一个包含所有合法离散动作对应预测 $Q$ 值的向量。
帧堆叠与下采样：由于单帧画面存在感知混淆（无法推断速度或运动轨迹），预处理将连续四帧灰度图堆叠为一个 $84 \times 84 \times 4$ 的输入张量。

方法（及核心公式）

状态序列 $s_{t} = (x_{1}, a_{1}, \dots, x_{t})$ 通过预处理函数 $ϕ$ 映射为一个 $84 \times 84 \times 4$ 的表征。网络参数 $θ$ 在每个迭代步 $i$ 使用一系列均方贝尔曼误差（Mean Squared Bellman Error）损失函数进行训练：

$L_{i} (θ_{i}) = E_{(s, a, r, s^{'}) \sim D} [(y_{i} - Q (s, a; θ_{i}))^{2}]$

其中目标值 $y_{i}$ 使用来自上一迭代步的参数 $θ_{i - 1}$ 计算得出：

$y_{i} = {r r + γ max_{a^{'}} Q (s^{'}, a^{'}; θ_{i - 1}) 对于终止状态 s^{'} 对于非终止状态 s^{'}$

关于 $θ_{i}$ 的梯度为：

$\nabla_{θ_{i}} L_{i} (θ_{i}) = E_{(s, a, r, s^{'})} [(r + γ a^{'} max Q (s^{'}, a^{'}; θ_{i - 1}) - Q (s, a; θ_{i})) \nabla_{θ_{i}} Q (s, a; θ_{i})]$

模型架构与训练设置

输入：对下采样灰度帧进行裁剪后生成的 $84 \times 84 \times 4$ 图像。
Conv 1：16 个 $8 \times 8$ 卷积核，步长为 4，ReLU 激活函数。
Conv 2：32 个 $4 \times 4$ 卷积核，步长为 2，ReLU 激活函数。
FC 1：256 个全连接 ReLU 单元。
输出：全连接线性层，具有 4 到 18 个输出（每个合法动作对应一个输出）。
优化器：RMSProp，batch size 为 32。
探索机制： $ϵ$ -greedy，其中 $ϵ$ 在前 $1 0^{6}$ 帧内从 $1.0$ 线性退火至 $0.1$ ，随后固定在 $0.1$ 。
奖励裁剪（Reward Clipping）：将正奖励设为 $+ 1$ ，负奖励设为 $- 1$ ，零奖励设为 $0$ ，以此标准化误差规模。
跳帧（Frame-skipping）：智能体每 $k = 4$ 帧观察并执行一次动作（在此期间重复该动作），而在 Space Invaders 中采用 $k = 3$ 以保持闪烁的激光精灵图可见。

实验结果（及关键数据）

DQN 在七款 Atari 2600 游戏上使用 $ϵ = 0.05$ 的 $ϵ$ -greedy 策略进行了评估。相较于以往线性 RL 基线以及人类专家的平均得分如下：

游戏	随机	Sarsa	Contingency	DQN（平均）	人类专家	DQN（最佳单局）
Beam Rider	354	996	1743	4092	7456	5184
Breakout	1.2	5.2	6	168	31	225
Enduro	0	129	159	470	368	661
Pong	-20.4	-19	-17	20	-3	21
*Qbert**	157	614	960	1952	18900	4500
Seaquest	110	665	723	1705	28010	1740
Space Invaders	179	271	268	581	3690	1075

DQN 在全部七款游戏中的表现均优于以往的强化学习方法（Sarsa 和 Contingency）。
DQN 在三款游戏上超越了人类专家水平：Breakout（168 对 31）、Enduro（470 对 368）以及 Pong（20 对 -3）。
在留出的状态集上跟踪平均预测最大 $Q$ 值，显示出在训练过程中平滑的单调上升，证明了算法在未出现发散情况下的稳定性。

局限性与开放问题

长视距战略规划：需要延迟且长期的信用分配（Credit Assignment）的游戏（如 Q*bert、Seaquest 和 Space Invaders），其得分仍大幅落后于人类。
奖励裁剪的副作用：将所有正奖励归一化为 $+ 1$ 会导致无法区分高价值目标和低价值目标。
均匀经验回放的局限：回放缓冲区容量固定（ $1 0^{6}$ 帧），会覆盖旧数据，并且采用均匀采样而未根据重要性对转移样本赋权（不同于优先经验回放 Prioritized Replay）。
目标值持续变动：尽管参数 $θ_{i - 1}$ 在单次梯度步中保持固定，但它们在每个 SGD 步之间都在持续更新（后续研究引入了专门的慢速更新目标网络 Target Network）。

关键术语

Deep Q-Networks (DQN): 一种卷积神经网络架构，使用 Q-learning 进行训练，直接将高维状态观测映射为所有合法动作的动作价值估计。
Experience Replay (经验回放): 一种将状态转移存储在回放内存中并抽取随机 mini-batch 用于权重更新的机制，用于打破时间相关性并平滑数据分布偏移。
Q-learning: 一种异策略（off-policy）、无模型（model-free）的时序差分强化学习算法，用于迭代估计最优动作价值函数 $Q^{*} (s, a)$ 。
Arcade Learning Environment (ALE): 一个将 Atari 2600 游戏作为实验基准的软件平台，供强化学习智能体与视频帧和模拟硬件进行交互。
Frame-skipping (跳帧): 一种技术，智能体每隔 $k$ 帧采样一次观测并选择一次动作，在跳过的帧中重复执行所选动作，以加快实际运行时间。
Reward Clipping (奖励裁剪): 在训练过程中将所有正环境奖励转换为 $+ 1$ ，负奖励转换为 $- 1$ ，以此稳定不同游戏得分尺度下的梯度。
Perceptual Aliasing (感知混淆): 单张静态视觉帧不包含足以解析真实潜在环境状态的完整状态信息（例如速度或运动方向）的状态。

常见问题

为什么 DQN 在一次前向传播中预测所有动作价值，而不是将 (状态, 动作) 作为输入？

仅将预处理后的状态作为输入并输出所有合法动作的 Q 值向量，使得智能体只需一次前向传播即可评估所有可能的动作，而无需在每个时间步进行 $∣ A ∣$ 次独立的前向传播。

为什么在使用 Q-learning 训练深度网络时经验回放是必需的？

标准的连续 RL 状态转移具有极强的相关性，并且会产生由当前策略权重决定的不断变化的数据分布。从回放内存中均匀采样历史状态转移可以打破相关性、降低更新方差，并防止出现破坏性的反馈回路或训练发散。

DQN 如何从 2D 图像中处理速度和运动信息？

预处理函数将最近连续的 4 帧下采样灰度图像堆叠为一个 $84 \times 84 \times 4$ 的输入张量，使网络能够推断出速度和移动方向。

DQN 在哪些 Atari 游戏上超越了人类水平？

DQN 在 Breakout（168 对 31）、Enduro（470 对 368）和 Pong（20 对 -3）上的平均得分均超过了人类专家基准。

本页解读由 AI 根据论文生成，可能有错误；细节请以原文为准。

用 XYZNOT 阅读（全文翻译与 AI 讲解）