Playing Atari with Deep Reinforcement Learning

Разбор статьи

Проблема и мотивация

Обучение с подкреплением (RL) в сенсорных доменах исторически опиралось на вручную сконструированные признаки в сочетании с линейными функциями ценности или аппроксимациями стратегий. Глубокие нейронные сети продемонстрировали выдающиеся способности к обучению представлениям в компьютерном зрении и распознавании речи, однако их применение в RL столкнулось с фундаментальными трудностями:

• Отложенные и разреженные награды: Сигналы обучения скалярны, зашумлены и часто отделены от действий тысячами временных шагов.
• Не-i.i.d. наблюдения: Последовательные состояния среды образуют сильно скоррелированные временные ряды, а не независимые одинаково распределенные выборки.
• Нестационарные распределения: Стратегия, генерирующая данные, непрерывно меняется в процессе обучения, порождая петли обратной связи, способные привести к расходимости нелинейных аппроксиматоров функций.

Цель данной работы — создать единый алгоритм и архитектуру нейронной сети, способные изучать стратегии управления непосредственно из многомерного визуального входа (RGB-видео $210\times 160$) в различных играх Atari 2600 без специализированных модификаций под конкретную игру.

Ключевые идеи

• Сквозное сенсорное управление (End-to-end sensory control): Отображение сырых пикселей непосредственно в ценности действий ($Q$-values) без предметно-ориентированных систем компьютерного зрения или доступа к внутренним переменным эмулятора.
• Буфер воспроизведения опыта (Experience Replay Buffer): Сохранение взаимодействий агента $e_t=(s_t,a_t,r_t,s_{t+1})$ в памяти конечного объема $\mathcal{D}$. Обучение выполняется на случайно и равномерно выбираемых из этой памяти мини-батчах. Это разрушает корреляции между выборками, снижает дисперсию градиента и стабилизирует распределение данных, усредняя его по прошлым стратегиям.
• Параметризация выхода функции ценности действий: Вместо подачи состояния и действия на вход для вычисления одного скаляра $Q(s,a)$, сеть принимает на вход только представление состояния и за один прямой проход возвращает вектор расчетных значений $Q$-value для всех допустимых дискретных действий.
• Стекирование и понижение разрешения кадров (Frame stacking and downsampling): Поскольку одиночные кадры страдают от проблемы неполной наблюдаемости (невозможно определить скорость или траекторию), последовательности из четырех предварительно обработанных градаций серого кадров объединяются в стек, образуя входной тензор размером $84\times 84\times 4$.

Метод (с ключевыми уравнениями)

Последовательность состояний $s_t=(x_1,a_1,\dots ,x_t)$ отображается с помощью функции предобработки $\varphi$ в представление размером $84\times 84\times 4$. Параметры сети $\theta$ обучаются путем минимизации среднеквадратичной ошибки Беллмана на каждой итерации $i$:

$$L_i({\theta }_i)={\mathbb{E}}_{(s,a,r,s^{\prime })\sim \mathcal{D}}\left[{\left(y_i-Q(s,a;{\theta }_i)\right)}^2\right]$$

где целевое значение $y_i$ вычисляется с использованием параметров ${\theta }_{i-1}$ с предыдущей итерации:

$$y_i=\{\begin{array}{ll}r& \text{для терминального }{s}^{\prime }\\ r+\gamma {\max }_{a^{\prime }}Q(s^{\prime },a^{\prime };{\theta }_{i-1})& \text{для нетерминального }{s}^{\prime }\end{array}$$

Градиент по ${\theta }_i$ имеет вид:

$${\nabla }_{{\theta }_i}{L}_i({\theta }_i)={\mathbb{E}}_{(s,a,r,s^{\prime })}\left[\left(r+\gamma \underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime };{\theta }_{i-1})-Q(s,a;{\theta }_i)\right){\nabla }_{{\theta }_i}Q(s,a;{\theta }_i)\right]$$

Архитектура модели и процесс обучения

• Входные данные: Изображение $84\times 84\times 4$, полученное кадрированием уменьшенных кадров в оттенках серого.
• Conv 1: 16 фильтров размером $8\times 8$, шаг (stride) 4, активация ReLU.
• Conv 2: 32 фильтра размером $4\times 4$, шаг (stride) 2, активация ReLU.
• FC 1: Полносвязный слой с 256 нейронами и активацией ReLU.
• Выходной слой: Полносвязный линейный слой с числом выходов от 4 до 18 (по одному на каждое доступное действие).
• Оптимизатор: RMSProp с размером батча 32.
• Исследование среды (Exploration): $ϵ$-жадная стратегия с линейным уменьшением $ϵ$ от $1.0$ до $0.1$ на протяжении первых $10^6$ кадров, с последующей фиксацией на уровне $0.1$.
• Ограничение наград (Reward Clipping): Положительные награды приводятся к $+1$, отрицательные — к $-1$, нейтральные — к $0$ для нормализации масштаба ошибки.
• Пропуск кадров (Frame skipping): Агент наблюдает среду и совершает действие раз в $k=4$ кадров (повторяя выбранное действие), за исключением Space Invaders, где $k=3$, чтобы не пропускать мерцающие лазерные спрайты.

Результаты (с ключевыми показателями)

DQN оценивалась на семи играх Atari 2600 с использованием $ϵ$-жадной стратегии при $ϵ=0.05$. Средние результаты в сравнении с предшествующими линейными RL-моделями и человеком-экспертом:

• DQN превзошла предыдущие методы обучения с подкреплением (Sarsa и Contingency) во всех семи играх.
• DQN превзошла показатели эксперта-человека в трех играх: Breakout (168 против 31), Enduro (470 против 368) и Pong (20 против -3).
• Мониторинг среднего предсказанного максимального значения $Q$-value на отложенной выборке состояний показал плавный монотонный рост в процессе обучения, подтверждая стабильность оптимизации без расходимости.

Ограничения и открытые вопросы

• Долгосрочное стратегическое планирование: В играх, требующих сложного распределения отдачи по времени (credit assignment), таких как Q*bert, Seaquest и Space Invaders, результаты существенно уступали человеческим.
• Побочные эффекты отсечения наград (Reward clipping): Приведение всех положительных наград к $+1$ лишает агента возможности отличать высокоценные цели от низкоценных.
• Ограничения равномерного буфера воспроизведения: Буфер воспроизведения имеет фиксированный размер ($10^6$ кадров), перезаписывая старые данные и производя выборку равномерно, без учета важности переходов (в отличие от prioritized replay).
• Нестабильность целевых значений: Хотя параметры ${\theta }_{i-1}$ фиксируются в рамках одного шага градиентного спуска, они меняются непрерывно на каждом шаге SGD (выделенная медленно обновляемая целевая сеть target network была представлена в более поздних работах).