Playing Atari with Deep Reinforcement Learning

Guía de lectura

Problema y motivación

El aprendizaje por refuerzo (RL) en dominios sensoriales dependía históricamente de características diseñadas manualmente combinadas con funciones de valor lineales o aproximaciones de políticas. Las redes neuronales profundas habían demostrado un sólido aprendizaje de representaciones en visión por computador y reconocimiento de voz, pero aplicarlas a RL planteaba desafíos fundamentales:

• Recompensas tardías y dispersas: Las señales de aprendizaje son escalares, ruidosas y están separadas de las acciones por miles de pasos de tiempo.
• Observaciones no i.i.d.: Los estados sucesivos del entorno forman series temporales altamente correlacionadas en lugar de muestras independientes.
• Distribuciones no estacionarias: La política que genera los datos cambia continuamente durante el aprendizaje, creando bucles de retroalimentación que pueden hacer divergir a los aproximadores de funciones no lineales.

El objetivo de este trabajo es crear un único algoritmo y arquitectura de red neuronal capaz de aprender políticas de control directamente a partir de entradas visuales de alta dimensión (video RGB de $210\times 160$) en diversos juegos de Atari 2600 sin modificaciones específicas para cada juego.

Ideas clave

• Control sensorial end-to-end: Mapear píxeles sin procesar directamente a valores de acción (valores $Q$) sin sistemas de visión específicos del dominio ni acceso a las variables internas del emulador.
• Búfer de Experience Replay: Almacenar las interacciones del agente $e_t=(s_t,a_t,r_t,s_{t+1})$ en un búfer de memoria finita $\mathcal{D}$. El entrenamiento extrae minilotes uniformes de forma aleatoria de esta memoria. Esto rompe las correlaciones entre muestras, reduce la varianza del gradiente y estabiliza la distribución de datos entre políticas pasadas.
• Parametrización de la salida de valores de acción: En lugar de introducir tanto el estado como la acción como entradas para calcular un único escalar $Q(s,a)$, la red toma únicamente la representación del estado como entrada y genera un vector con los valores $Q$ predichos para todas las acciones discretas legales en una sola pasada hacia adelante (forward pass).
• Apilamiento de fotogramas y submuestreo: Dado que los fotogramas individuales sufren de aliasing perceptivo (incapacidad para inferir la velocidad o trayectoria), se apilan historiales de cuatro fotogramas preprocesados en escala de grises en un tensor de entrada de $84\times 84\times 4$.

Método (con las ecuaciones clave)

La secuencia de estados $s_t=(x_1,a_1,\dots ,x_t)$ se transforma mediante una función de preprocesamiento $\varphi$ a una representación de $84\times 84\times 4$. Los parámetros de la red $\theta$ se entrenan utilizando una secuencia de funciones de pérdida del error cuadrático medio de Bellman en cada iteración $i$:

$$L_i({\theta }_i)={\mathbb{E}}_{(s,a,r,s^{\prime })\sim \mathcal{D}}\left[{\left(y_i-Q(s,a;{\theta }_i)\right)}^2\right]$$

donde el objetivo $y_i$ se calcula utilizando los parámetros ${\theta }_{i-1}$ de la iteración anterior:

$$y_i=\{\begin{array}{ll}r& \text{para }{s}^{\prime }\text{ terminal}\\ r+\gamma {\max }_{a^{\prime }}Q(s^{\prime },a^{\prime };{\theta }_{i-1})& \text{para }{s}^{\prime }\text{ no terminal}\end{array}$$

El gradiente con respecto a ${\theta }_i$ es:

$${\nabla }_{{\theta }_i}{L}_i({\theta }_i)={\mathbb{E}}_{(s,a,r,s^{\prime })}\left[\left(r+\gamma \underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime };{\theta }_{i-1})-Q(s,a;{\theta }_i)\right){\nabla }_{{\theta }_i}Q(s,a;{\theta }_i)\right]$$

Arquitectura del modelo y configuración del entrenamiento

• Entrada: Imagen de $84\times 84\times 4$ producida al recortar fotogramas submuestreados en escala de grises.
• Conv 1: 16 filtros de tamaño $8\times 8$, paso (stride) 4, activación ReLU.
• Conv 2: 32 filtros de tamaño $4\times 4$, paso (stride) 2, activación ReLU.
• FC 1: 256 unidades ReLU totalmente conectadas.
• Salida: Capa lineal totalmente conectada con entre 4 y 18 salidas (una por acción legal).
• Optimizador: RMSProp con tamaño de lote (batch size) 32.
• Exploración: $ϵ$-greedy con $ϵ$ disminuido linealmente de $1.0$ a $0.1$ a lo largo de los primeros $10^6$ fotogramas, manteniéndose fijo en $0.1$ posteriormente.
• Reward Clipping: Recompensas positivas fijadas en $+1$, negativas en $-1$ y neutras en $0$ para estandarizar la escala del error.
• Frame skipping: El agente observa y actúa cada $k=4$ fotogramas (repitiendo la acción), salvo $k=3$ para Space Invaders para mantener visibles los sprites parpadeantes del láser.

Resultados (con los números más importantes)

DQN se evaluó en siete juegos de Atari 2600 utilizando una política $ϵ$-greedy con $ϵ=0.05$. Puntuaciones promedio comparadas con líneas base lineales de RL previas y expertos humanos:

• DQN superó a los métodos anteriores de aprendizaje por refuerzo (Sarsa y Contingency) en los siete juegos.
• DQN superó las puntuaciones de expertos humanos en tres juegos: Breakout (168 frente a 31), Enduro (470 frente a 368) y Pong (20 frente a -3).
• El seguimiento del valor $Q$ máximo predicho promedio en un conjunto de estados retenidos mostró una mejora monótona y suave durante el entrenamiento, lo que demostró estabilidad sin divergencia.

Limitaciones y preguntas abiertas

• Planificación estratégica en horizontes largos: Los juegos que requieren una asignación de crédito a largo plazo y demorada (como Q*bert, Seaquest y Space Invaders) quedaron significativamente por detrás de las puntuaciones humanas.
• Efectos secundarios del reward clipping: Normalizar todas las recompensas positivas a $+1$ impide distinguir entre objetivos de alto valor y de bajo valor.
• Limitaciones de la memoria de repetición uniforme: El búfer de repetición tiene una capacidad fija ($10^6$ fotogramas) que sobrescribe los datos antiguos y muestrea de forma uniforme sin ponderar las transiciones según su importancia (a diferencia del replay priorizado).
• Valores objetivo cambiantes: Aunque los parámetros ${\theta }_{i-1}$ se mantienen fijos durante un paso de gradiente individual, se actualizan continuamente en cada paso de SGD (en trabajos posteriores se introdujo una red objetivo dedicada que se actualiza lentamente).