Playing Atari with Deep Reinforcement Learning

Guia de leitura

Problema e motivação

O reinforcement learning (RL) em domínios sensoriais historicamente dependia de atributos projetados manualmente combinados com funções de valor lineares ou aproximações de políticas. Redes neurais profundas já haviam demonstrado forte capacidade de aprendizado de representações em visão computacional e reconhecimento de voz, mas aplicá-las ao RL impunha desafios fundamentais:

• Recompensas atrasadas e esparsas: Os sinais de aprendizado são escalares, ruidosos e separados das ações por milhares de passos de tempo.
• Observações não i.i.d.: Estados sucessivos do ambiente formam séries temporais altamente correlacionadas, em vez de amostras independentes.
• Distribuições não estacionárias: A política geradora de dados muda continuamente durante o aprendizado, criando loops de retroalimentação que podem levar aproximadores de funções não lineares à divergência.

O objetivo deste trabalho é criar um único algoritmo e arquitetura de rede neural capazes de aprender políticas de controle diretamente a partir de entradas visuais de alta dimensão (vídeo RGB de $210\times 160$) em diversos jogos de Atari 2600, sem modificações específicas para cada jogo.

Ideias-chave

• Controle sensorial ponta a ponta: Mapear pixels brutos diretamente para valores de ação (valores $Q$) sem sistemas de visão específicos do domínio ou acesso a elementos internos do emulador.
• Buffer de Experience Replay: Armazenar as interações do agente $e_t=(s_t,a_t,r_t,s_{t+1})$ em uma memória de capacidade finita $\mathcal{D}$. O treinamento extrai mini-batches uniformes e aleatórios dessa memória. Isso quebra as correlações entre amostras, reduz a variância dos gradientes e estabiliza a distribuição dos dados ao longo de políticas passadas.
• Parametrização de saída do valor de ação: Em vez de alimentar estado e ação como entradas para computar um único escalar $Q(s,a)$, a rede recebe apenas a representação do estado como entrada e produz um vetor contendo os valores $Q$ previstos para todas as ações discretas legais em uma única passada para a frente (forward pass).
• Empilhamento e redução de resolução de frames: Como frames individuais sofrem de aliasing perceptivo (incapacidade de inferir velocidade ou trajetória), históricos de quatro frames pré-processados em escala de cinza são empilhados em um tensor de entrada de $84\times 84\times 4$.

Método (com as equações principais)

A sequência de estados $s_t=(x_1,a_1,\dots ,x_t)$ é mapeada por meio de uma função de pré-processamento $\varphi$ para uma representação de $84\times 84\times 4$. Os parâmetros da rede $\theta$ são treinados usando uma sequência de funções de perda de erro quadrático médio de Bellman a cada iteração $i$:

$$L_i({\theta }_i)={\mathbb{E}}_{(s,a,r,s^{\prime })\sim \mathcal{D}}\left[{\left(y_i-Q(s,a;{\theta }_i)\right)}^2\right]$$

onde o alvo $y_i$ é calculado usando os parâmetros ${\theta }_{i-1}$ da iteração anterior:

$$y_i=\{\begin{array}{ll}r& \text{para }{s}^{\prime }\text{ terminal}\\ r+\gamma {\max }_{a^{\prime }}Q(s^{\prime },a^{\prime };{\theta }_{i-1})& \text{para }{s}^{\prime }\text{ na˜o terminal}\end{array}$$

O gradiente em relação a ${\theta }_i$ é:

$${\nabla }_{{\theta }_i}{L}_i({\theta }_i)={\mathbb{E}}_{(s,a,r,s^{\prime })}\left[\left(r+\gamma \underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime };{\theta }_{i-1})-Q(s,a;{\theta }_i)\right){\nabla }_{{\theta }_i}Q(s,a;{\theta }_i)\right]$$

Arquitetura do Modelo e Configuração do Treinamento

• Entrada: Imagem $84\times 84\times 4$ gerada pelo recorte de frames em escala de cinza com resolução reduzida.
• Conv 1: 16 filtros de tamanho $8\times 8$, stride 4, ativação ReLU.
• Conv 2: 32 filtros de tamanho $4\times 4$, stride 2, ativação ReLU.
• FC 1: 256 unidades totalmente conectadas com ReLU.
• Saída: Camada linear totalmente conectada com 4 a 18 saídas (uma por ação válida).
• Otimizador: RMSProp com tamanho de batch 32.
• Exploração: Política $ϵ$-greedy com $ϵ$ decaindo linearmente de $1,0$ para $0,1$ ao longo dos primeiros $10^6$ frames, sendo fixado em $0,1$ a partir de então.
• Reward Clipping: Recompensas positivas ajustadas para $+1$, negativas para $-1$ e neutras para $0$, padronizando a escala do erro.
• Frame skipping: O agente observa e age a cada $k=4$ frames (ação repetida), exceto por $k=3$ no Space Invaders para manter visíveis os sprites piscantes de laser.

Resultados (com os números mais importantes)

O DQN foi avaliado em sete jogos de Atari 2600 usando uma política $ϵ$-greedy com $ϵ=0,05$. Pontuações médias comparadas a baselines lineares de RL anteriores e humanos especialistas:

• O DQN superou os métodos anteriores de reinforcement learning (Sarsa e Contingency) em todos os sete jogos.
• O DQN superou as pontuações dos especialistas humanos em três jogos: Breakout (168 vs. 31), Enduro (470 vs. 368) e Pong (20 vs. -3).
• O acompanhamento do valor máximo de $Q$ médio previsto em um conjunto retido de estados mostrou uma melhoria monotônica suave durante o treinamento, demonstrando estabilidade sem divergência.

Limitações e questões em aberto

• Planejamento estratégico de longo prazo: Jogos que exigem atribuição de crédito com atrasos prolongados (como Q*bert, Seaquest e Space Invaders) ficaram significativamente abaixo do desempenho humano.
• Efeitos colaterais do reward clipping: Normalizar todas as recompensas positivas para $+1$ impede que o agente diferencie alvos de alto valor de alvos de baixo valor.
• Limitações da memória uniforme de replay: O buffer de replay possui capacidade fixa ($10^6$ frames), sobrescrevendo dados mais antigos e amostrando uniformemente sem ponderar as transições por relevância (diferentemente do replay priorizado).
• Valores-alvo em constante mudança: Embora os parâmetros ${\theta }_{i-1}$ permaneçam fixos durante um único passo de gradiente, eles se atualizam continuamente ao longo dos passos de SGD (uma rede-alvo dedicada com atualização lenta foi introduzida em trabalhos posteriores).