Playing Atari with Deep Reinforcement Learning

Guide de lecture

Problème et motivation

L'apprentissage par renforcement (RL) dans les domaines sensoriels dépendait historiquement de caractéristiques conçues manuellement combinées à des fonctions de valeur linéaires ou à des approximations de politique. Les réseaux de neurones profonds avaient démontré un fort apprentissage de représentations en vision par ordinateur et en reconnaissance de la parole, mais leur application au RL posait des défis fondamentaux :

• Récompenses retardées et éparses : Les signaux d'apprentissage sont scalaires, bruités et séparés des actions par des milliers de pas de temps.
• Observations non-i.i.d. : Les états successifs de l'environnement forment des séries temporelles fortement corrélées plutôt que des échantillons indépendants.
• Distributions non stationnaires : La politique génératrice de données évolue continuellement pendant l'apprentissage, créant des boucles de rétroaction qui peuvent faire diverger les approximateurs de fonctions non linéaires.

L'objectif de ce travail est de concevoir un algorithme et une architecture neuronale uniques capables d'apprendre des politiques de contrôle directement à partir d'entrées visuelles de haute dimension (vidéo RVB $210\times 160$) sur divers jeux Atari 2600, sans ajustements spécifiques à chaque jeu.

Idées clés

• Contrôle sensoriel de bout en bout : Associer directement les pixels bruts aux valeurs d'action (valeurs $Q$) sans systèmes de vision spécifiques au domaine ni accès aux mécanismes internes de l'émulateur.
• Tampon d'Experience Replay : Stocker les interactions de l'agent $e_t=(s_t,a_t,r_t,s_{t+1})$ dans un tampon mémoire fini $\mathcal{D}$. L'entraînement tire aléatoirement des mini-lots uniformes depuis cette mémoire. Cela brise les corrélations d'échantillonnage, réduit la variance des gradients et stabilise la distribution des données issue des politiques passées.
• Paramétrisation de la sortie des valeurs d'action : Au lieu de fournir à la fois l'état et l'action en entrée pour calculer un unique scalaire $Q(s,a)$, le réseau ne prend que la représentation de l'état en entrée et produit en une seule passe avant un vecteur contenant les valeurs $Q$ prédites pour toutes les actions discrètes autorisées.
• Empilement et sous-échantillonnage de trames : Étant donné qu'une image unique souffre d'un aliasing perceptuel (incapacité d'inférer la vitesse ou la trajectoire), des historiques de quatre trames prétraitées en niveaux de gris sont empilés pour former un tenseur d'entrée de dimension $84\times 84\times 4$.

Méthode (avec les équations clés)

La séquence d'états $s_t=(x_1,a_1,\dots ,x_t)$ est transformée par une fonction de prétraitement $\varphi$ en une représentation de dimension $84\times 84\times 4$. Les paramètres $\theta$ du réseau sont entraînés à chaque itération $i$ à l'aide d'une suite de fonctions de perte d'erreur quadratique moyenne de Bellman :

$$L_i({\theta }_i)={\mathbb{E}}_{(s,a,r,s^{\prime })\sim \mathcal{D}}\left[{\left(y_i-Q(s,a;{\theta }_i)\right)}^2\right]$$

où la cible $y_i$ est calculée à l'aide des paramètres ${\theta }_{i-1}$ de l'itération précédente :

$$y_i=\{\begin{array}{ll}r& \text{pour }{s}^{\prime }\text{ terminal}\\ r+\gamma {\max }_{a^{\prime }}Q(s^{\prime },a^{\prime };{\theta }_{i-1})& \text{pour }{s}^{\prime }\text{ non terminal}\end{array}$$

Le gradient par rapport à ${\theta }_i$ est :

$${\nabla }_{{\theta }_i}{L}_i({\theta }_i)={\mathbb{E}}_{(s,a,r,s^{\prime })}\left[\left(r+\gamma \underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime };{\theta }_{i-1})-Q(s,a;{\theta }_i)\right){\nabla }_{{\theta }_i}Q(s,a;{\theta }_i)\right]$$

Architecture du modèle et configuration de l'entraînement

• Entrée : Image $84\times 84\times 4$ issue du recadrage de trames en niveaux de gris sous-échantillonnées.
• Conv 1 : 16 filtres de taille $8\times 8$, foulée 4, activation ReLU.
• Conv 2 : 32 filtres de taille $4\times 4$, foulée 2, activation ReLU.
• FC 1 : 256 unités entièrement connectées avec activation ReLU.
• Sortie : Couche linéaire entièrement connectée avec 4 à 18 sorties (une par action légale).
• Optimiseur : RMSProp avec une taille de lot de 32.
• Exploration : $ϵ$-greedy avec $ϵ$ décroissant linéairement de $1,0$ à $0,1$ sur le premier million de trames, puis fixé à $0,1$.
• Reward Clipping (écrêtage des récompenses) : Récompenses positives fixées à $+1$, négatives à $-1$ et neutres à $0$ afin de standardiser l'échelle des erreurs.
• Frame-skipping : L'agent observe et agit toutes les $k=4$ trames (action répétée), sauf pour Space Invaders où $k=3$ afin de préserver la visibilité des tirs laser clignotants.

Résultats (avec les chiffres les plus importants)

DQN a été évalué sur sept jeux Atari 2600 à l'aide d'une politique $ϵ$-greedy avec $ϵ=0,05$. Scores moyens comparés aux approches de RL linéaire antérieures et aux experts humains :

• DQN a surpassé les méthodes précédentes d'apprentissage par renforcement (Sarsa et Contingency) sur les sept jeux.
• DQN a dépassé les scores de référence d'experts humains sur trois jeux : Breakout (168 contre 31), Enduro (470 contre 368) et Pong (20 contre -3).
• Le suivi de la valeur $Q$ maximale moyenne prédite sur un ensemble d'états de test a montré une progression monotone régulière pendant l'entraînement, attestant d'une bonne stabilité sans divergence.

Limites et questions ouvertes

• Planification stratégique à long terme : Les jeux nécessitant une attribution de crédit différée sur de longs horizons (tels que Q*bert, Seaquest et Space Invaders) affichent des performances nettement inférieures à celles des experts humains.
• Effets secondaires du reward clipping : La normalisation de toutes les récompenses positives à $+1$ empêche de distinguer les cibles de grande valeur de celles de faible valeur.
• Limites de la mémoire de rejeu uniforme : Le tampon de rejeu a une capacité fixe ($10^6$ trames) qui écrase les données les plus anciennes et échantillonne uniformément sans pondérer les transitions par leur importance (contrairement au rejeu avec priorité).
• Cibles d'apprentissage dynamiques : Bien que les paramètres ${\theta }_{i-1}$ soient maintenus fixes durant une seule étape de gradient, ils évoluent continuellement au fil des itérations de SGD (un réseau cible dédié, mis à jour plus lentement, a été introduit dans des travaux ultérieurs).