Playing Atari with Deep Reinforcement Learning

Leseleitfaden

Problem und Motivation

Reinforcement Learning (RL) in sensorischen Domänen hing historisch von handgefertigten Features ab, die mit linearen Wertefunktionen oder Richtlinienapproximationen kombiniert wurden. Tiefe neuronale Netze hatten bereits ein starkes Repräsentationslernen in der Computer Vision und Spracherkennung gezeigt, aber ihre Anwendung auf RL brachte grundlegende Herausforderungen mit sich:

• Verzögerte und spärliche Belohnungen: Lernsignale sind skalar, verrauscht und durch Tausende von Zeitschritten von den Aktionen getrennt.
• Nicht-i.i.d.-Beobachtungen: Aufeinanderfolgende Umweltzustände bilden stark korrelierte Zeitreihen anstelle unabhängiger Stichproben.
• Nicht-stationäre Verteilungen: Die datengenerierende Policy verschiebt sich während des Lernens kontinuierlich, was Rückkopplungsschleifen erzeugt, die nichtlineare Funktionsapproximatoren zur Divergenz bringen können.

Das Ziel dieser Arbeit ist es, einen einzigen Algorithmus und eine neuronale Netzwerkarchitektur zu schaffen, die in der Lage sind, Kontrollstrategien direkt aus hochdimensionalen visuellen Eingaben ($210\times 160$ RGB-Video) über verschiedene Atari 2600-Spiele hinweg ohne spielspezifische Modifikationen zu lernen.

Kernideen

• End-to-End sensorische Steuerung: Direkte Abbildung von Rohpixeln auf Aktionswerte ($Q$-Werte) ohne domänenspezifische Bildverarbeitungssysteme oder Zugriff auf Emulator-Interna.
• Experience Replay Buffer: Speichern von Agenteninteraktionen $e_t=(s_t,a_t,r_t,s_{t+1})$ in einem endlichen Speicherpuffer $\mathcal{D}$. Das Training zieht uniforme Mini-Batches zufällig aus diesem Speicher. Dies bricht Stichprobenkorrelationen auf, reduziert die Gradientenvarianz und stabilisiert die Datenverteilung über vergangene Policies hinweg.
• Parametrisierung der Aktionswert-Ausgabe: Anstatt sowohl Zustand als auch Aktion als Eingaben zu übergeben, um einen einzelnen skalaren $Q(s,a)$-Wert zu berechnen, nimmt das Netzwerk nur die Zustandsrepräsentation als Eingabe und gibt in einem einzigen Forward Pass einen Vektor aus, der die vorhergesagten $Q$-Werte für alle zulässigen diskreten Aktionen enthält.
• Frame-Stacking und Downsampling: Da einzelne Frames unter perzeptuellem Aliasing leiden (Unfähigkeit, Geschwindigkeit oder Trajektorie abzuleiten), werden Sequenzen von vier vorverarbeiteten Graustufen-Frames zu einem $84\times 84\times 4$ Eingabetensor gestapelt.

Methode (mit den wichtigsten Gleichungen)

Die Zustandssequenz $s_t=(x_1,a_1,\dots ,x_t)$ wird über eine Vorverarbeitungsfunktion $\varphi$ auf eine $84\times 84\times 4$-Repräsentation abgebildet. Die Netzwerkparameter $\theta$ werden bei jeder Iteration $i$ unter Verwendung einer Sequenz von Mean-Squared-Bellman-Error-Verlustfunktionen trainiert:

$$L_i({\theta }_i)={\mathbb{E}}_{(s,a,r,s^{\prime })\sim \mathcal{D}}\left[{\left(y_i-Q(s,a;{\theta }_i)\right)}^2\right]$$

wobei das Ziel $y_i$ unter Verwendung der Parameter ${\theta }_{i-1}$ aus der vorherigen Iteration berechnet wird:

$$y_i=\{\begin{array}{ll}r& \text{fu¨r terminales }{s}^{\prime }\\ r+\gamma {\max }_{a^{\prime }}Q(s^{\prime },a^{\prime };{\theta }_{i-1})& \text{fu¨r nicht-terminales }{s}^{\prime }\end{array}$$

Der Gradient bezüglich ${\theta }_i$ ist:

$${\nabla }_{{\theta }_i}{L}_i({\theta }_i)={\mathbb{E}}_{(s,a,r,s^{\prime })}\left[\left(r+\gamma \underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime };{\theta }_{i-1})-Q(s,a;{\theta }_i)\right){\nabla }_{{\theta }_i}Q(s,a;{\theta }_i)\right]$$

Modellarchitektur und Trainingsaufbau

• Eingabe: $84\times 84\times 4$-Bild, erzeugt durch Zuschneiden heruntergerechneter Graustufenbilder.
• Conv 1: 16 Filter der Größe $8\times 8$, Stride 4, ReLU-Aktivierung.
• Conv 2: 32 Filter der Größe $4\times 4$, Stride 2, ReLU-Aktivierung.
• FC 1: 256 vollvernetzte ReLU-Einheiten.
• Ausgabe: Vollvernetzte lineare Schicht mit 4 bis 18 Ausgängen (einer pro zulässiger Aktion).
• Optimierer: RMSProp mit Batch-Größe 32.
• Exploration: $ϵ$-greedy, wobei $ϵ$ über die ersten $10^6$ Frames linear von $1.0$ auf $0.1$ abgesenkt und danach bei $0.1$ fixiert wird.
• Reward Clipping: Positive Belohnungen werden auf $+1$, negative Belohnungen auf $-1$ und neutrale Belohnungen auf $0$ gesetzt, um die Fehlerskalierung zu standardisieren.
• Frame-Skipping: Der Agent beobachtet und agiert alle $k=4$ Frames (wiederholte Aktion), außer bei Space Invaders mit $k=3$, um blinkende Laser-Sprites sichtbar zu halten.

Ergebnisse (mit den wichtigsten Zahlen)

DQN wurde auf sieben Atari 2600-Spielen mit einer $ϵ$-greedy-Policy mit $ϵ=0.05$ evaluiert. Durchschnittliche Punktzahlen im Vergleich zu früheren linearen RL-Baselines und menschlichen Experten:

• DQN übertraf frühere Reinforcement-Learning-Methoden (Sarsa und Contingency) bei allen sieben Spielen.
• DQN übertraf die Ergebnisse menschlicher Experten bei drei Spielen: Breakout (168 vs. 31), Enduro (470 vs. 368) und Pong (20 vs. -3).
• Die Verfolgung des durchschnittlichen vorhergesagten maximalen $Q$-Werts auf einem Hold-out-Zustandssatz zeigte während des Trainings eine glatte, monotone Verbesserung, was die Stabilität ohne Divergenz belegt.

Einschränkungen und offene Fragen

• Strategische Planung über lange Zeithorizonte: Spiele, die eine verzögerte, langfristige Kreditzuweisung erfordern (wie Q*bert, Seaquest und Space Invaders), lagen deutlich hinter den menschlichen Ergebnissen zurück.
• Nebenwirkungen von Reward Clipping: Die Normalisierung aller positiven Belohnungen auf $+1$ verhindert die Unterscheidung zwischen Zielen mit hohem und niedrigem Wert.
• Einschränkungen des uniformen Replay-Speichers: Der Replay-Buffer hat eine feste Kapazität ($10^6$ Frames), die ältere Daten überschreibt und uniform abtastet, ohne Übergänge nach Wichtigkeit zu gewichten (im Gegensatz zu Prioritized Replay).
• Sich verändernde Zielwerte: Während die Parameter ${\theta }_{i-1}$ während eines einzelnen Gradientenschritts fixiert bleiben, aktualisieren sie sich kontinuierlich über die SGD-Schritte hinweg (ein dediziertes, sich langsam aktualisierendes Zielnetzwerk wurde in späteren Arbeiten eingeführt).