Playing Atari with Deep Reinforcement Learning

論文解説

問題意識と動機

感覚領域における強化学習（RL）は、歴史的に手動設計された特徴量と線形価値関数または方策近似の組み合わせに依存していました。ディープニューラルネットワークはコンピュータビジョンや音声認識において強力な表現学習を実証していましたが、それらをRLへ適用することには根本的な課題が存在しました：

• 遅延報酬と疎な報酬: 学習シグナルはスカラーかつノイズが多く、行動から数千タイムステップ離れていることがあります。
• 非i.i.d.な観測値: 連続する環境状態は、独立したサンプルではなく強い相関を持つ時系列データを形成します。
• 非定常なデータ分布: 学習の進行に伴ってデータを生成する方策が連続的に変化するため、非線形関数近似器の発散を引き起こすフィードバックループが生じます。

本研究の目的は、ゲームごとの個別調整を行うことなく、多様なAtari 2600ゲームにわたって高次元の視覚入力（$210\times 160$ RGBビデオ）から直接制御方策を学習できる単一のアルゴリズムおよびニューラルネットワーク構造を構築することです。

主要なアイデア

• エンドツーエンドの感覚制御: ドメイン固有のビジョンシステムやエミュレータ内部情報へのアクセスを必要とせず、生のピクセルを行動価値（$Q$値）に直接マッピングします。
• Experience Replay Buffer: エージェントの相互作用 $e_t=(s_t,a_t,r_t,s_{t+1})$ を有限サイズのメモリバッファ $\mathcal{D}$ に保存します。訓練時には、このメモリから一様ランダムにミニバッチを抽出します。これによりサンプル間の相関が破壊され、勾配の分散が低減し、過去の方策にわたるデータ分布が安定化します。
• 行動価値の出力パラメータ化: 単一のスカラー値 $Q(s,a)$ を計算するために状態と行動の両方を入力するのではなく、ネットワークは状態表現のみを入力として受け取り、1回のフォワードパスですべての合法な離散行動に対する予測 $Q$ 値を含むベクトルを出力します。
• フレームのスタックとダウンサンプリング: 単一フレームではPerceptual Aliasing（速度や軌跡を推測できない状態）が生じるため、前処理された4枚のグレースケールフレームの履歴を $84\times 84\times 4$ の入力テンソルとしてスタックします。

手法（主要な数式を含む）

状態系列 $s_t=(x_1,a_1,\dots ,x_t)$ は、前処理関数 $\varphi$ を介して $84\times 84\times 4$ の表現にマッピングされます。ネットワークパラメータ $\theta$ は、各イテレーション $i$ において一連の平均二乗Bellman誤差損失関数を用いて訓練されます：

$$L_i({\theta }_i)={\mathbb{E}}_{(s,a,r,s^{\prime })\sim \mathcal{D}}\left[{\left(y_i-Q(s,a;{\theta }_i)\right)}^2\right]$$

ここでターゲット $y_i$ は、前回のイテレーションのパラメータ ${\theta }_{i-1}$ を用いて次のように計算されます：

$$y_i=\{\begin{array}{ll}r& \text{（}{s}^{\prime }\text{ が終端状態の場合）}\\ r+\gamma {\max }_{a^{\prime }}Q(s^{\prime },a^{\prime };{\theta }_{i-1})& \text{（}{s}^{\prime }\text{ が非終端状態の場合）}\end{array}$$

${\theta }_i$ に関する勾配は次の通りです：

$${\nabla }_{{\theta }_i}{L}_i({\theta }_i)={\mathbb{E}}_{(s,a,r,s^{\prime })}\left[\left(r+\gamma \underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime };{\theta }_{i-1})-Q(s,a;{\theta }_i)\right){\nabla }_{{\theta }_i}Q(s,a;{\theta }_i)\right]$$

モデルアーキテクチャと学習設定

• 入力: ダウンサンプリングされたグレースケールフレームをクロップして生成された $84\times 84\times 4$ の画像。
• Conv 1: サイズ $8\times 8$、ストライド4のフィルタ16個、ReLU活性化関数。
• Conv 2: サイズ $4\times 4$、ストライド2のフィルタ32個、ReLU活性化関数。
• FC 1: 256ユニットの全結合ReLU層。
• 出力: 4〜18個の出力（合法な各行動につき1つ）を持つ全結合線形層。
• オプティマイザ: RMSProp、バッチサイズ32。
• 探索: $ϵ$-greedy法。最初の $10^6$ フレームで $ϵ$ を $1.0$ から $0.1$ へ線形に減少させ、その後 $0.1$ に固定。
• Reward Clipping: 誤差のスケールを標準化するため、正の報酬を $+1$、負の報酬を $-1$、中立の報酬を $0$ にクリッピング。
• Frame-skipping: エージェントは $k=4$ フレームごとに観測および行動選択を行い（その間は同じ行動を継続）、点滅するレーザースプライトを視認可能に保つためSpace Invadersのみ $k=3$ を適用。

結果（主要な数値を含む）

DQNは、$ϵ=0.05$ の $ϵ$-greedy方策を用いてAtari 2600の7つのゲームで評価されました。従来の線形RLベースラインおよび人間の専門家と比較した平均スコアは以下の通りです：

• DQNは、7つのゲームすべてにおいて従来の強化学習手法（SarsaおよびContingency）を上回りました。
• DQNは、3つのゲームで人間の専門家スコアを凌駕しました：Breakout（168対31）、Enduro（470対368）、Pong（20対-3）。
• ホールドアウトされた状態集合において予測された最大 $Q$ 値の平均を追跡したところ、学習中に滑らかで単調な改善が見られ、発散することなく安定していることが実証されました。

限界と未解決の課題

• 長期的な戦略計画: 遅延した長期の信用割り当て（Credit Assignment）を必要とするゲーム（Q*bert、Seaquest、Space Invadersなど）では、人間のスコアを大幅に下回りました。
• Reward Clippingの副作用: すべての正の報酬を $+1$ に正規化するため、高価値のターゲットと低価値のターゲットを区別できなくなります。
• 一様リプレイメモリの制約: リプレイバッファは固定容量（$10^6$ フレーム）であり、古いデータが上書きされるほか、遷移の重要度に応じた重み付けを行わずに一様サンプリングされます（Prioritized Replayとは異なります）。
• 変動するターゲット値: パラメータ ${\theta }_{i-1}$ は単一の勾配ステップ内では固定されますが、SGDステップごとに連続して更新されます（緩やかに更新される専用のTarget Networkは後続の研究で導入されました）。