Playing Atari with Deep Reinforcement Learning

Volodymyr Mnih; Koray Kavukcuoglu; David Silver; Alex Graves; Ioannis Antonoglou; Daan Wierstra; Martin Riedmiller

Makalah · arXiv 1312.5602

Bermain Atari dengan Deep Reinforcement Learning

Playing Atari with Deep Reinforcement Learning

Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller

Terbit 2013-12-19cs.LG arXiv PDF

Baca dengan terjemahan dan AI

Ringkasan tiga baris

🎯 Reinforcement learning dari input visual berdimensi tinggi biasanya mengalami ketidakstabilan, inefisiensi sampel, dan ketergantungan pada fitur buatan tangan.
🔧 Menghubungkan convolutional neural network langsung ke piksel mentah menggunakan Q-learning bebas model yang dilatih pada mini-batch sampel dari buffer experience replay.
📈 Mengungguli baseline RL sebelumnya pada enam dari tujuh game Atari dan melampaui skor tolok ukur pemain ahli manusia pada Breakout, Enduro, dan Pong.

Abstrak

Kami memperkenalkan model deep learning pertama yang berhasil mempelajari kebijakan kontrol langsung dari masukan sensorik berdimensi tinggi menggunakan reinforcement learning. Model ini adalah convolutional neural network, dilatih dengan varian Q-learning, yang inputnya berupa piksel mentah dan outputnya berupa fungsi nilai yang memperkirakan imbalan di masa depan. Kami menerapkan metode kami pada tujuh game Atari 2600 dari Arcade Learning Environment, tanpa penyesuaian arsitektur maupun algoritma pembelajaran. Kami menemukan bahwa metode ini mengungguli semua pendekatan sebelumnya pada enam game dan melampaui pemain manusia ahli pada tiga di antaranya.

Abstrak asli (bahasa Inggris)

We present the first deep learning model to successfully learn control policies directly from high-dimensional sensory input using reinforcement learning. The model is a convolutional neural network, trained with a variant of Q-learning, whose input is raw pixels and whose output is a value function estimating future rewards. We apply our method to seven Atari 2600 games from the Arcade Learning Environment, with no adjustment of the architecture or learning algorithm. We find that it outperforms all previous approaches on six of the games and surpasses a human expert on three of them.

Panduan membaca

Masalah dan motivasi

Reinforcement learning (RL) pada domain sensorik secara historis bergantung pada fitur buatan tangan (hand-engineered features) yang digabungkan dengan fungsi nilai linear atau aproksimasi kebijakan. Deep neural network telah menunjukkan representasi pembelajaran yang kuat dalam computer vision dan speech recognition, tetapi menerapkannya pada RL memunculkan tantangan mendasar:

Imbalan tertunda dan langka: Sinyal pembelajaran bersifat skalar, bising (noisy), dan terpisah dari tindakan hingga ribuan langkah waktu.
Observasi non-i.i.d.: Keadaan lingkungan yang berurutan membentuk deret waktu yang berkorelasi tinggi, bukan sampel independen.
Distribusi non-stasioner: Kebijakan penghasil data terus berubah selama pembelajaran, menciptakan lingkaran umpan balik yang dapat menyebabkan aproksimator fungsi non-linear divergen.

Tujuan dari penelitian ini adalah untuk menciptakan satu algoritma dan arsitektur neural network tunggal yang mampu mempelajari kebijakan kontrol langsung dari input visual berdimensi tinggi (video RGB $210 \times 160$ ) pada berbagai game Atari 2600 tanpa modifikasi spesifik untuk game tertentu.

Ide utama

Kontrol sensorik end-to-end: Memetakan piksel mentah langsung ke nilai tindakan (nilai- $Q$ ) tanpa sistem visi khusus domain atau akses ke bagian internal emulator.
Experience Replay Buffer: Menyimpan interaksi agen $e_{t} = (s_{t}, a_{t}, r_{t}, s_{t + 1})$ dalam memori berkapasitas terbatas $D$ . Pelatihan mengambil mini-batch seragam secara acak dari memori ini. Hal ini memutus korelasi sampel, mengurangi varians gradien, dan menstabilkan distribusi data di berbagai kebijakan masa lalu.
Parameterisasi output nilai tindakan: Alih-alih memberikan representasi state dan action sebagai input untuk menghitung satu skalar $Q (s, a)$ , jaringan hanya mengambil representasi state sebagai input dan menghasilkan vektor berisi prediksi nilai- $Q$ untuk semua tindakan diskrit yang valid dalam satu kali forward pass.
Frame stacking dan downsampling: Karena satu frame tunggal rentan mengalami aliasing perseptual (ketidakmampuan menyimpulkan kecepatan atau lintasan), riwayat empat frame grayscale yang telah dipraproses ditumpuk menjadi tensor input berukuran $84 \times 84 \times 4$ .

Metode (dengan persamaan utama)

Urutan state $s_{t} = (x_{1}, a_{1}, \dots, x_{t})$ dipetakan melalui fungsi prapemrosesan $ϕ$ menjadi representasi $84 \times 84 \times 4$ . Parameter jaringan $θ$ dilatih menggunakan rangkaian fungsi loss mean squared Bellman error pada setiap iterasi $i$ :

$L_{i} (θ_{i}) = E_{(s, a, r, s^{'}) \sim D} [(y_{i} - Q (s, a; θ_{i}))^{2}]$

di mana target $y_{i}$ dihitung menggunakan parameter $θ_{i - 1}$ dari iterasi sebelumnya:

$y_{i} = {r r + γ max_{a^{'}} Q (s^{'}, a^{'}; θ_{i - 1}) untuk s^{'} terminal untuk s^{'} non-terminal$

Gradien terhadap $θ_{i}$ adalah:

$\nabla_{θ_{i}} L_{i} (θ_{i}) = E_{(s, a, r, s^{'})} [(r + γ a^{'} max Q (s^{'}, a^{'}; θ_{i - 1}) - Q (s, a; θ_{i})) \nabla_{θ_{i}} Q (s, a; θ_{i})]$

Arsitektur Model dan Penyiapan Pelatihan

Input: Gambar $84 \times 84 \times 4$ yang dihasilkan dari pemotongan (cropping) frame grayscale yang telah di-downsample.
Conv 1: 16 filter berukuran $8 \times 8$ , stride 4, aktivasi ReLU.
Conv 2: 32 filter berukuran $4 \times 4$ , stride 2, aktivasi ReLU.
FC 1: 256 unit ReLU yang terhubung penuh (fully-connected).
Output: Lapisan linear fully-connected dengan 4 hingga 18 output (satu per tindakan yang valid).
Pengoptimal: RMSProp dengan ukuran batch 32.
Eksplorasi: $ϵ$ -greedy dengan $ϵ$ yang di-anneal secara linear dari $1.0$ ke $0.1$ selama $1 0^{6}$ frame pertama, kemudian ditetapkan di angka $0.1$ .
Reward Clipping: Imbalan positif diatur ke $+ 1$ , imbalan negatif ke $- 1$ , dan imbalan netral ke $0$ untuk menstandarkan skala error.
Frame skipping: Agen mengamati dan bertindak setiap $k = 4$ frame (tindakan diulang), kecuali $k = 3$ untuk Space Invaders agar sprite laser yang berkedip tetap terlihat.

Hasil (dengan angka terpenting)

DQN dievaluasi pada tujuh game Atari 2600 menggunakan kebijakan $ϵ$ -greedy dengan $ϵ = 0.05$ . Skor rata-rata dibandingkan dengan baseline RL linear sebelumnya dan pemain manusia ahli:

Game	Random	Sarsa	Contingency	DQN (Rata-rata)	Human Expert	DQN (Episode Terbaik)
Beam Rider	354	996	1743	4092	7456	5184
Breakout	1.2	5.2	6	168	31	225
Enduro	0	129	159	470	368	661
Pong	-20.4	-19	-17	20	-3	21
*Qbert**	157	614	960	1952	18900	4500
Seaquest	110	665	723	1705	28010	1740
Space Invaders	179	271	268	581	3690	1075

DQN mengungguli metode reinforcement learning sebelumnya (Sarsa dan Contingency) di ketujuh game.
DQN melampaui skor pemain manusia ahli pada tiga game: Breakout (168 vs. 31), Enduro (470 vs. 368), dan Pong (20 vs. -3).
Pelacakan rata-rata prediksi nilai- $Q$ maksimum pada set state evaluasi menghasilkan peningkatan monotonik yang mulus selama pelatihan, menunjukkan stabilitas tanpa divergensi.

Keterbatasan dan pertanyaan terbuka

Perencanaan strategis horizon panjang: Game yang membutuhkan penetapan kredit jangka panjang dan tertunda (seperti Q*bert, Seaquest, dan Space Invaders) tertinggal jauh di belakang skor manusia.
Efek samping reward clipping: Menormalisasi semua imbalan positif menjadi $+ 1$ menghambat kemampuan agen untuk membedakan target bernilai tinggi dari target bernilai rendah.
Keterbatasan memori replay seragam: Replay buffer memiliki kapasitas tetap ( $1 0^{6}$ frame) yang menimpa data lama dan mengambil sampel secara seragam tanpa membobotkan transisi berdasarkan kepentingannya (berbeda dengan prioritized replay).
Perubahan nilai target: Meskipun parameter $θ_{i - 1}$ dijaga tetap selama satu langkah gradien, parameter tersebut terus diperbarui di setiap langkah SGD (target network khusus yang diperbarui secara perlahan baru diperkenalkan pada penelitian berikutnya).

Istilah kunci

Deep Q-Networks (DQN): Arsitektur convolutional neural network yang dilatih menggunakan Q-learning untuk memetakan observasi state berdimensi tinggi secara langsung ke estimasi nilai tindakan untuk semua tindakan yang valid.
Experience Replay: Mekanisme yang menyimpan transisi state dalam memori replay dan mengambil mini-batch acak untuk pembaruan bobot, memutus korelasi temporal dan memuluskan pergeseran distribusi data.
Q-learning: Algoritma reinforcement learning temporal difference model-free dan off-policy yang secara iteratif memperkirakan fungsi nilai tindakan optimal $Q^{*} (s, a)$ .
Arcade Learning Environment (ALE): Platform perangkat lunak yang menyediakan game Atari 2600 sebagai tolok ukur empiris bagi agen reinforcement learning yang berinteraksi dengan frame video dan perangkat keras emulasi.
Frame-skipping: Teknik di mana agen mengambil sampel observasi dan memilih tindakan hanya sekali setiap $k$ frame, serta mengulangi tindakan yang dipilih selama frame yang dilewati untuk mempercepat eksekusi wall-clock.
Reward Clipping: Mentransformasikan semua imbalan lingkungan positif menjadi $+ 1$ dan imbalan negatif menjadi $- 1$ selama pelatihan untuk menstabilkan gradien di berbagai skala skor game.
Perceptual Aliasing: Kondisi di mana satu frame visual statis tidak mengandung informasi state yang memadai (seperti kecepatan atau arah gerakan) untuk menentukan keadaan lingkungan yang sebenarnya.

Pertanyaan

Mengapa DQN memprediksi semua nilai tindakan dalam satu kali forward pass alih-alih menerima (state, action) sebagai input?

Hanya menerima state yang telah dipraproses sebagai input dan menghasilkan vektor nilai Q untuk semua tindakan yang valid memungkinkan agen mengevaluasi semua tindakan yang mungkin dalam satu kali forward pass, alih-alih melakukan $∣ A ∣$ forward pass terpisah per langkah waktu.

Mengapa experience replay diperlukan untuk melatih deep network dengan Q-learning?

Transisi RL sekuensial standar berkorelasi kuat dan menghasilkan distribusi data yang terus bergeser sesuai bobot kebijakan saat ini. Pengambilan sampel transisi masa lalu secara seragam dari memori replay memutus korelasi, mengurangi varians pembaruan, dan mencegah timbulnya umpan balik destruktif atau divergensi.

Bagaimana DQN menangani informasi kecepatan dan gerakan dari gambar 2D?

Fungsi prapemrosesan menumpuk 4 frame grayscale ter-downsample berturut-turut menjadi tensor input berukuran $84 \times 84 \times 4$ , memungkinkan jaringan untuk menyimpulkan kecepatan dan arah pergerakan.

Pada game Atari mana saja DQN melampaui performa manusia?

DQN mencapai skor rata-rata yang lebih tinggi daripada tolok ukur pemain ahli manusia pada Breakout (168 vs. 31), Enduro (470 vs. 368), dan Pong (20 vs. -3).

Ulasan di halaman ini ditulis oleh AI dari makalah dan mungkin mengandung kesalahan. Baca makalahnya untuk detail.

Baca dengan terjemahan dan AI