Playing Atari with Deep Reinforcement Learning

Okuma rehberi

Problem ve motivasyon

Duyusal alanlarda pekiştirmeli öğrenme (RL), tarihsel olarak doğrusal değer fonksiyonları veya politika yaklaşımları ile birleştirilmiş elle tasarlanmış özniteliklere dayanıyordu. Derin sinir ağları bilgisayarla görme ve konuşma tanımada güçlü temsil öğrenimi sergilemişti, ancak bunları RL'ye uygulamak temel zorluklar teşkil ediyordu:

• Gecikmeli ve seyrek ödüller: Öğrenme sinyalleri skalerdir, gürültülüdür ve eylemlerden binlerce zaman adımı uzaktadır.
• Bağımsız ve özdeş dağılmayan (non-i.i.d.) gözlemler: Birbirini izleyen ortam durumları, bağımsız örneklemlerden ziyade yüksek korelasyonlu zaman serileri oluşturur.
• Durağan olmayan dağılımlar: Veri üreten politika öğrenme sırasında sürekli değişir ve doğrusal olmayan fonksiyon yaklaşımlayıcılarının ıraksamasına yol açabilen geri besleme döngüleri yaratır.

Bu çalışmanın amacı, oyuna özgü modifikasyonlar olmaksızın farklı Atari 2600 oyunlarında doğrudan yüksek boyutlu görsel girdiden ($210\times 160$ RGB video) kontrol politikaları öğrenebilen tek bir algoritma ve sinir ağı mimarisi geliştirmektir.

Temel fikirler

• Uçtan uca duyusal kontrol: Alana özgü görme sistemleri veya emülatörün dahili durumuna erişim olmadan ham pikselleri doğrudan eylem-değerlerine ($Q$-değerleri) eşleyin.
• Deneyim Tekrarı Tamponu (Experience Replay Buffer): Ajan etkileşimlerini $e_t=(s_t,a_t,r_t,s_{t+1})$ sonlu bir $\mathcal{D}$ bellek tamponunda saklayın. Eğitim, bu bellekten rastgele tekdüze mini yığınlar çeker. Bu, örneklem korelasyonlarını kırar, gradyan varyansını azaltır ve geçmiş politikalar arasındaki veri dağılımını kararlı hale getirir.
• Eylem-değer çıktısı parametrelendirmesi: Tek bir skaler $Q(s,a)$ hesaplamak için ağa girdi olarak hem durumu hem de eylemi beslemek yerine ağ, yalnızca durum temsilini girdi olarak alır ve tek bir ileri geçişte tüm geçerli ayrık eylemler için tahmin edilen $Q$-değerlerini içeren bir vektör çıktısı verir.
• Kare istifleme ve altörnekleme: Tek kareler algısal örtüşmeden (hız veya yörüngeyi çıkaramama) muzdarip olduğundan, önceden işlenmiş dört gri tonlamalı karenin geçmişi $84\times 84\times 4$ boyutunda bir girdi tensöründe istiflenir.

Yöntem (temel denklemlerle)

$s_t=(x_1,a_1,\dots ,x_t)$ durum dizisi, $\varphi$ ön işleme fonksiyonu aracılığıyla $84\times 84\times 4$ boyutunda bir temsile eşlenir. $\theta$ ağ parametreleri, her $i$ iterasyonunda ortalama kare Bellman hatası kayıp fonksiyonları dizisi kullanılarak eğitilir:

$$L_i({\theta }_i)={\mathbb{E}}_{(s,a,r,s^{\prime })\sim \mathcal{D}}\left[{\left(y_i-Q(s,a;{\theta }_i)\right)}^2\right]$$

burada $y_i$ hedefi, önceki iterasyondaki ${\theta }_{i-1}$ parametreleri kullanılarak hesaplanır:

$$y_i=\{\begin{array}{ll}r& \text{terminal }{s}^{\prime }\text{ ic¸in}\\ r+\gamma {\max }_{a^{\prime }}Q(s^{\prime },a^{\prime };{\theta }_{i-1})& \text{terminal olmayan }{s}^{\prime }\text{ ic¸in}\end{array}$$

${\theta }_i$'ye göre gradyan şöyledir:

$${\nabla }_{{\theta }_i}{L}_i({\theta }_i)={\mathbb{E}}_{(s,a,r,s^{\prime })}\left[\left(r+\gamma \underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime };{\theta }_{i-1})-Q(s,a;{\theta }_i)\right){\nabla }_{{\theta }_i}Q(s,a;{\theta }_i)\right]$$

Model Mimarisi ve Eğitim Kurulumu

• Girdi: Altörneklenmiş gri tonlamalı karelerin kırpılmasıyla üretilen $84\times 84\times 4$ görüntü.
• Conv 1: $8\times 8$ boyutunda 16 filtre, adım (stride) 4, ReLU aktivasyonu.
• Conv 2: $4\times 4$ boyutunda 32 filtre, adım (stride) 2, ReLU aktivasyonu.
• FC 1: 256 tam bağlantılı ReLU birimi.
• Çıktı: 4 ila 18 çıktılı tam bağlantılı doğrusal katman (geçerli her eylem için bir adet).
• Optimizasyon aracı: 32 yığın boyutuna sahip RMSProp.
• Keşif (Exploration): İlk $10^6$ kare boyunca $1.0$'dan $0.1$'e doğrusal olarak azaltılan, ardından $0.1$'de sabitlenen $ϵ$ değerine sahip $ϵ$-greedy.
• Ödül Kırpma (Reward Clipping): Hata ölçeğini standartlaştırmak için pozitif ödüller $+1$, negatif ödüller $-1$ ve nötr ödüller $0$ olarak ayarlanır.
• Kare atlama (Frame skipping): Ajan, Space Invaders'ta yanıp sönen lazer sprite'larını görünür kılmak için kullanılan $k=3$ hariç, her $k=4$ karede bir gözlem yapar ve eylem gerçekleştirir (seçilen eylem tekrarlanır).

Sonuçlar (en önemli sayılarla)

DQN, $ϵ=0.05$ olan bir $ϵ$-greedy politikası kullanılarak yedi Atari 2600 oyununda değerlendirilmiştir. Önceki doğrusal RL referans modelleri ve uzman insanlarla karşılaştırılan ortalama puanlar:

• DQN, yedi oyunun tamamında önceki pekiştirmeli öğrenme yöntemlerini (Sarsa ve Contingency) geride bırakmıştır.
• DQN, üç oyunda insan uzman puanlarını aşmıştır: Breakout (168'e karşı 31), Enduro (470'e karşı 368) ve Pong (20'ye karşı -3).
• Ayrılmış durumlar kümesi üzerinde tahmin edilen ortalama maksimum $Q$-değerinin izlenmesi, eğitim sırasında pürüzsüz ve monoton bir iyileşme göstermiş, ıraksama olmaksızın kararlılığı kanıtlamıştır.

Kısıtlar ve açık sorular

• Geniş zaman ufuklu stratejik planlama: Gecikmeli, uzun vadeli kredi ataması gerektiren oyunlar (Q*bert, Seaquest ve Space Invaders gibi) insan puanlarının önemli ölçüde gerisinde kalmıştır.
• Ödül kırpmanın yan etkileri: Tüm pozitif ödülleri $+1$ olarak normalleştirmek, yüksek değerli hedeflerin düşük değerli hedeflerden ayırt edilmesini engeller.
• Tekdüze tekrar belleği kısıtları: Tekrar tamponu, eski verilerin üzerine yazan ve geçişleri önem derecesine göre ağırlıklandırmadan tekdüze örnekleyen (önceliklendirilmiş tekrarın aksine) sabit bir kapasiteye ($10^6$ kare) sahiptir.
• Değişen hedef değerler: ${\theta }_{i-1}$ parametreleri tek bir gradyan adımı boyunca sabit tutulsa da, SGD adımları boyunca sürekli güncellenir (daha sonraki çalışmalarda yavaş güncellenen özel bir hedef ağ tanıtılmıştır).