Playing Atari with Deep Reinforcement Learning

Volodymyr Mnih; Koray Kavukcuoglu; David Silver; Alex Graves; Ioannis Antonoglou; Daan Wierstra; Martin Riedmiller

शोध पत्र · arXiv 1312.5602

Playing Atari with Deep Reinforcement Learning

Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller

प्रकाशित 2013-12-19cs.LG arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 उच्च-आयामी विज़ुअल इनपुट से reinforcement learning में आमतौर पर अस्थिरता, सैंपल अकुशलता और हाथ से बनाए गए फ़ीचर्स (hand-crafted features) पर निर्भरता की समस्या आती थी।
🔧 Experience replay बफ़र से लिए गए मिनी-बैच पर प्रशिक्षित मॉडल-मुक्त Q-learning का उपयोग करके एक convolutional neural network को सीधे रॉ पिक्सल से जोड़ता है।
📈 सात में से छह Atari गेम्स में पुराने RL बेसलाइन से बेहतर प्रदर्शन किया और Breakout, Enduro तथा Pong में मानव विशेषज्ञ के बेंचमार्क स्कोर को पार कर लिया।

सार

हम पहला डीप लर्निंग मॉडल प्रस्तुत करते हैं जो सुदृढीकरण सीखने (reinforcement learning) का उपयोग करके उच्च-आयामी संवेदी इनपुट से सीधे नियंत्रण नीतियों को सफलतापूर्वक सीखता है। यह मॉडल एक convolutional neural network है, जिसे Q-learning के एक प्रकार के साथ प्रशिक्षित किया गया है, जिसका इनपुट रॉ पिक्सेल है और जिसका आउटपुट भविष्य के पुरस्कारों का अनुमान लगाने वाला एक वैल्यू फ़ंक्शन है। हम आर्किटेक्चर या लर्निंग एल्गोरिदम में बिना किसी बदलाव के Arcade Learning Environment से सात Atari 2600 गेम्स पर अपनी विधि लागू करते हैं। हम पाते हैं कि यह छह गेम्स में पिछले सभी दृष्टिकोणों से बेहतर प्रदर्शन करता है और उनमें से तीन पर एक मानव विशेषज्ञ से भी आगे निकल जाता है।

मूल सार (अंग्रेज़ी)

We present the first deep learning model to successfully learn control policies directly from high-dimensional sensory input using reinforcement learning. The model is a convolutional neural network, trained with a variant of Q-learning, whose input is raw pixels and whose output is a value function estimating future rewards. We apply our method to seven Atari 2600 games from the Arcade Learning Environment, with no adjustment of the architecture or learning algorithm. We find that it outperforms all previous approaches on six of the games and surpasses a human expert on three of them.

पढ़ने की गाइड

समस्या और प्रेरणा

सेंसरी डोमेन में Reinforcement learning (RL) ऐतिहासिक रूप से लीनियर वैल्यू फ़ंक्शन्स या पॉलिसी सन्निकटन के साथ जोड़े गए हैंड-इंजीनियर्ड फ़ीचर्स पर निर्भर था। डीप न्यूरल नेटवर्क ने कंप्यूटर विज़न और स्पीच रिकग्निशन में मजबूत रिप्रेजेंटेशन लर्निंग का प्रदर्शन किया था, लेकिन उन्हें RL में लागू करना मौलिक चुनौतियाँ पेश करता था:

विलंबित और विरल पुरस्कार (Delayed and sparse rewards): लर्निंग सिग्नल स्केलर, शोर से भरे (noisy), और एक्शन से हजारों टाइम स्टेप्स दूर होते हैं।
गैर-i.i.d. अवलोकन (Non-i.i.d. observations): क्रमिक पर्यावरण स्थितियाँ (states) स्वतंत्र नमूनों के बजाय अत्यधिक सहसंबद्ध (correlated) टाइम सीरीज़ बनाती हैं।
गैर-स्थिर वितरण (Non-stationary distributions): डेटा उत्पन्न करने वाली पॉलिसी सीखने के दौरान लगातार बदलती रहती है, जिससे ऐसे फ़ीडबैक लूप बनते हैं जो नॉन-लीनियर फ़ंक्शन एप्रोक्सिमेटर्स को डाइवर्ज कर सकते हैं।

इस कार्य का उद्देश्य बिना किसी गेम-विशिष्ट संशोधन के, विभिन्न Atari 2600 गेम्स में उच्च-आयामी विज़ुअल इनपुट ( $210 \times 160$ RGB वीडियो) से सीधे नियंत्रण नीतियां सीखने में सक्षम एक एकल एल्गोरिदम और न्यूरल नेटवर्क आर्किटेक्चर बनाना है।

मुख्य विचार

एंड-टू-एंड सेंसरी कंट्रोल (End-to-end sensory control): बिना किसी डोमेन-विशिष्ट विज़न सिस्टम या एमुलेटर की आंतरिक स्थिति तक पहुंचे, रॉ पिक्सेल को सीधे एक्शन-वैल्यू ( $Q$ -values) पर मैप करना।
Experience Replay Buffer: एजेंट के इंटरैक्शन $e_{t} = (s_{t}, a_{t}, r_{t}, s_{t + 1})$ को एक सीमित मेमोरी बफ़र $D$ में स्टोर करना। ट्रेनिंग के लिए इस मेमोरी से यादृच्छिक रूप से यूनिफ़ॉर्म मिनी-बैच निकाले जाते हैं। यह सैंपल सहसंबंधों को तोड़ता है, ग्रेडिएंट विचरण (variance) को कम करता है, और पिछली नीतियों में डेटा वितरण को स्थिर करता है।
एक्शन-वैल्यू आउटपुट पैरामीटराइजेशन: एकल स्केलर $Q (s, a)$ की गणना के लिए स्टेट और एक्शन दोनों को इनपुट के रूप में देने के बजाय, नेटवर्क केवल स्टेट रिप्रेजेंटेशन को इनपुट के रूप में लेता है और एकल फ़ॉरवर्ड पास में सभी वैध असतत (discrete) कार्यों के लिए अनुमानित $Q$ -वैल्यू वाला एक वेक्टर आउटपुट करता है।
फ़्रेम स्टैकिंग और डाउनसैंपलिंग: चूँकि एकल फ़्रेम पर्सेप्चुअल अलियासिंग (गति या प्रक्षेपवक्र का अनुमान लगाने में असमर्थता) से ग्रस्त होते हैं, इसलिए चार प्रीप्रोसेस्ड ग्रेस्केल फ़्रेमों के इतिहास को $84 \times 84 \times 4$ इनपुट टेन्सर में स्टैक किया जाता है।

विधि (मुख्य समीकरणों के साथ)

स्टेट अनुक्रम $s_{t} = (x_{1}, a_{1}, \dots, x_{t})$ को प्रीप्रोसेसिंग फ़ंक्शन $ϕ$ के माध्यम से $84 \times 84 \times 4$ रिप्रेजेंटेशन में मैप किया जाता है। नेटवर्क पैरामीटर्स $θ$ को प्रत्येक पुनरावृत्ति (iteration) $i$ पर मीन स्क्वेर्ड बेलमैन एरर लॉस फ़ंक्शन्स के एक अनुक्रम का उपयोग करके प्रशिक्षित किया जाता है:

$L_{i} (θ_{i}) = E_{(s, a, r, s^{'}) \sim D} [(y_{i} - Q (s, a; θ_{i}))^{2}]$

जहाँ टारगेट $y_{i}$ की गणना पिछली पुनरावृत्ति के पैरामीटर्स $θ_{i - 1}$ का उपयोग करके की जाती है:

$y_{i} = {r r + γ max_{a^{'}} Q (s^{'}, a^{'}; θ_{i - 1}) for terminal s^{'} for non-terminal s^{'}$

$θ_{i}$ के सापेक्ष ग्रेडिएंट है:

$\nabla_{θ_{i}} L_{i} (θ_{i}) = E_{(s, a, r, s^{'})} [(r + γ a^{'} max Q (s^{'}, a^{'}; θ_{i - 1}) - Q (s, a; θ_{i})) \nabla_{θ_{i}} Q (s, a; θ_{i})]$

मॉडल आर्किटेक्चर और ट्रेनिंग सेटअप

Input: डाउनसैंपल किए गए ग्रेस्केल फ़्रेमों को क्रॉप करके तैयार की गई $84 \times 84 \times 4$ इमेज।
Conv 1: $8 \times 8$ आकार के 16 फ़िल्टर, स्ट्राइड 4, ReLU एक्टिवेशन।
Conv 2: $4 \times 4$ आकार के 32 फ़िल्टर, स्ट्राइड 2, ReLU एक्टिवेशन।
FC 1: 256 पूरी तरह से जुड़े (fully-connected) ReLU यूनिट्स।
Output: 4 से 18 आउटपुट वाली पूरी तरह से जुड़ी लीनियर लेयर (प्रत्येक लीगल एक्शन के लिए एक)।
Optimizer: बैच साइज़ 32 के साथ RMSProp।
Exploration: $ϵ$ -greedy, जिसमें $ϵ$ को पहले $1 0^{6}$ फ़्रेमों में $1.0$ से $0.1$ तक लीनियर रूप से घटाया गया, फिर $0.1$ पर स्थिर रखा गया।
Reward Clipping: एरर स्केल को मानकीकृत करने के लिए पॉजिटिव रिवॉर्ड्स को $+ 1$ , नेगेटिव को $- 1$ , और न्यूट्रल को $0$ सेट किया गया।
Frame skipping: एजेंट हर $k = 4$ फ़्रेम पर देखता है और कार्य करता है (कार्रवाई दोहराई जाती है), केवल Space Invaders के लिए $k = 3$ रखा गया ताकि ब्लिंक करते लेज़र स्प्राइट्स दिखाई देते रहें।

परिणाम (सबसे महत्वपूर्ण संख्याओं के साथ)

DQN का मूल्यांकन $ϵ = 0.05$ के साथ एक $ϵ$ -greedy नीति का उपयोग करके सात Atari 2600 गेम्स पर किया गया था। पिछले लीनियर RL बेसलाइन और विशेषज्ञ मनुष्यों की तुलना में औसत स्कोर:

Game	Random	Sarsa	Contingency	DQN (Average)	Human Expert	DQN (Best Episode)
Beam Rider	354	996	1743	4092	7456	5184
Breakout	1.2	5.2	6	168	31	225
Enduro	0	129	159	470	368	661
Pong	-20.4	-19	-17	20	-3	21
*Qbert**	157	614	960	1952	18900	4500
Seaquest	110	665	723	1705	28010	1740
Space Invaders	179	271	268	581	3690	1075

DQN ने सभी सात गेम्स में पिछली रीइन्फ़ोर्समेंट लर्निंग विधियों (Sarsa और Contingency) को पीछे छोड़ दिया।
DQN ने तीन गेम्स में मानव विशेषज्ञ के स्कोर को पार कर लिया: Breakout (168 बनाम 31), Enduro (470 बनाम 368), और Pong (20 बनाम -3)।
स्टेट्स के हेल्ड-आउट सेट पर औसत अनुमानित अधिकतम $Q$ -वैल्यू को ट्रैक करने से ट्रेनिंग के दौरान स्थिर मोनोथोनिक सुधार दिखा, जिससे बिना किसी डाइवर्जेंस के स्थिरता प्रदर्शित हुई।

सीमाएं और खुले प्रश्न

लॉन्ग-होराइजन स्ट्रैटेजिक प्लानिंग: जिन गेम्स में विलंबित और दीर्घकालिक क्रेडिट असाइनमेंट की आवश्यकता होती है (जैसे Q*bert, Seaquest, और Space Invaders), उनमें DQN मानव स्कोर से काफी पीछे रहा।
रिवॉर्ड क्लिपिंग के दुष्प्रभाव: सभी सकारात्मक पुरस्कारों को $+ 1$ पर सामान्यीकृत करने से उच्च-मूल्य वाले लक्ष्यों और निम्न-मूल्य वाले लक्ष्यों के बीच अंतर करना असंभव हो जाता है।
यूनिफ़ॉर्म रिप्ले मेमोरी की सीमाएं: रिप्ले बफ़र की क्षमता सीमित ( $1 0^{6}$ फ़्रेम) है जो पुराने डेटा को ओवरराइट कर देती है और महत्व के आधार पर ट्रांज़िशन को भारित किए बिना समान रूप से सैंपल करती है (प्राथमिकता प्राप्त रिप्ले के विपरीत)।
बदलते टारगेट वैल्यूज़: हालांकि पैरामीटर $θ_{i - 1}$ को एकल ग्रेडिएंट स्टेप के दौरान स्थिर रखा जाता है, वे SGD स्टेप्स में लगातार अपडेट होते हैं (बाद के कार्यों में धीरे-धीरे अपडेट होने वाले एक समर्पित टारगेट नेटवर्क की शुरुआत की गई थी)।

मुख्य शब्द

Deep Q-Networks (DQN): एक convolutional neural network आर्किटेक्चर जिसे Q-learning का उपयोग करके उच्च-आयामी स्टेट ऑब्जर्वेशन को सभी वैध कार्यों के लिए सीधे एक्शन-वैल्यू अनुमानों पर मैप करने के लिए प्रशिक्षित किया जाता है।
Experience Replay: एक तंत्र जो स्टेट ट्रांज़िशन को रिप्ले मेमोरी में संग्रहीत करता है और वेट अपडेट के लिए रैंडम मिनी-बैच का नमूना लेता है, जिससे टेम्पोरल सहसंबंध टूटते हैं और डेटा वितरण बदलाव स्थिर होते हैं।
Q-learning: एक ऑफ़-पॉलिसी, मॉडल-मुक्त टेम्पोरल डिफरेंस रीइन्फ़ोर्समेंट लर्निंग एल्गोरिदम जो इष्टतम एक्शन-वैल्यू फ़ंक्शन $Q^{*} (s, a)$ का पुनरावृत्ति द्वारा अनुमान लगाता है।
Arcade Learning Environment (ALE): एक सॉफ्टवेयर प्लेटफॉर्म जो वीडियो फ़्रेम और एमुलेटेड हार्डवेयर के साथ इंटरैक्ट करने वाले रीइन्फ़ोर्समेंट लर्निंग एजेंटों के लिए Atari 2600 गेम्स को एक अनुभवजन्य बेंचमार्क के रूप में प्रस्तुत करता है।
Frame-skipping: एक तकनीक जिसमें एजेंट केवल प्रत्येक $k$ फ़्रेम में एक बार अवलोकन का नमूना लेता है और क्रिया का चयन करता है, और वॉल-क्लॉक निष्पादन को तेज़ करने के लिए छोड़े गए फ़्रेमों के दौरान चयनित क्रिया को दोहराता है।
Reward Clipping: विभिन्न गेम स्कोर पैमानों पर ग्रेडिएंट को स्थिर करने के लिए प्रशिक्षण के दौरान सभी सकारात्मक पर्यावरणीय पुरस्कारों को $+ 1$ और नकारात्मक पुरस्कारों को $- 1$ में बदलना।
Perceptual Aliasing: ऐसी स्थिति जहाँ एक एकल स्थिर दृश्य फ़्रेम में वास्तविक अंतर्निहित पर्यावरण स्थिति को निर्धारित करने के लिए पर्याप्त स्टेट जानकारी (जैसे गति या गति की दिशा) शामिल नहीं होती है।

प्रश्न

DQN इनपुट के रूप में (state, action) लेने के बजाय एक ही फ़ॉरवर्ड पास में सभी एक्शन वैल्यूज़ की भविष्यवाणी क्यों करता है?

केवल प्रीप्रोसेस्ड स्टेट को इनपुट के रूप में लेने और सभी लीगल एक्शन्स के लिए Q-values का एक वेक्टर आउटपुट करने से एजेंट को प्रति टाइम स्टेप $∣ A ∣$ अलग-अलग फ़ॉरवर्ड पास करने के बजाय, एकल फ़ॉरवर्ड पास में सभी संभावित कार्यों का मूल्यांकन करने की सुविधा मिलती है।

Q-learning के साथ डीप नेटवर्क को प्रशिक्षित करने के लिए experience replay क्यों आवश्यक है?

मानक अनुक्रमिक RL ट्रांज़िशन दृढ़ता से सहसंबद्ध होते हैं और वर्तमान पॉलिसी वेट्स द्वारा निर्धारित एक बदलता डेटा वितरण उत्पन्न करते हैं। रिप्ले मेमोरी से पिछले ट्रांज़िशन्स का समान रूप से नमूना लेना इन सहसंबंधों को तोड़ता है, अपडेट भिन्नता को कम करता है, और विनाशकारी फ़ीडबैक लूप या डाइवर्जेंस को रोकता है।

DQN 2D छवियों से वेग (velocity) और गति को कैसे संभालता है?

प्रीप्रोसेसिंग फ़ंक्शन पिछले 4 लगातार डाउनसैंपल किए गए ग्रेस्केल फ़्रेमों को $84 \times 84 \times 4$ इनपुट टेन्सर में स्टैक करता है, जिससे नेटवर्क गति और दिशा का अनुमान लगाने में सक्षम होता है।

DQN ने किन Atari गेम्स में मानवीय प्रदर्शन को पीछे छोड़ दिया?

DQN ने Breakout (168 बनाम 31), Enduro (470 बनाम 368), और Pong (20 बनाम -3) में मानव विशेषज्ञ बेसलाइन की तुलना में अधिक औसत स्कोर हासिल किया।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें