Playing Atari with Deep Reinforcement Learning

Volodymyr Mnih; Koray Kavukcuoglu; David Silver; Alex Graves; Ioannis Antonoglou; Daan Wierstra; Martin Riedmiller

الأوراق البحثية · arXiv 1312.5602

لعب ألعاب Atari باستخدام التعلم التعزيزي العميق

Playing Atari with Deep Reinforcement Learning

Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller

تاريخ النشر 2013-12-19cs.LG arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 واجه التعلم التعزيزي المعتمد على المدخلات البصرية عالية الأبعاد مشاكل عدم الاستقرار، وعدم كفاءة العينات، والاعتماد على استخراج الميزات يدوياً.
🔧 يربط شبكة عصبونية تلافيفية مباشرة بالبكسلات الخام باستخدام خوارزمية Q-learning الخالية من النماذج، والمدرَّبة على دفعات صغيرة مأخوذة من ذاكرة إعادة التجربة (experience replay buffer).
📈 تفوق النموذج على خطوط الأساس السابقة في التعلم التعزيزي في ست من أصل سبع ألعاب Atari، وتجاوز نتائج الخبراء من البشر في ألعاب Breakout وEnduro وPong.

الملخص

نقدم أول نموذج تعلم عميق ينجح في تعلم سياسات التحكم مباشرة من المدخلات الحسية عالية الأبعاد باستخدام التعلم التعزيزي. النموذج عبارة عن شبكة عصبونية تلافيفية، تم تدريبها بنسخة معدلة من خوارزمية Q-learning، حيث تتلقى بكسلات الصور الخام كمدخلات وتخرج دالة قيمة تقدر المكافآت المستقبلية. طبقنا طريقتنا على سبع ألعاب Atari 2600 من بيئة Arcade Learning Environment، دون أي تعديل على البنية المعمارية أو خوارزمية التعلم. ووجدنا أنها تتفوق على جميع الأساليب السابقة في ست من هذه الألعاب، وتتجاوز أداء خبير بشري في ثلاث منها.

الملخص الأصلي (بالإنجليزية)

We present the first deep learning model to successfully learn control policies directly from high-dimensional sensory input using reinforcement learning. The model is a convolutional neural network, trained with a variant of Q-learning, whose input is raw pixels and whose output is a value function estimating future rewards. We apply our method to seven Atari 2600 games from the Arcade Learning Environment, with no adjustment of the architecture or learning algorithm. We find that it outperforms all previous approaches on six of the games and surpasses a human expert on three of them.

دليل القراءة

المشكلة والدافع

اعتمد التعلم التعزيزي (RL) في المجالات الحسية تاريخياً على ميزات هندسية يدوية مدمجة مع دوال القيمة الخطية أو تقريبات السياسة. أظهرت الشبكات العصبونية العميقة قدرات قوية في تعلم التمثيلات في مجالي الرؤية الحاسوبية والتعرف على الكلام، لكن تطبيقها على التعلم التعزيزي واجه تحديات جوهرية:

المكافآت المتأخرة والمتناثرة: تكون إشارات التعلم قياسية، ومصحوبة بضجيج، وتفصل بينها وبين الأفعال آلاف الخطوات الزمنية.
الملاحظات غير المستقلة وغير المتطابقة التوزيع (Non-i.i.d.): تشكل حالات البيئة المتتالية سلاسل زمنية مترابطة للغاية وليست عينات مستقلة.
التوزيعات غير المستقرة: تتغير السياسة المولدة للبيانات باستمرار أثناء التعلم، مما يخلق حلقات تغذية راجعة يمكن أن تؤدي إلى تباعد مقربات الدوال غير الخطية.

الهدف من هذا العمل هو إنشاء خوارزمية وبنية شبكة عصبونية موحدة قادرة على تعلم سياسات التحكم مباشرة من المدخلات البصرية عالية الأبعاد (فيديو بدقة $210 \times 160$ بنظام RGB) عبر ألعاب Atari 2600 المتنوعة دون أي تعديلات مخصصة لكل لعبة.

الأفكار الرئيسية

التحكم الحسي من البداية إلى النهاية (End-to-end sensory control): مطابقة البكسلات الخام مباشرة مع قيم الفعل (قيم $Q$ ) دون أنظمة رؤية مخصصة لمجال معين أو الوصول إلى الآليات الداخلية للمحاكي.
ذاكرة إعادة التجربة (Experience Replay Buffer): تخزين تفاعلات الوكيل $e_{t} = (s_{t}, a_{t}, r_{t}, s_{t + 1})$ في ذاكرة مؤقتة محدودة $D$ . يسحب التدريب دفعات صغيرة منتظمة عشوائياً من هذه الذاكرة. يؤدي ذلك إلى كسر الترابط بين العينات، وتقليل تباين الانحدار، وتحقيق الاستقرار في توزيع البيانات عبر السياسات السابقة.
تحديد معاملات مخرجات قيم الأفعال: بدلاً من إدخال كل من الحالة والفعل لحساب قيمة قياسية وحيدة $Q (s, a)$ ، تستقبل الشبكة تمثيل الحالة فقط كمدخل، وتخرج متجهاً يحتوي على قيم $Q$ المتوقعة لجميع الأفعال المنفصلة المتاحة في تمريرة أمامية واحدة.
تجميع الإطارات وتقليص الأبعاد: نظراً لأن الإطارات الفردية تعاني من التباس الإدراك (عدم القدرة على استنتاج السرعة أو المسار)، يتم تجميع سجل مكون من أربعة إطارات معالجة مسبقاً بتدرج رمادي في موتر إدخال بأبعاد $84 \times 84 \times 4$ .

الطريقة (مع المعادلات الرئيسية)

يتم تعيين تسلسل الحالات $s_{t} = (x_{1}, a_{1}, \dots, x_{t})$ عبر دالة معالجة مسبقة $ϕ$ إلى تمثيل بأبعاد $84 \times 84 \times 4$ . يتم تدريب معاملات الشبكة $θ$ باستخدام تسلسل من دوال خسارة متوسط الخطأ التربيعي لبلمان عند كل تكرار $i$ :

$L_{i} (θ_{i}) = E_{(s, a, r, s^{'}) \sim D} [(y_{i} - Q (s, a; θ_{i}))^{2}]$

حيث يتم حساب الهدف $y_{i}$ باستخدام المعاملات $θ_{i - 1}$ من التكرار السابق:

$y_{i} = {r r + γ max_{a^{'}} Q (s^{'}, a^{'}; θ_{i - 1}) for terminal s^{'} for non-terminal s^{'}$

ويكون التدرج بالنسبة إلى $θ_{i}$ هو:

$\nabla_{θ_{i}} L_{i} (θ_{i}) = E_{(s, a, r, s^{'})} [(r + γ a^{'} max Q (s^{'}, a^{'}; θ_{i - 1}) - Q (s, a; θ_{i})) \nabla_{θ_{i}} Q (s, a; θ_{i})]$

بنية النموذج وإعدادات التدريب

المدخلات: صورة بأبعاد $84 \times 84 \times 4$ ناتجة عن اقتصاص إطارات بالتدرج الرمادي مقلصة الأبعاد.
الطبقة التلافيفية الأولى (Conv 1): 16 مرشحاً بحجم $8 \times 8$ ، وخطوة (stride) قدرها 4، مع دالة تنشيط ReLU.
الطبقة التلافيفية الثانية (Conv 2): 32 مرشحاً بحجم $4 \times 4$ ، وخطوة قدرها 2، مع دالة تنشيط ReLU.
الطبقة المتصلة بالكامل الأولى (FC 1): 256 وحدة متصلة بالكامل مع تنشيط ReLU.
المخرجات: طبقة خطية متصلة بالكامل تتراوح مخرجاتها من 4 إلى 18 مخرجاً (مخرج واحد لكل فعل متاح).
المحسن: RMSProp بحجم دفعة قدره 32.
الاستكشاف: استراتيجية $ϵ$ -greedy مع تقليل قيمة $ϵ$ خطياً من $1.0$ إلى $0.1$ عبر أول $1 0^{6}$ إطار، ثم تثبيتها عند $0.1$ .
قص المكافآت (Reward Clipping): ضبط المكافآت الإيجابية عند $+ 1$ ، والسلبية عند $- 1$ ، والمحايدة عند $0$ لتوحيد مقياس الخطأ.
تخطي الإطارات (Frame skipping): يقوم الوكيل بملاحظة البيئة واتخاذ الفعل كل $k = 4$ إطارات (مع تكرار الفعل)، باستثناء لعبة Space Invaders حيث يتم استخدام $k = 3$ لإبقاء رسومات الليزر الوامضة مرئية.

النتائج (مع أهم الأرقام)

تم تقييم DQN على سبع ألعاب Atari 2600 باستخدام سياسة $ϵ$ -greedy بقيمة $ϵ = 0.05$ . متوسط الدرجات مقارنة بالأساليب السابقة الخطية في التعلم التعزيزي والخبراء من البشر:

اللعبة	Random	Sarsa	Contingency	DQN (المتوسط)	خبير بشري	DQN (أفضل جولة)
Beam Rider	354	996	1743	4092	7456	5184
Breakout	1.2	5.2	6	168	31	225
Enduro	0	129	159	470	368	661
Pong	-20.4	-19	-17	20	-3	21
*Qbert**	157	614	960	1952	18900	4500
Seaquest	110	665	723	1705	28010	1740
Space Invaders	179	271	268	581	3690	1075

تفوق DQN على طرق التعلم التعزيزي السابقة (Sarsa وContingency) في جميع الألعاب السبع.
تفوق DQN على درجات الخبراء من البشر في ثلاث ألعاب: Breakout (168 مقابل 31)، وEnduro (470 مقابل 368)، وPong (20 مقابل -3).
أظهر تتبع متوسط قيمة $Q$ القصوى المتوقعة لمجموعة حالات محجوبة تحسناً سلساً ومطرداً أثناء التدريب، مما يدل على الاستقرار دون تباعد.

القيود والأسئلة المفتوحة

التخطيط الاستراتيجي للمدى البعيد: الألعاب التي تتطلب إسناد مكافآت طويلة المدى ومتأخرة (مثل Q*bert وSeaquest وSpace Invaders) تأخر فيها أداء النموذج كثيراً مقارنة بنتائج البشر.
الآثار الجانبية لقص المكافآت: تطبيع جميع المكافآت الإيجابية لتكون $+ 1$ يمنع التمييز بين الأهداف عالية القيمة والأهداف منخفضة القيمة.
قيود ذاكرة الإعادة المنتظمة: تحتوي ذاكرة الإعادة على سعة ثابتة ( $1 0^{6}$ إطار) تقوم بالكتابة فوق البيانات القديمة وتأخذ العينات بانتظام دون ترجيح الانتقالات حسب أهميتها (على عكس prioritized replay).
تغير قيم الهدف: في حين يتم الحفاظ على ثبات المعاملات $θ_{i - 1}$ أثناء خطوة انحدار واحدة، إلا أنها تتغير باستمرار عبر خطوات SGD (تم تقديم شبكة أهداف مخصصة وبطيئة التحديث في أبحاث لاحقة).

المصطلحات الرئيسية

Deep Q-Networks (DQN): بنية شبكة عصبونية تلافيفية يتم تدريبها باستخدام Q-learning لربط ملاحظات الحالة عالية الأبعاد مباشرة بتقديرات قيمة الفعل لجميع الأفعال المتاحة.
Experience Replay (إعادة التجربة): آلية تخزن انتقالات الحالة في ذاكرة إعادة وتسحب دفعات صغيرة عشوائية لتحديث الأوزان، مما يكسر الترابط الزمني ويقلل من تغيرات توزيع البيانات.
Q-learning: خوارزمية تعلم تعزيزي خارج السياسة (off-policy) وخالية من النماذج تعتمد على الفروق الزمنية لتقدير دالة قيمة الفعل المثلى $Q^{*} (s, a)$ بشكل متكرر.
Arcade Learning Environment (ALE): منصة برمجية توفر ألعاب Atari 2600 كمعيار تجريبي لوكلاء التعلم التعزيزي الذين يتفاعلون مع إطارات الفيديو والأجهزة المحاكاة.
Frame-skipping (تخطي الإطارات): تقنية يقوم فيها الوكيل بأخذ الملاحظات وتحديد الأفعال مرة واحدة فقط كل $k$ إطار، مع تكرار الفعل المختار خلال الإطارات المتخطاة لتسريع وقت التنفيذ الفعلي.
Reward Clipping (قص المكافآت): تحويل جميع المكافآت البيئية الإيجابية إلى $+ 1$ والسلبية إلى $- 1$ أثناء التدريب لتحقيق استقرار التدرجات عبر مقاييس درجات الألعاب المختلفة.
Perceptual Aliasing (التباس الإدراك): حالة لا يحتوي فيها إطار بصري ثابت ومفرد على معلومات حالة كافية (مثل السرعة أو اتجاه الحركة) لتحديد حالة البيئة الأساسية الحقيقية.

أسئلة شائعة

لماذا يتنبأ DQN بجميع قيم الأفعال في تمريرة أمامية واحدة بدلاً من أخذ (الحالة، الفعل) كمدخل؟

يتيح إدخال الحالة المعالجة مسبقاً فقط وإخراج متجه لقيم Q لجميع الأفعال المتاحة للوكيل تقييم كافة الأفعال الممكنة في تمريرة أمامية واحدة، بدلاً من إجراء $∣ A ∣$ من التمريرات الأمامية المنفصلة في كل خطوة زمنية.

لماذا تعد آلية experience replay ضرورية لتدريب الشبكات العميقة باستخدام Q-learning؟

تكون انتقالات التعلم التعزيزي المتتابعة القياسية مترابطة بشدة وتولد توزيع بيانات متغير تحدده أوزان السياسة الحالية. يؤدي سحب العينات المنتظم للانتقالات السابقة من ذاكرة الإعادة إلى كسر الارتباطات، وتقليل تباين التحديثات، ومنع حلقات التغذية الراجعة الهدامة أو التباعد.

كيف يتعامل DQN مع السرعة والحركة من الصور ثنائية الأبعاد؟

تقوم دالة المعالجة المسبقة بتجميع آخر 4 إطارات متتالية مقلصة الأبعاد وبتدرج رمادي في موتر إدخال بحجم $84 \times 84 \times 4$ ، مما يمكن الشبكة من استنتاج السرعة والاتجاه.

في أي ألعاب Atari تفوق DQN على الأداء البشري؟

حقق DQN متوسط درجات أعلى من خط الأساس للخبراء من البشر في ألعاب Breakout (168 مقابل 31)، وEnduro (470 مقابل 368)، وPong (20 مقابل -3).

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي