Proximal Policy Optimization Algorithms

John Schulman; Filip Wolski; Prafulla Dhariwal; Alec Radford; Oleg Klimov

الأوراق البحثية · arXiv 1707.06347

خوارزميات Proximal Policy Optimization

Proximal Policy Optimization Algorithms

John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov

تاريخ النشر 2017-07-20cs.LG arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 تعاني طرق تدرج السياسة القياسية من ضعف كفاءة العينات وعدم الاستقرار، بينما تتسم خوارزمية TRPO بتعقيد حسابي لاعتمادها على التحسين من الرتبة الثانية.
🔧 تقدم دالة هدف بديلة ومقصوصة تفرض عقوبة على تحديثات السياسة التي تبعد نسبة الاحتمال كثيرًا عن 1، مما يتيح جولات تدريبية متعددة من الانحدار التدريجي العشوائي عبر الحزم المصغرة.
📈 تتفوق على TRPO و A2C و ACER في مهام التحكم المستمر القياسية وألعاب Atari 2600، محققة متوسط مكافأة يتجاوز 4000 في معيار HalfCheetah-v1.

الملخص

نقترح عائلة جديدة من طرق تدرج السياسة (Policy Gradient) للتعلم المعزز، والتي تُناوب بين جمع البيانات عبر التفاعل مع البيئة، وتحسين دالة هدف "بديلة" (Surrogate Objective) باستخدام الصعود التدريجي العشوائي. في حين تطبق طرق تدرج السياسة القياسية تحديثًا تدريجيًا واحدًا لكل عينة بيانات، فإننا نقترح دالة هدف جديدة تتيح جولات تدريبية (Epochs) متعددة من تحديثات الحزم المصغرة (Minibatches). تتمتع الطرق الجديدة، التي نطلق عليها Proximal Policy Optimization (اختصارًا PPO)، ببعض مزايا Trust Region Policy Optimization (اختصارًا TRPO)، لكنها أسهل بكثير في التنفيذ، وأكثر عمومية، وتتمتع بكفاءة عينات أفضل (تجريبيًا). تختبر تجاربنا خوارزمية PPO على مجموعة من المهام القياسية، بما في ذلك الحركة الروبوتية المحاكاة ولعب ألعاب Atari، ونُظهر أن PPO تتفوق على طرق تدرج السياسة المباشرة الأخرى، وتحقق عمومًا توازنًا ممتازًا بين كفاءة العينات، والبساطة، والوقت الفعلي للتنفيذ.

الملخص الأصلي (بالإنجليزية)

We propose a new family of policy gradient methods for reinforcement learning, which alternate between sampling data through interaction with the environment, and optimizing a "surrogate" objective function using stochastic gradient ascent. Whereas standard policy gradient methods perform one gradient update per data sample, we propose a novel objective function that enables multiple epochs of minibatch updates. The new methods, which we call proximal policy optimization (PPO), have some of the benefits of trust region policy optimization (TRPO), but they are much simpler to implement, more general, and have better sample complexity (empirically). Our experiments test PPO on a collection of benchmark tasks, including simulated robotic locomotion and Atari game playing, and we show that PPO outperforms other online policy gradient methods, and overall strikes a favorable balance between sample complexity, simplicity, and wall-time.

دليل القراءة

المشكلة والدافع

تُجري طرق تدرج السياسة (Policy Gradient) القياسية خطوة انحدار تدريجي عشوائي واحدة لكل مسار تم جمع عيناته، مما يؤدي إلى ضعف كفاءة العينات. ورغم أن خوارزمية Trust Region Policy Optimization (TRPO) تعالج مشكلة عدم الاستقرار عبر فرض قيد على تباعد كولباك-ليبلير (KL divergence) بين توزيعي السياسة القديمة والجديدة، إلا أنها تتطلب حساب مشتقات من الرتبة الثانية (مصفوفة معلومات فيشر عبر خوارزميات التدرج المترافق). وهذا يجعل TRPO مكلفة حسابيًا، وصعبة التنفيذ، ومعقدة الدمج مع البنى التي تتشارك المعاملات بين شبكات السياسة وشبكات القيمة أو التي تستخدم الشبكات العصبية المتكررة (RNNs).

الأفكار الرئيسية

تحتفظ PPO بمزايا الاستقرار الموجودة في TRPO مع الاعتماد كليًا على التحسين من الرتبة الأولى. وتحقق ذلك عن طريق تعديل دالة الهدف بدلاً من فرض قيد صارم أو ثقيل حسابيًا:

نسبة الاحتمال (Probability Ratio): تُعرّف وزن الأهمية بالشكل $r_{t} (θ) = \frac{π _{θ} ( a _{t} ∣ s _{t} )}{π _{θ_{old}} ( a _{t} ∣ s _{t} )}$ ، حيث يكون $r_{t} (θ_{old}) = 1$ .
الهدف البديل المقصوص (Clipped Surrogate Objective): يمنع $r_{t} (θ)$ من الابتعاد كثيرًا عن 1 عن طريق قص النسبة إلى النطاق $[1 - ϵ, 1 + ϵ]$ وأخذ الحد الأدنى بين الهدفين المقصوص وغير المقصوص. يعمل هذا كحد أدنى تشاؤمي يثبط تحديثات السياسة الكبيرة جدًا.
بديل عقوبة KL التكيفية: يستكشف أسلوبًا بديلًا يُعدّل تكيفيًا معامل عقوبة KL المدعو $β$ بناءً على تباعد KL المقاس مقارنة بالقيمة المستهدفة $d_{targ}$ .

الطريقة (مع المعادلات الأساسية)

بفرض أن $r_{t} (θ) = \frac{π _{θ} ( a _{t} ∣ s _{t} )}{π _{θ_{old}} ( a _{t} ∣ s _{t} )}$ وأن $\hat{A}_{t}$ هو تقدير لدالة الميزة (Advantage Function) عند الخطوة الزمنية $t$ . تكون دالة الهدف البديل المقصوص الأساسية هي:

$L^{CLIP} (θ) = \hat{E}_{t} [min (r_{t} (θ) \hat{A}_{t}, clip (r_{t} (θ), 1 - ϵ, 1 + ϵ) \hat{A}_{t})]$

عند تحسين شبكة تجمع بين دالتي السياسة والقيمة (معاملات مشتركة)، تتضمن دالة الخسارة الإجمالية الهدف البديل المقصوص، وخسارة الخطأ التربيعي لدالة القيمة، ومكافأة الإنتروبيا $S [π_{θ}]$ لتشجيع الاستكشاف:

$L_{t}^{CLIP+VF+S} (θ) = \hat{E}_{t} [L_{t}^{CLIP} (θ) - c_{1} (V_{θ} (s_{t}) - V_{t}^{targ})^{2} + c_{2} S [π_{θ}] (s_{t})]$

تُحسب الميزات $\hat{A}_{t}$ باستخدام تقدير الميزة المعمم Generalized Advantage Estimation (GAE):

$\hat{A}_{t} = l = 0 \sum \infty (γλ)^{l} δ_{t + l}^{V}$

حيث أن $δ_{t}^{V} = r_{t} + γV (s_{t + 1}) - V (s_{t})$ .

النتائج (مع أهم الأرقام)

معايير التحكم المستمر القياسية: تم التقييم على بيئات حركة MuJoCo (مثل HalfCheetah و Hopper و Walker2d و Humanoid). تفوقت PPO ذات الهدف المقصوص ( $L^{CLIP}$ ) على نسخة عقوبة KL التكيفية وتجاوزت TRPO في جميع المجالات تقريبًا. وفي بيئة HalfCheetah-v1، حققت PPO مكافأة حلقة تجاوزت 4000 خلال مليون خطوة فقط، متقدمة بفارق كبير عن TRPO والخطوط الأساسية الأخرى.
حساسية المعاملات الفائقة: أظهرت التجارب التي اختبرت $ϵ \in {0.1, 0.2, 0.3}$ أن القيمة $ϵ = 0.2$ حققت أداءً قويًا ومستمرًا.
ألعاب Atari: حققت PPO متوسط درجات أعلى لكل حلقة مقارنة بـ A2C في 30 لعبة من أصل 49، وتفوقت على ACER في كفاءة العينات والنتيجة النهائية عبر العديد من الألعاب الصعبة.

القيود والأسئلة المفتوحة

آلية القص هي حد أدنى تقريبي استدلالي (Heuristic) لا يضمن رياضيًا بقاء تحديثات السياسة داخل منطقة ثقة صارمة.
يظل الأداء حساسًا للمعاملات الفائقة الخاصة بتقدير الميزة المعمم ( $λ, γ$ ) وجداول معدل التعلم.
رغم تحسن كفاءة العينات مقارنة بطرق تدرج السياسة القياسية، إلا أنها تظل أقل مقارنة بالخوارزميات غير المعتمدة على السياسة بالكامل (Off-policy مثل Q-learning أو DDPG) في مهام التحكم المستمر.

المصطلحات الرئيسية

Proximal Policy Optimization (PPO): فئة من خوارزميات تدرج السياسة في التعلم المعزز تُحسن هدفًا بديلًا مقصوصًا عبر جولات تدريبية متعددة من الانحدار التدريجي العشوائي للحزم المصغرة.
Clipped Surrogate Objective: دالة هدف تُقيد نسبة احتمال السياسة ضمن المجال $[1 - ϵ, 1 + ϵ]$ لمنع التحديثات المزعزعة للاستقرار.
Trust Region Policy Optimization (TRPO): خوارزمية سابقة تُقيد تحديثات السياسة عبر قيد صارم لمتوسط تباعد KL، وتُحل باستخدام طرق التحسين من الرتبة الثانية.
Probability Ratio ($r_t(\theta)$): النسبة بين احتمال الفعل في ظل السياسة الجديدة واحتمال الفعل في ظل سياسة السلوك (القديمة): $π_{θ} (a_{t} ∣ s_{t}) / π_{θ_{old}} (a_{t} ∣ s_{t})$ .
Generalized Advantage Estimation (GAE): تقنية لتقدير الميزة تعتمد على المعاملين $γ$ و $λ$ لموازنة المقايضة بين التباين والانحياز.
Adaptive KL Penalty: صياغة بديلة لـ PPO تُغير ديناميكيًا معامل لاغرانج المفروض على تباعد KL إذا انحرف التباعد التجريبي عن عتبة مستهدفة.
Surrogate Objective: تقريب محلي لأداء السياسة المتوقع يتطابق مع الهدف الحقيقي حتى الرتبة الأولى حول المعاملات الحالية.

أسئلة شائعة

لماذا تأخذ PPO الحد الأدنى بين الهدف المقصوص وغير المقصوص؟

أخذ الحد الأدنى يولد حدًا تشاؤميًا أدنى للهدف البديل، مما يضمن تجاهل الخوارزمية للتحديثات التي قد تعطي مكافآت إيجابية كبيرة إذا انحرفت نسبة الاحتمال بشكل مفرط عن 1.

ما هي الميزة العملية الأساسية لـ PPO مقارنة بـ TRPO؟

تستخدم PPO خوارزميات تحسين قياسية من الرتبة الأولى (مثل Adam) بدلاً من طرق التدرج المترافق من الرتبة الثانية، مما يجعلها أبسط في التنفيذ، وأسرع في كل تكرار، ومتوافقة مع البنى ذات المعاملات المشتركة.

ما هي قيمة معامل القص $\epsilon$ الأفضل عمليًا؟

اختبر المؤلفون تجريبيًا القيم $ϵ \in {0.1, 0.2, 0.3}$ عبر مهام قياس الحركة ووجدوا أن $ϵ = 0.2$ حققت الأداء الأفضل باستمرار.

هل يمكن تطبيق PPO على البنى التي تتشارك معاملات السياسة والقيمة؟

نعم، تستطيع PPO دمج الهدف البديل المقصوص، وخسارة الخطأ التربيعي لدالة القيمة، ومكافأة الإنتروبيا في دالة خسارة قياسية واحدة يتم تحسينها عبر الانتشار الخلفي.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي