Proximal Policy Optimization Algorithms

John Schulman; Filip Wolski; Prafulla Dhariwal; Alec Radford; Oleg Klimov

शोध पत्र · arXiv 1707.06347

Proximal Policy Optimization Algorithms

John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov

प्रकाशित 2017-07-20cs.LG arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 मानक पॉलिसी ग्रेडिएंट विधियाँ सैंपल-अक्षम और अस्थिर होती हैं, जबकि Trust Region Policy Optimization (TRPO) कम्प्यूटेशनल रूप से जटिल है और सेकंड-ऑर्डर ऑप्टिमाइज़ेशन पर निर्भर करता है।
🔧 एक नवीन क्लिप्ड सरोगेट ऑब्जेक्टिव फंक्शन प्रस्तुत करता है, जो प्रायिकता अनुपात को 1 से बहुत दूर ले जाने वाले पॉलिसी अपडेट्स को दंडित करता है, जिससे मिनीबैच स्टोकेस्टिक ग्रेडिएंट डिसेंट के कई युगों की अनुमति मिलती है।
📈 कंटीन्यूअस कंट्रोल बेंचमार्क कार्यों और Atari 2600 गेम्स पर TRPO, A2C, और ACER से बेहतर प्रदर्शन करता है, और HalfCheetah-v1 बेंचमार्क पर 4000 से अधिक का औसत एपिसोडिक रिवॉर्ड प्राप्त करता है।

सार

हम रीइन्फोर्समेंट लर्निंग के लिए पॉलिसी ग्रेडिएंट विधियों का एक नया परिवार प्रस्तावित करते हैं, जो पर्यावरण के साथ इंटरैक्शन के माध्यम से डेटा एकत्र करने और स्टोकेस्टिक ग्रेडिएंट एसेंट का उपयोग करके एक "सरोगेट" ऑब्जेक्टिव फंक्शन को ऑप्टिमाइज़ करने के बीच बारी-बारी से काम करता है। जहाँ मानक पॉलिसी ग्रेडिएंट विधियाँ प्रति डेटा सैंपल केवल एक ग्रेडिएंट अपडेट करती हैं, वहीं हम एक नया ऑब्जेक्टिव फंक्शन प्रस्तावित करते हैं जो मिनीबैच अपडेट्स के कई युगों (epochs) को सक्षम बनाता है। इन नए तरीकों को, जिन्हें हम Proximal Policy Optimization (PPO) कहते हैं, ट्रस्ट रीजन पॉलिसी ऑप्टिमाइज़ेशन (TRPO) के कुछ लाभ प्राप्त हैं, लेकिन इन्हें लागू करना कहीं अधिक सरल है, ये अधिक सामान्य हैं, और इनकी सैंपल जटिलता (प्रायोगिक तौर पर) बेहतर है। हमारे प्रयोग PPO को सिम्युलेटेड रोबोटिक लोकोमोशन और Atari गेम प्लेइंग सहित बेंचमार्क कार्यों के संग्रह पर टेस्ट करते हैं, और हम दिखाते हैं कि PPO अन्य ऑनलाइन पॉलिसी ग्रेडिएंट विधियों से बेहतर प्रदर्शन करता है, और कुल मिलाकर सैंपल जटिलता, सरलता और वॉल-टाइम के बीच एक अनुकूल संतुलन स्थापित करता है।

मूल सार (अंग्रेज़ी)

We propose a new family of policy gradient methods for reinforcement learning, which alternate between sampling data through interaction with the environment, and optimizing a "surrogate" objective function using stochastic gradient ascent. Whereas standard policy gradient methods perform one gradient update per data sample, we propose a novel objective function that enables multiple epochs of minibatch updates. The new methods, which we call proximal policy optimization (PPO), have some of the benefits of trust region policy optimization (TRPO), but they are much simpler to implement, more general, and have better sample complexity (empirically). Our experiments test PPO on a collection of benchmark tasks, including simulated robotic locomotion and Atari game playing, and we show that PPO outperforms other online policy gradient methods, and overall strikes a favorable balance between sample complexity, simplicity, and wall-time.

पढ़ने की गाइड

समस्या और प्रेरणा

मानक पॉलिसी ग्रेडिएंट विधियाँ प्रति सैंपल्ड ट्रैजेक्टरी केवल एक स्टोकेस्टिक ग्रेडिएंट डिसेंट स्टेप निष्पादित करती हैं, जिससे सैंपल दक्षता खराब हो जाती है। यद्यपि Trust Region Policy Optimization (TRPO) पुरानी और नई पॉलिसी वितरणों के बीच Kullback-Leibler (KL) डाइवर्जेंस पर एक बाधा (constraint) लागू करके अस्थिरता को हल करता है, लेकिन इसके लिए सेकंड-ऑर्डर डेरिवेटिव्स (कंजुगेट ग्रेडिएंट एल्गोरिदम के माध्यम से फिशर इंफॉर्मेशन मैट्रिक्स) की गणना की आवश्यकता होती है। यह TRPO को कम्प्यूटेशनल रूप से महंगा, लागू करने में कठिन और ऐसे आर्किटेक्चर के साथ एकीकृत करने में असमर्थ बनाता है जो पॉलिसी और वैल्यू नेटवर्क के बीच पैरामीटर साझा करते हैं या रिकरेंट न्यूरल नेटवर्क (RNNs) का उपयोग करते हैं।

मुख्य विचार

PPO पूरी तरह से फर्स्ट-ऑर्डर ऑप्टिमाइज़ेशन पर निर्भर रहते हुए TRPO के स्थिरता लाभों को बरकरार रखता है। यह किसी कठोर या कम्प्यूटेशनल रूप से भारी बाधा को लागू करने के बजाय ऑब्जेक्टिव फंक्शन को संशोधित करके इसे प्राप्त करता है:

प्रायिकता अनुपात (Probability Ratio): यह इम्पॉर्टेंस वेट $r_{t} (θ) = \frac{π _{θ} ( a _{t} ∣ s _{t} )}{π _{θ_{old}} ( a _{t} ∣ s _{t} )}$ को परिभाषित करता है, जहाँ $r_{t} (θ_{old}) = 1$ है।
क्लिप्ड सरोगेट ऑब्जेक्टिव (Clipped Surrogate Objective): अनुपात को $[1 - ϵ, 1 + ϵ]$ तक क्लिप करके और क्लिप्ड व अनक्लिप्ड ऑब्जेक्टिव्स का न्यूनतम (minimum) मान लेकर $r_{t} (θ)$ को 1 से बहुत दूर जाने से रोकता है। यह एक निराशावादी सीमा (pessimistic bound) के रूप में कार्य करता है, जो अत्यधिक बड़े पॉलिसी अपडेट्स को हतोत्साहित करता है।
अनुकूली KL पेनल्टी विकल्प (Adaptive KL Penalty Alternative): एक वैकल्पिक दृष्टिकोण का अन्वेषण करता है जो एक लक्ष्य मान $d_{targ}$ के सापेक्ष मापे गए KL डाइवर्जेंस के आधार पर एक KL पेनल्टी गुणांक $β$ को अनुकूली रूप से समायोजित करता है।

विधि (प्रमुख समीकरणों के साथ)

मान लें कि $r_{t} (θ) = \frac{π _{θ} ( a _{t} ∣ s _{t} )}{π _{θ_{old}} ( a _{t} ∣ s _{t} )}$ और $\hat{A}_{t}$ टाइमस्टेप $t$ पर एडवांटेज फंक्शन का एक अनुमानक है। मुख्य क्लिप्ड सरोगेट ऑब्जेक्टिव है:

$L^{CLIP} (θ) = \hat{E}_{t} [min (r_{t} (θ) \hat{A}_{t}, clip (r_{t} (θ), 1 - ϵ, 1 + ϵ) \hat{A}_{t})]$

जब एक संयुक्त पॉलिसी और वैल्यू फंक्शन नेटवर्क (पैरामीटर साझा करने वाले) को ऑप्टिमाइज़ किया जाता है, तो संयुक्त लॉस फंक्शन में क्लिप्ड सरोगेट, एक स्क्वेयर्ड-एरर वैल्यू फंक्शन लॉस, और एक्सप्लोरेशन को प्रोत्साहित करने के लिए एक एंट्रॉपी बोनस $S [π_{θ}]$ शामिल होता है:

$L_{t}^{CLIP+VF+S} (θ) = \hat{E}_{t} [L_{t}^{CLIP} (θ) - c_{1} (V_{θ} (s_{t}) - V_{t}^{targ})^{2} + c_{2} S [π_{θ}] (s_{t})]$

एडवांटेज $\hat{A}_{t}$ की गणना Generalized Advantage Estimation (GAE) का उपयोग करके की जाती है:

$\hat{A}_{t} = l = 0 \sum \infty (γλ)^{l} δ_{t + l}^{V}$

जहाँ $δ_{t}^{V} = r_{t} + γV (s_{t + 1}) - V (s_{t})$ है।

परिणाम (सर्वाधिक महत्वपूर्ण संख्याओं के साथ)

कंटीन्यूअस कंट्रोल बेंचमार्क: MuJoCo लोकोमोशन वातावरणों (उदा., HalfCheetah, Hopper, Walker2d, Humanoid) पर मूल्यांकन किया गया। क्लिप्ड ऑब्जेक्टिव ( $L^{CLIP}$ ) के साथ PPO ने अनुकूली KL पेनल्टी संस्करण से बेहतर प्रदर्शन किया और लगभग सभी डोमेन में TRPO को पीछे छोड़ दिया। HalfCheetah-v1 पर, PPO ने 1 मिलियन स्टेप्स के भीतर 4000 से अधिक का एपिसोडिक रिवॉर्ड स्कोर प्राप्त किया, जो TRPO और अन्य बेसलाइनों से काफी अधिक था।
हाइपरपैरामीटर संवेदनशीलता: $ϵ \in {0.1, 0.2, 0.3}$ का परीक्षण करने वाले प्रयोगों ने प्रदर्शित किया कि $ϵ = 0.2$ ने लगातार उत्कृष्ट प्रदर्शन दिया।
Atari गेम्स: PPO ने 49 में से 30 गेम्स में A2C की तुलना में उच्च औसत एपिसोडिक स्कोर प्राप्त किया, और कई चुनौतीपूर्ण शीर्षकों में सैंपल दक्षता और अंतिम स्कोर दोनों में ACER को पीछे छोड़ दिया।

सीमाएं और खुले प्रश्न

क्लिपिंग तंत्र एक अनुमानी निचली सीमा (heuristic lower bound) है जो औपचारिक रूप से यह गारंटी नहीं देता है कि पॉलिसी अपडेट एक सख्त ट्रस्ट रीजन के भीतर ही रहेंगे।
प्रदर्शन अभी भी सामान्यीकृत एडवांटेज अनुमान हाइपरपैरामीटर ( $λ, γ$ ) और लर्निंग रेट शेड्यूल के प्रति संवेदनशील बना हुआ है।
यद्यपि मानक पॉलिसी ग्रेडिएंट्स की तुलना में सैंपल दक्षता में सुधार होता है, फिर भी यह कंटीन्यूअस कंट्रोल कार्यों पर पूरी तरह से ऑफ-पॉलिसी एल्गोरिदम (उदा., Q-learning या DDPG) की तुलना में कम है।

मुख्य शब्द

Proximal Policy Optimization (PPO): रीइन्फोर्समेंट लर्निंग पॉलिसी ग्रेडिएंट एल्गोरिदम का एक वर्ग जो मिनीबैच स्टोकेस्टिक ग्रेडिएंट डिसेंट के कई युगों (epochs) का उपयोग करके एक क्लिप्ड सरोगेट ऑब्जेक्टिव को ऑप्टिमाइज़ करता है।
Clipped Surrogate Objective: एक ऑब्जेक्टिव फंक्शन जो अस्थिर करने वाले अपडेट्स को रोकने के लिए पॉलिसी प्रायिकता अनुपात को $[1 - ϵ, 1 + ϵ]$ के भीतर सीमित करता है।
Trust Region Policy Optimization (TRPO): एक पूर्ववर्ती एल्गोरिदम जो सेकंड-ऑर्डर विधियों का उपयोग करके हल किए गए कठोर औसत KL-डाइवर्जेंस प्रतिबंध के माध्यम से पॉलिसी अपडेट्स को नियंत्रित करता है।
Probability Ratio ($r_t(\theta)$): नई पॉलिसी के तहत एक्शन प्रायिकता और व्यवहार (पुरानी) पॉलिसी के तहत एक्शन प्रायिकता के बीच का अनुपात: $π_{θ} (a_{t} ∣ s_{t}) / π_{θ_{old}} (a_{t} ∣ s_{t})$ ।
Generalized Advantage Estimation (GAE): $γ$ और $λ$ द्वारा पैरामीटरयुक्त एक एडवांटेज अनुमान तकनीक जो वेरिएंस और बायस के बीच संतुलन बनाती है।
Adaptive KL Penalty: एक वैकल्पिक PPO संरूपण जो KL डाइवर्जेंस पर लैग्रेंज मल्टीप्लायर को गतिशील रूप से स्केल करता है यदि अनुभवजन्य डाइवर्जेंस एक लक्षित सीमा से विचलित होता है।
Surrogate Objective: अपेक्षित पॉलिसी प्रदर्शन का एक स्थानीय सन्निकटन जो वर्तमान पैरामीटरों के आसपास पहले क्रम के वास्तविक ऑब्जेक्टिव से मेल खाता है।

प्रश्न

PPO क्लिप्ड और अनक्लिप्ड ऑब्जेक्टिव्स के बीच न्यूनतम (minimum) मान क्यों लेता है?

न्यूनतम मान लेने से सरोगेट ऑब्जेक्टिव पर एक निराशावादी निचली सीमा बनती है, जिससे यह सुनिश्चित होता है कि एल्गोरिदम उन अपडेट्स को अनदेखा करता है जो प्रायिकता अनुपात के 1 से अत्यधिक विचलित होने पर बड़ा सकारात्मक रिवॉर्ड दे सकते हैं।

TRPO की तुलना में PPO का प्राथमिक व्यावहारिक लाभ क्या है?

PPO सेकंड-ऑर्डर कंजुगेट ग्रेडिएंट विधियों के बजाय मानक फर्स्ट-ऑर्डर ऑप्टिमाइज़र (जैसे Adam) का उपयोग करता है, जिससे इसे लागू करना आसान, प्रति पुनरावृत्ति तेज़ और साझा आर्किटेक्चर के साथ संगत बनाना संभव होता है।

क्लिपिंग पैरामीटर $\epsilon$ का कौन सा मान सबसे अच्छा काम करता है?

लेखकों ने बेंचमार्क लोकोमोशन कार्यों में $ϵ \in {0.1, 0.2, 0.3}$ का अनुभवजन्य परीक्षण किया और पाया कि $ϵ = 0.2$ ने लगातार सर्वश्रेष्ठ प्रदर्शन किया।

क्या PPO को साझा पॉलिसी और वैल्यू पैरामीटर वाले आर्किटेक्चर पर लागू किया जा सकता है?

हाँ, PPO क्लिप्ड सरोगेट ऑब्जेक्टिव, वैल्यू फंक्शन स्क्वेयर्ड एरर लॉस, और एक एंट्रॉपी बोनस को बैकप्रॉपैगैशन द्वारा ऑप्टिमाइज़ किए जाने वाले एकल स्केलर लॉस में संयोजित कर सकता है।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें