Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Rafael Rafailov; Archit Sharma; Eric Mitchell; Stefano Ermon; Christopher D. Manning; Chelsea Finn

शोध पत्र · arXiv 2305.18290

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning, Chelsea Finn

प्रकाशित 2023-05-29cs.LGcs.AIcs.CL arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

📌 मानक RLHF पाइपलाइन जटिल, कम्प्यूटेशनल रूप से भारी और अस्थिर होती हैं क्योंकि उन्हें एक अलग रिवॉर्ड मॉडल को प्रशिक्षित करने और ऑनलाइन पॉलिसी सैंपलिंग के साथ रीइन्फोर्समेंट लर्निंग (जैसे, PPO) चलाने की आवश्यकता होती है।
📌 DPO, KL-बाध्य RL उद्देश्य की क्लोज्ड-फॉर्म इष्टतम पॉलिसी का उपयोग करके Bradley-Terry प्राथमिकता मॉडल को विश्लेषणात्मक रूप से पुनः पैरामीटरकृत करता है, जिससे पॉलिसी सीधे बाइनरी क्रॉस-एंट्रॉपी लॉस के साथ अनुकूलित होती है।
📌 Reddit TL;DR संक्षेपण पर, DPO संदर्भ पूर्णताओं की तुलना में ~61% विन रेट हासिल करता है (PPO के लिए 57% के मुकाबले) और सेंटिमेंट नियंत्रण में रिवॉर्ड-KL फ्रंटियर पर PPO से काफी बेहतर प्रदर्शन करता है।

सार

यद्यपि बड़े पैमाने पर अनसुपरवाइज्ड लैंग्वेज मॉडल्स (LMs) व्यापक वैश्विक ज्ञान और कुछ तार्किक क्षमताएं सीख लेते हैं, लेकिन उनके प्रशिक्षण के पूरी तरह से अनसुपरवाइज्ड होने के कारण उनके व्यवहार पर सटीक नियंत्रण पाना कठिन होता है। इस प्रकार की नियंत्रणीयता (steerability) प्राप्त करने की मौजूदा विधियाँ मॉडल द्वारा उत्पन्न आउटपुट की सापेक्ष गुणवत्ता के मानवीय लेबल्स एकत्र करती हैं और अनसुपरवाइज्ड LM को इन प्राथमिकताओं के अनुरूप संरेखित करने के लिए फ़ाइन-ट्यून करती हैं, जो अक्सर रीइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) के माध्यम से किया जाता है। हालाँकि, RLHF एक जटिल और अक्सर अस्थिर प्रक्रिया है, जिसमें पहले मानवीय प्राथमिकताओं को दर्शाने वाला एक रिवॉर्ड मॉडल तैयार किया जाता है, और फिर मूल मॉडल से बहुत दूर भटके बिना इस अनुमानित रिवॉर्ड को अधिकतम करने के लिए रीइन्फोर्समेंट लर्निंग का उपयोग करके बड़े अनसुपरवाइज्ड LM को फ़ाइन-ट्यून किया जाता है। इस शोधपत्र में, हम RLHF में रिवॉर्ड मॉडल का एक नया पैरामीटरकरण प्रस्तुत करते हैं जो इसके अनुरूप इष्टतम पॉलिसी को क्लोज्ड फॉर्म में निकालने में सक्षम बनाता है, जिससे हम केवल एक सरल क्लासिफिकेशन लॉस के साथ मानक RLHF समस्या को हल कर सकते हैं। इसके परिणामस्वरूप प्राप्त एल्गोरिदम, जिसे हम Direct Preference Optimization (DPO) कहते हैं, स्थिर, उच्च प्रदर्शनकारी और कम्प्यूटेशनल रूप से हल्का है, जो फ़ाइन-ट्यूनिंग के दौरान LM से सैंपलिंग करने या अत्यधिक हाइपरपैरामीटर ट्यूनिंग करने की आवश्यकता को समाप्त करता है। हमारे प्रयोग दर्शाते हैं कि DPO, मानवीय प्राथमिकताओं के साथ LMs को संरेखित करने के लिए मौजूदा तरीकों जितना ही अच्छा या उससे बेहतर फ़ाइन-ट्यून कर सकता है। विशेष रूप से, DPO के साथ फ़ाइन-ट्यूनिंग जेनरेशन के सेंटिमेंट को नियंत्रित करने की क्षमता में PPO-आधारित RLHF से बेहतर प्रदर्शन करती है, और लागू करने व प्रशिक्षित करने में काफी सरल होने के साथ-साथ संक्षेपण (summarization) और सिंगल-टर्न संवाद में प्रतिक्रिया की गुणवत्ता से मेल खाती है या उसमें सुधार करती है।

मूल सार (अंग्रेज़ी)

While large-scale unsupervised language models (LMs) learn broad world knowledge and some reasoning skills, achieving precise control of their behavior is difficult due to the completely unsupervised nature of their training. Existing methods for gaining such steerability collect human labels of the relative quality of model generations and fine-tune the unsupervised LM to align with these preferences, often with reinforcement learning from human feedback (RLHF). However, RLHF is a complex and often unstable procedure, first fitting a reward model that reflects the human preferences, and then fine-tuning the large unsupervised LM using reinforcement learning to maximize this estimated reward without drifting too far from the original model. In this paper we introduce a new parameterization of the reward model in RLHF that enables extraction of the corresponding optimal policy in closed form, allowing us to solve the standard RLHF problem with only a simple classification loss. The resulting algorithm, which we call Direct Preference Optimization (DPO), is stable, performant, and computationally lightweight, eliminating the need for sampling from the LM during fine-tuning or performing significant hyperparameter tuning. Our experiments show that DPO can fine-tune LMs to align with human preferences as well as or better than existing methods. Notably, fine-tuning with DPO exceeds PPO-based RLHF in ability to control sentiment of generations, and matches or improves response quality in summarization and single-turn dialogue while being substantially simpler to implement and train.

पढ़ने की गाइड

समस्या और प्रेरणा

लार्ज लैंग्वेज मॉडल्स (LMs) अनसुपरवाइज्ड प्री-ट्रेनिंग के दौरान व्यापक वैश्विक ज्ञान प्राप्त करते हैं, लेकिन उनके आउटपुट को उपयोगी और सुरक्षित व्यवहार की ओर निर्देशित करना अभी भी चुनौतीपूर्ण बना हुआ है। मानक Reinforcement Learning from Human Feedback (RLHF) पाइपलाइन इसे तीन चरणों में हल करती हैं: Supervised Fine-Tuning (SFT), Bradley-Terry मॉडल के तहत अधिकतम संभावना (maximum likelihood) के माध्यम से युग्मित प्राथमिकताओं (pairwise preferences) पर एक रिवॉर्ड मॉडल फिट करना, और संदर्भ पॉलिसी $π_{ref}$ के सापेक्ष Kullback-Leibler (KL) डाइवर्जेंस पेनल्टी लागू करते हुए अनुमानित रिवॉर्ड को अधिकतम करने के लिए रीइन्फोर्समेंट लर्निंग (आमतौर पर PPO) के माध्यम से पॉलिसी अनुकूलन।

हालाँकि, एक्टर-क्रिटिक RL एल्गोरिदम के साथ RLHF विशेष रूप से जटिल, नाजुक, हाइपरपैरामीटर्स के प्रति संवेदनशील और कम्प्यूटेशनल रूप से महंगा है क्योंकि इसके लिए कई मॉडल्स (एक्टर, क्रिटिक, संदर्भ, रिवॉर्ड मॉडल) को प्रशिक्षित करने और ट्रेनिंग लूप में जेनरेशन्स के सैंपलिंग की आवश्यकता होती है।

मुख्य विचार

पॉलिसी और रिवॉर्ड के बीच विश्लेषणात्मक मैपिंग: KL-बाध्य रिवॉर्ड अधिकतमकरण उद्देश्य $max_{π_{θ}} E [r (x, y)] - β D_{KL} (π_{θ} ∥ π_{ref})$ के इष्टतम समाधान का एक ज्ञात क्लोज्ड-फॉर्म प्रतिनिधित्व है: $π_{r} (y ∣ x) = \frac{1}{Z ( x )} π_{ref} (y ∣ x) exp (\frac{1}{β} r (x, y))$ ।
रिवॉर्ड पुनपैरामीटरकरण (Reward reparameterization): इस समानता को पुनर्व्यवस्थित करने पर वास्तविक (ground-truth) रिवॉर्ड को इष्टतम पॉलिसी के माध्यम से व्यक्त किया जा सकता है: $r (x, y) = β lo g \frac{π ( y ∣ x )}{π _{ref} ( y ∣ x )} + β lo g Z (x)$ ।
पार्टिशन फंक्शन का निरस्तीकरण: Bradley-Terry जैसे युग्मित तुलना मॉडलों के तहत, प्राथमिकता की संभावनाएं केवल रिवॉर्ड्स के अंतर $r (x, y_{w}) - r (x, y_{l})$ पर निर्भर करती हैं। अज्ञात प्रॉम्प्ट-निर्भर पार्टिशन फंक्शन $β lo g Z (x)$ पूरी तरह से निरस्त (cancel out) हो जाता है।
अंतर्निहित रिवॉर्ड मॉडलिंग (Implicit reward modeling): एक स्पष्ट स्केलर रिवॉर्ड नेटवर्क को अनुकूलित करने और RL चलाने के बजाय, DPO सीधे स्टेटिक प्राथमिकता युग्मों $D = {(x, y_{w}, y_{l})}$ पर अधिकतम संभावना के माध्यम से पॉलिसी को फिट करता है।

विधि (प्रमुख समीकरणों के साथ)

Bradley-Terry प्राथमिकता मॉडल के तहत, प्रॉम्प्ट $x$ दिए जाने पर $y_{l}$ की तुलना में पूर्णता $y_{w}$ को प्राथमिकता दिए जाने की संभावना है: $p^{*} (y_{w} ≻ y_{l} ∣ x) = σ (r^{*} (x, y_{w}) - r^{*} (x, y_{l}))$

पॉलिसी-निहित रिवॉर्ड $\overset{r}{^}_{θ} (x, y) = β lo g \frac{π _{θ} ( y ∣ x )}{π _{ref} ( y ∣ x )}$ को प्रतिस्थापित करने पर Direct Preference Optimization (DPO) उद्देश्य प्राप्त होता है: $L_{DPO} (π_{θ}; π_{ref}) = - E_{(x, y_{w}, y_{l}) \sim D} [lo g σ (β lo g \frac{π _{θ} ( y _{w} ∣ x )}{π _{ref} ( y _{w} ∣ x )} - β lo g \frac{π _{θ} ( y _{l} ∣ x )}{π _{ref} ( y _{l} ∣ x )})]$

पॉलिसी पैरामीटर्स $θ$ के सापेक्ष ग्रेडिएंट है: $\nabla_{θ} L_{DPO} (π_{θ}; π_{ref}) = - β E_{(x, y_{w}, y_{l}) \sim D} [σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w})) [\nabla_{θ} lo g π_{θ} (y_{w} ∣ x) - \nabla_{θ} lo g π_{θ} (y_{l} ∣ x)]]$

यहाँ, ग्रेडिएंट $y_{w}$ की संभावना को बढ़ाता है और $y_{l}$ की संभावना को कम करता है। डायनामिक स्केलर वेट $σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w}))$ इस आधार पर अपडेट को स्केल करता है कि अंतर्निहित रिवॉर्ड वर्तमान में पेयर को कितनी गलत तरीके से स्कोर करता है, जिससे अनवेटेड संभावना उद्देश्यों के साथ होने वाले मॉडल डीजेनरेशन को रोका जा सकता है।

परिणाम (सबसे महत्वपूर्ण आंकड़ों के साथ)

नियंत्रित सेंटिमेंट जेनरेशन (IMDb + GPT-2-large): DPO पूरे रिवॉर्ड-KL फ्रंटियर पर PPO से स्पष्ट रूप से बेहतर है, जो $π_{ref}$ से सीक्वेंस-स्तरीय KL डाइवर्जेंस के प्रत्येक स्तर पर उच्च रिवॉर्ड प्राप्त करता है, यहाँ तक कि ग्राउंड-ट्रुथ ओरेकल रिवॉर्ड्स (PPO-GT) वाले PPO से भी बेहतर प्रदर्शन करता है।
TL;DR संक्षेपण (GPT-J 6B):
- तापमान 0.0 पर, DPO ने GPT-4 द्वारा मूल्यांकित संदर्भ पूर्णताओं के मुकाबले लगभग 61% विन रेट हासिल किया, जबकि PPO के लिए यह 57% (इसके इष्टतम तापमान 0.0 पर) था।
- TL;DR पर आमने-सामने के सारांशों की तुलना करने वाले एक मानव अध्ययन में, तापमान 0.25 पर DPO पूर्णताओं को तापमान 0.0 पर PPO पूर्णताओं की तुलना में 58% बार प्राथमिकता दी गई।
- DPO सभी तापमानों पर स्थिरता बनाए रखता है, जबकि PPO तापमान 1.0 पर तेजी से बेस मॉडल की ओर गिरता है।
आउट-ऑफ-डिस्ट्रिब्यूशन सामान्यीकरण (CNN/DailyMail): बिना किसी अतिरिक्त फ़ाइन-ट्यूनिंग के CNN/DailyMail समाचार लेखों पर ज़ीरो-शॉट मूल्यांकन करने पर, DPO तापमान 0 पर ग्राउंड-ट्रुथ सारांशों के खिलाफ 0.36 विन रेट प्राप्त करता है (PPO के लिए 0.26 के मुकाबले), और तापमान 0.25 पर 0.31 प्राप्त करता है (PPO के लिए 0.23 के मुकाबले)।
सिंगल-टर्न डायलॉग (Anthropic HH + Pythia-2.8B): DPO परीक्षण की गई एकमात्र कम्प्यूटेशनल रूप से हल्की विधि है जो पसंदीदा टेस्ट-सेट पूर्णताओं से बेहतर प्रदर्शन करती है, और कम्प्यूटेशनल रूप से महंगी Best-of-128 सैंपलिंग बेसलाइन के बराबर या उससे थोड़ा बेहतर प्रदर्शन करती है।

सीमाएं और खुले प्रश्न

आउट-ऑफ-डिस्ट्रिब्यूशन सामान्यीकरण: यद्यपि CNN/DailyMail पर प्रारंभिक परीक्षण मजबूत स्थानांतरण दिखाते हैं, शोधपत्र में उल्लेख किया गया है कि व्यापक बदलावों में स्पष्ट सामान्यीकृत रिवॉर्ड मॉडल सीखने की तुलना में डायरेक्ट पॉलिसी ऑप्टिमाइज़ेशन कैसा प्रदर्शन करता है, इसे समझने के लिए और अधिक अध्ययन की आवश्यकता है।
रिवॉर्ड ओवर-ऑप्टिमाइज़ेशन: शोधकर्ताओं ने संवाद प्रयोगों के दौरान प्रशिक्षण के अंतिम चरणों में प्रदर्शन में मामूली गिरावट देखी है, जिससे यह सवाल खुला रह जाता है कि क्या और कैसे अंतर्निहित रिवॉर्ड मॉडल के भीतर क्लासिक "रिवॉर्ड हैकिंग" या ओवर-ऑप्टिमाइज़ेशन होता है।
अनलेबल्ड डेटा का उपयोग: PPO के विपरीत, जो RL रोलआउट के दौरान मनमाने अनलेबल्ड प्रॉम्प्ट्स पर जेनरेट कर सकता है, मानक DPO युग्मित तुलनाओं पर प्रशिक्षित एक ऑफ़लाइन एल्गोरिदम है; सेल्फ-लेबलिंग या पुनरावृत्त (iterative) संग्रह के माध्यम से इसका विस्तार करना एक खुला क्षेत्र है।
मूल्यांकन निर्भरताएं: स्वचालित मूल्यांकन GPT-4 प्रॉम्प्ट की शब्दावली (संक्षिप्त प्रॉम्प्ट बनाम सरल प्रॉम्प्ट) पर बहुत अधिक निर्भर करता है, जो LLM-as-a-judge पद्धतियों में संवेदनशीलता को उजागर करता है।

मुख्य शब्द

Direct Preference Optimization (DPO): एक एल्गोरिदम जो स्पष्ट रिवॉर्ड मॉडलिंग और रीइन्फोर्समेंट लर्निंग को दरकिनार करते हुए, सीधे पॉलिसी लॉग रेशियो पर बाइनरी क्रॉस-एंट्रॉपी लॉस का उपयोग करके लैंग्वेज मॉडल्स को प्राथमिकताओं के अनुसार संरेखित करता है।
Bradley-Terry model: युग्मित तुलनाओं के लिए एक संभाव्य मॉडल जो यह निर्धारित करता है कि पूर्णता $y_{2}$ की तुलना में $y_{1}$ को प्राथमिकता देने की संभावना उनके रिवॉर्ड अंतर के लॉजिस्टिक सिग्मॉइड पर निर्भर करती है।
KL-constrained reward maximization: मानक RLHF अनुकूलन उद्देश्य जो सीखी गई पॉलिसी और एक संदर्भ पॉलिसी के बीच Kullback-Leibler डाइवर्जेंस को दंडित करते हुए अपेक्षित रिवॉर्ड को अधिकतम करने में संतुलन बनाता है।
implicit reward: संदर्भ मॉडल के सापेक्ष लैंग्वेज मॉडल पॉलिसी द्वारा गणितीय रूप से निहित रिवॉर्ड फंक्शन $\overset{r}{^}_{θ} (x, y) = β lo g (π_{θ} (y ∣ x) / π_{ref} (y ∣ x))$ ।
reference policy (\pi_{\text{ref}}): बेसलाइन लैंग्वेज मॉडल—आमतौर पर सुपरवाइज्ड फ़ाइन-ट्यून्ड (SFT) मॉडल—जिसका उपयोग पॉलिसी ड्रिफ्ट को रोकने और अंतर्निहित रिवॉर्ड को परिभाषित करने के लिए किया जाता है।
Best of N: एक टेस्ट-टाइम डिकोडिंग बेसलाइन जो पॉलिसी से $N$ पूर्णताओं का सैंपल लेती है और एक सीखे गए रिवॉर्ड मॉडल से उच्चतम स्कोर वाले उम्मीदवार का चयन करती है।
Plackett-Luce model: दो से अधिक वस्तुओं के सेट के लिए एक सामान्यीकृत रैंकिंग मॉडल, जिससे Bradley-Terry मॉडल एक युग्मित (pairwise) विशेष मामले के रूप में उत्पन्न होता है।
unlikelihood training: एक बेसलाइन प्रशिक्षण तकनीक जो गैर-पसंदीदा पूर्णताओं की टोकन संभावना को सीधे दंडित करते हुए पसंदीदा पूर्णताओं की संभावना को अधिकतम करती है।

प्रश्न

DPO को पार्टिशन फंक्शन Z(x) का अनुमान लगाने की आवश्यकता क्यों नहीं होती है?

पार्टिशन फंक्शन $Z (x)$ पूरी तरह से प्रॉम्प्ट $x$ और संदर्भ पॉलिसी पर निर्भर करता है, न कि पूर्णता $y$ पर। चूँकि युग्मित प्राथमिकता मॉडल (जैसे Bradley-Terry) केवल एक ही प्रॉम्प्ट के लिए दो पूर्णताओं के रिवॉर्ड्स के अंतर पर निर्भर करते हैं, इसलिए $Z (x)$ बीजगणितीय रूप से निरस्त (cancel out) हो जाता है।

सरल unlikelihood उद्देश्यों की तुलना में DPO पॉलिसी डिजनरेशन से कैसे बचाता है?

DPO के ग्रेडिएंट में एक डायनामिक वेटिंग टर्म $σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w}))$ शामिल होता है, जो इस बात पर निर्भर करते हुए ग्रेडिएंट अपडेट को स्केल करता है कि अंतर्निहित रिवॉर्ड पेयर को कितनी गलत तरीके से रैंक करता है। यदि मॉडल पहले से ही $y_{w}$ को $y_{l}$ की तुलना में बहुत अधिक आंकता है, तो ग्रेडिएंट शून्य हो जाता है, जिससे अनियंत्रित प्रायिकता विनाश रुक जाता है।

क्या DPO सीखे गए रिवॉर्ड फ़ंक्शन्स की अभिव्यंजक क्षमता (expressive capacity) को सीमित करता है?

नहीं। प्रमेय 1 यह सिद्ध करता है कि सामान्य मान्यताओं के तहत, Bradley-Terry या Plackett-Luce मॉडल के तहत मान्य प्राथमिकता वितरण उत्पन्न करने वाले प्रत्येक रिवॉर्ड तुल्यता वर्ग को $r (x, y) = β lo g (π (y ∣ x) / π_{ref} (y ∣ x))$ के रूप में विशिष्ट रूप से पुनपैरामीटरकृत किया जा सकता है।

यदि मूल SFT मॉडल अनुपलब्ध हो तो संदर्भ पॉलिसी को कैसे प्रारंभ (initialize) किया जाता है?

जब मूल SFT चेकपॉइंट अनुपलब्ध होता है, तो लेखक प्राथमिकता डेटासेट (Preferred-FT) में पसंदीदा पूर्णताओं $y_{w}$ की संभावना को अधिकतम करने के लिए एक सामान्य LM को प्रशिक्षित करके $π_{ref}$ को प्रारंभ करते हैं, जिससे वितरण बदलाव कम हो जाता है।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें