Constitutional AI: Harmlessness from AI Feedback

Yuntao Bai; Saurav Kadavath; Sandipan Kundu; Amanda Askell; Jackson Kernion; Andy Jones; Anna Chen; Anna Goldie; Azalia Mirhoseini; Cameron McKinnon; Carol Chen; Catherine Olsson; Christopher Olah; Danny Hernandez; Dawn Drain; Deep Ganguli; Dustin Li; Eli Tran-Johnson; Ethan Perez; Jamie Kerr; Jared Mueller; Jeffrey Ladish; Joshua Landau; Kamal Ndousse; Kamile Lukosuite; Liane Lovitt; Michael Sellitto; Nelson Elhage; Nicholas Schiefer; Noemi Mercado; Nova DasSarma; Robert Lasenby; Robin Larson; Sam Ringer; Scott Johnston; Shauna Kravec; Sheer El Showk; Stanislav Fort; Tamera Lanham; Timothy Telleen-Lawton; Tom Conerly; Tom Henighan; Tristan Hume; Samuel R. Bowman; Zac Hatfield-Dodds; Ben Mann; Dario Amodei; Nicholas Joseph; Sam McCandlish; Tom Brown

Constitutional AI: Harmlessness from AI Feedback

Yuntao Bai, Saurav Kadavath, Sandipan Kundu, Amanda Askell, Jackson Kernion, Andy Jones, Anna Chen, Anna Goldie, Azalia Mirhoseini, Cameron McKinnon, Carol Chen, Catherine Olsson et al.

प्रकाशित 2022-12-15cs.CLcs.AI arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 मानक RLHF मानव द्वारा दिए गए हानि लेबलों पर बहुत अधिक निर्भर करता है और अक्सर टालमटोल करने वाले असिस्टेंट्स तैयार करता है जो संवेदनशील प्रश्नों को पूरी तरह खारिज कर देते हैं।
🔧 Constitutional AI स्वचालित स्व-आलोचना, संशोधन और AI फीडबैक से रीइंफोर्समेंट लर्निंग (RLAIF) को संचालित करने के लिए प्राकृतिक भाषा के नियमों की एक लिखित सूची का उपयोग करता है।
📈 परिणामी RL-CAI मॉडल टालमटोल किए बिना हानिरहितता पर मानव-फीडबैक-प्रशिक्षित मॉडलों से मेल खाते हैं या उनसे आगे निकल जाते हैं, जबकि अपनी उपयोगिता बनाए रखते हैं।

सार

जैसे-जैसे AI सिस्टम अधिक सक्षम होते जा रहे हैं, हम अन्य AIs की निगरानी के लिए उनकी मदद लेना चाहते हैं। हम हानिकारक आउटपुट की पहचान करने वाले किसी भी मानवीय लेबल के बिना, आत्म-सुधार (self-improvement) के माध्यम से एक हानिरहित AI असिस्टेंट को प्रशिक्षित करने के तरीकों पर प्रयोग करते हैं। एकमात्र मानवीय निरीक्षण नियमों या सिद्धांतों की एक सूची के माध्यम से प्रदान किया जाता है, और इसलिए हम इस पद्धति को 'Constitutional AI' कहते हैं। इस प्रक्रिया में एक सुपरवाइज्ड लर्निंग और एक रीइंफोर्समेंट लर्निंग चरण दोनों शामिल हैं। सुपरवाइज्ड चरण में, हम एक प्रारंभिक मॉडल से सैंपल लेते हैं, फिर स्व-आलोचना (self-critiques) और संशोधन उत्पन्न करते हैं, और फिर संशोधित प्रतिक्रियाओं पर मूल मॉडल को फाइन-ट्यून करते हैं। RL चरण में, हम फाइन-ट्यून किए गए मॉडल से सैंपल लेते हैं, यह मूल्यांकन करने के लिए एक मॉडल का उपयोग करते हैं कि दो सैंपलों में से कौन सा बेहतर है, और फिर AI प्राथमिकताओं के इस डेटासेट से एक प्रिफरेंस मॉडल को प्रशिक्षित करते हैं। इसके बाद हम प्रिफरेंस मॉडल को रिवॉर्ड सिग्नल के रूप में उपयोग करके RL के साथ प्रशिक्षित करते हैं, यानी हम 'RL from AI Feedback' (RLAIF) का उपयोग करते हैं। परिणामस्वरूप, हम एक ऐसा हानिरहित लेकिन गैर-टालमटोल (non-evasive) AI असिस्टेंट प्रशिक्षित करने में सक्षम होते हैं जो हानिकारक प्रश्नों पर अपनी आपत्तियों को समझाते हुए उनसे जुड़ता है। SL और RL दोनों विधियाँ मानव-मूल्यांकित प्रदर्शन और AI निर्णय लेने की पारदर्शिता में सुधार करने के लिए chain-of-thought शैली के तर्क का लाभ उठा सकती हैं। ये विधियाँ AI व्यवहार को अधिक सटीक रूप से और बहुत कम मानव लेबलों के साथ नियंत्रित करना संभव बनाती हैं।

मूल सार (अंग्रेज़ी)

As AI systems become more capable, we would like to enlist their help to supervise other AIs. We experiment with methods for training a harmless AI assistant through self-improvement, without any human labels identifying harmful outputs. The only human oversight is provided through a list of rules or principles, and so we refer to the method as 'Constitutional AI'. The process involves both a supervised learning and a reinforcement learning phase. In the supervised phase we sample from an initial model, then generate self-critiques and revisions, and then finetune the original model on revised responses. In the RL phase, we sample from the finetuned model, use a model to evaluate which of the two samples is better, and then train a preference model from this dataset of AI preferences. We then train with RL using the preference model as the reward signal, i.e. we use 'RL from AI Feedback' (RLAIF). As a result we are able to train a harmless but non-evasive AI assistant that engages with harmful queries by explaining its objections to them. Both the SL and RL methods can leverage chain-of-thought style reasoning to improve the human-judged performance and transparency of AI decision making. These methods make it possible to control AI behavior more precisely and with far fewer human labels.

पढ़ने की गाइड

समस्या और प्रेरणा

लैंग्वेज असिस्टेंट्स को संरेखित (align) करते समय मानक Reinforcement Learning from Human Feedback (RLHF) कई बाधाओं का सामना करता है:

मानव हानि लेबलों पर अत्यधिक निर्भरता: हानिरहितता के लिए हजारों मानव वरीयता तुलनाओं को एकत्र करना महंगा है और यह मानव एनोटेटर्स को विषाक्त सामग्री के संपर्क में लाता है।
टालमटोल और उपयोगिता के साथ तनाव: RLHF के माध्यम से प्रशिक्षित मॉडल अक्सर संवेदनशील संकेतों का उत्तर “मैं इसका उत्तर नहीं दे सकता” जैसे तैयार किए गए इनकार के साथ देना सीखते हैं, जिससे उपयोगिता और पारदर्शिता का नुकसान होता है।
अपारदर्शिता: हजारों निजी वरीयता लेबल सटीक संरेखण उद्देश्यों को अंतर्निहित बना देते हैं और उनका निरीक्षण या ऑडिट करना कठिन हो जाता है।

Constitutional AI (CAI) का उद्देश्य मानव हानि एनोटेशन को स्पष्ट, प्राकृतिक भाषा सिद्धांतों (constitution) से बदलकर पर्यवेक्षण को बढ़ाना है, जिससे AI को आत्म-आलोचना करने, संशोधन करने और अपनी स्वयं की वरीयता फीडबैक उत्पन्न करने के लिए प्रशिक्षित किया जा सके।

मुख्य विचार

सिद्धांतों का एक संविधान (A Constitution of Principles): व्यवहार को मानव हानि लेबलों के बजाय पूरी तरह से प्राकृतिक भाषा के नियमों के एक छोटे समूह (लगभग 16 सिद्धांतों) के माध्यम से निर्देशित किया जाता है।
दो-चरणीय पाइपलाइन (Two-Stage Pipeline): एक Supervised Learning (SL) चरण स्व-आलोचनाओं और संशोधनों का उपयोग करके मॉडल आउटपुट को ऑन-डिस्ट्रिब्यूशन लाता है, जिसके बाद एक Reinforcement Learning from AI Feedback (RLAIF) चरण आता है जो मॉडल-मूल्यांकित तुलनाओं पर एक प्रिफरेंस मॉडल को प्रशिक्षित करता है।
टालमटोल के बजाय जुड़ाव (Engagement Over Evasiveness): असिस्टेंट को एकमुश्त इनकार करने के बजाय हानिकारक अनुरोधों पर आपत्तियों को समझाने के लिए निर्देशित किया जाता है।
चेन-ऑफ-थॉट पर्यवेक्षण (Chain-of-Thought (CoT) Supervision): मूल्यांकन के दौरान चरण-दर-चरण तर्क का लाभ उठाने से नुकसान की पहचान करने और बहुविकल्पीय प्राथमिकताओं का मूल्यांकन करने की मॉडल की क्षमता में काफी सुधार होता है।

विधि

1. सुपरवाइज्ड लर्निंग चरण (Critique $\to$ Revision $\to$ SL-CAI)

रेड-टीमिंग प्रॉम्प्ट $x$ का उपयोग करके एक सहायक RLHF मॉडल से प्रारंभिक आउटपुट का सैंपल लें।
मॉडल को यादृच्छिक रूप से चुने गए संवैधानिक सिद्धांत के अनुसार अपनी प्रतिक्रिया की आलोचना करने के लिए संकेत दें: $Critique \sim P_{model} (\cdot ∣ x, y_{initial}, CritiqueRequest)$
मॉडल को आलोचना को संतुष्ट करने के लिए प्रतिक्रिया को संशोधित करने का संकेत दें: $y_{revised} \sim P_{model} (\cdot ∣ x, y_{initial}, Critique, RevisionRequest)$
आलोचना-संशोधन को बार-बार दोहराएं (आमतौर पर 4 संशोधनों तक)।
1024 के बैच आकार में एक युग (epoch) के लिए उपयोगिता प्रदर्शन डेटा (182,831 रेड टीम प्रॉम्प्ट, 135,296 उपयोगिता प्रॉम्प्ट) के साथ संशोधित प्रतिक्रियाओं पर एक प्री-ट्रेन्ड LM को फाइन-ट्यून करें।

2. रीइंफोर्समेंट लर्निंग चरण (RLAIF)

SL-CAI मॉडल का उपयोग करके, प्रॉम्प्ट्स के लिए प्रतिक्रिया युग्मों $(y_{A}, y_{B})$ का सैंपल लें।
बातचीत, प्रतिक्रिया युग्म और एक सैंपल किए गए सिद्धांत को बहुविकल्पीय प्रारूप में एक फीडबैक मॉडल के सामने प्रस्तुत करें (वैकल्पिक रूप से Chain-of-Thought प्रॉम्प्टिंग का उपयोग करके)।
फीडबैक मॉडल के कंप्लीशन लॉगिट्स से सामान्यीकृत लक्ष्य संभावनाओं की गणना करें: $P (A) = \frac{e ^{z_{A}}}{e ^{z_{A}} + e ^{z_{B}}}$ Chain-of-Thought का उपयोग करते समय, अत्यधिक आत्मविश्वास से बचने के लिए लक्ष्य संभावनाओं को $[0.40, 0.60]$ की सीमा तक सीमित (clamp) किया जाता है।
मिश्रित डेटा का उपयोग करके एक Preference Model (PM) को प्रशिक्षित करें: 135,296 मानव-लेबल वाली उपयोगिता तुलनाएं और 182,831 AI-जनरेटेड हानिरहितता तुलनाएं।
RL के माध्यम से इस प्रिफरेंस मॉडल के विरुद्ध SL-CAI नीति को अनुकूलित करें।

परिणाम

पारेटो सुधार (Pareto Improvements): क्राउडवर्कर मूल्यांकन (10,274 उपयोगिता और 8,135 हानिरहितता तुलनाओं पर आधारित) से पता चलता है कि 52B RL-CAI मॉडल मानव हानिरहितता लेबलों पर प्रशिक्षित मॉडलों की तुलना में समकक्ष उपयोगिता पर बेहतर हानिरहितता Elo स्कोर प्राप्त करते हैं।
कम टालमटोल (Reduced Evasiveness): जब क्राउडवर्कर्स को टालमटोल भरे इनकार के बजाय विचारशील स्पष्टीकरणों को प्राथमिकता देने का स्पष्ट निर्देश दिया गया, तो RL-CAI मॉडलों ने लगातार मानक HH RLHF मॉडलों से बेहतर प्रदर्शन किया।
AI फीडबैक की स्केलिंग (Scaling of AI Feedback): Chain-of-Thought तर्क वाले बड़े मॉडल (52B) HHH मूल्यांकन बेंचमार्क पर मानव-वरीयता-प्रशिक्षित मॉडलों की सटीकता के करीब पहुंच गए (बाइनरी बहुविकल्पीय हानि पहचान पर 80-90% से अधिक सटीकता स्कोरिंग)।
आलोचना बनाम प्रत्यक्ष संशोधन (Critiques vs. Direct Revisions): आलोचनाओं ने छोटे मॉडलों के लिए हानिरहितता स्कोर में उल्लेखनीय सुधार किया, जबकि 52B मॉडलों पर सीधे संशोधन की तुलना में थोड़ा बेहतर या समकक्ष प्रदर्शन किया।

सीमाएं और खुले प्रश्न

मानव उपयोगिता लेबलों पर निर्भरता: प्रयोगों ने केवल हानिरहितता के लिए मानव प्रतिक्रिया लेबलों को समाप्त किया; उपयोगिता डेटा अभी भी मानवीय तुलना लेबलों पर निर्भर था।
गुडहार्टिंग और ओवर-ऑप्टिमाइजेशन: विस्तारित RL प्रशिक्षण ने कभी-कभी उपदेशात्मक या घिसी-पिटी भाषा तैयार की (उदा., बार-बार यह कहना कि “आप मान्य हैं, मूल्यवान हैं और आपकी परवाह की जाती है”)।
CoT लक्ष्यों का कैलिब्रेशन: क्योंकि Chain-of-Thought तर्क मॉडल को किसी एक विकल्प का दृढ़ता से समर्थन करने के लिए प्रेरित करता है, प्रिफरेंस मॉडल की स्थिरता बनाए रखने के लिए एक अनुमानी (heuristic) के रूप में प्रायिकता क्लैम्पिंग की आवश्यकता थी।
दोहरे उपयोग की चिंताएं (Dual-Use Concerns): भाषा मॉडल को संचालित करने के लिए एनोटेशन बाधा को कम करने से मानव निरीक्षण के बिना हानिकारक उद्देश्यों की दिशा में मॉडल को प्रशिक्षित करना भी आसान हो जाता है।

मुख्य शब्द

Constitutional AI (CAI): एक प्रशिक्षण ढांचा जो मानव हानि लेबलों के बजाय स्पष्ट प्राकृतिक भाषा सिद्धांतों के एक समूह द्वारा निर्देशित आत्म-सुधार का उपयोग करके भाषा मॉडल को संरेखित करता है।
Reinforcement Learning from AI Feedback (RLAIF): एक रीइंफोर्समेंट लर्निंग प्रक्रिया जहां विशिष्ट सिद्धांतों के आधार पर विकल्पों का मूल्यांकन करने वाले AI मॉडल द्वारा उत्पन्न तुलना लेबलों पर रिवॉर्ड प्रिफरेंस मॉडल प्रशिक्षित किए जाते हैं।
Constitution: लिखित नियमों या निर्देशों का एक संक्षिप्त समूह जिसका उपयोग आलोचना, संशोधन और वरीयता लेबलिंग संकेतों को संचालित करने के लिए किया जाता है।
SL-CAI: सुपरवाइज्ड लर्निंग चरण का मॉडल जिसे पुनरावृत्त, मॉडल-जनरेटेड आलोचनाओं और संशोधनों पर प्री-ट्रेन्ड भाषा मॉडल को फाइन-ट्यून करके प्रशिक्षित किया जाता है।
RL-CAI: AI-जनरेटेड हानिरहितता तुलनाओं और मानव उपयोगिता तुलनाओं पर प्रशिक्षित एक प्रिफरेंस मॉडल के विरुद्ध रीइंफोर्समेंट लर्निंग के साथ फाइन-ट्यून किया गया अंतिम नीति मॉडल।
Scaling Supervision: वे तकनीकें जो अन्य AI की निगरानी में मदद के लिए AI सिस्टम को शामिल करती हैं, जिससे मॉडल के बड़े होने पर प्रत्यक्ष मानव लेबलिंग पर निर्भरता कम हो जाती है।
Probability Clamping: Chain-of-Thought वरीयता निर्माण के दौरान उपयोग की जाने वाली एक अंशांकन (calibration) तकनीक जो अत्यधिक आत्मविश्वासी लेबलों को रोकने के लिए लक्ष्य संभावनाओं को सीमित करती है (उदा., 40% और 60% के बीच)।
Evasiveness: वह विफलता मोड जहां कोई असिस्टेंट यह समझाने के बजाय कि कोई अनुरोध हानिकारक क्यों है, पूरी तरह से इनकार करके विवादास्पद या संवेदनशील प्रश्नों को बंद कर देता है।

प्रश्न

क्या Constitutional AI ने प्रशिक्षण पाइपलाइन से सभी मानवीय डेटा को समाप्त कर दिया?

नहीं। इस पद्धति ने हानिरहितता के लिए मानव फीडबैक लेबलों को समाप्त कर दिया, लेकिन फिर भी उपयोगिता के लिए मानव फीडबैक तुलनाओं के साथ-साथ मानव-लिखित संवैधानिक सिद्धांतों और फ़्यू-शॉट प्रॉम्प्ट प्रदर्शनों का उपयोग किया।

मॉडल को हानिकारक आउटपुट को सीधे संशोधित करने के लिए कहने के बजाय आलोचनाओं का उपयोग क्यों करें?

स्पष्ट स्व-आलोचना मॉडल के तर्क में पारदर्शिता प्रदान करती है और छोटे मॉडलों के लिए हानिरहितता वरीयता स्कोर में काफी सुधार करती है, जबकि 52B मॉडलों पर सीधे संशोधन की तुलना में थोड़ा बेहतर प्रदर्शन करती है।

Chain-of-Thought का उपयोग करते समय वरीयता संभावनाओं को क्लैंप क्यों किया गया था?

Chain-of-thought आउटपुट आमतौर पर एक विकल्प के प्रति दृढ़ता से प्रतिबद्ध होते हैं, जिससे लॉग-संभावनाएं लगभग 0 या 1 हो जाती हैं। वरीयता लक्ष्यों को 40% और 60% के बीच क्लैंप करने से RL नीति को अत्यधिक या अति-प्रतिक्रियाशील व्यवहार में बदलने से रोका गया।

Constitutional AI मॉडल की टालमटोल की समस्या का समाधान कैसे करता है?

आलोचना, संशोधन और फीडबैक के दौरान मॉडलों को यह समझाने का निर्देश देकर कि आपत्तिजनक अनुरोध हानिकारक क्यों हैं, और 'मैं इसका उत्तर नहीं दे सकता' जैसे सामान्य इनकार के बजाय विचारपूर्वक जुड़कर।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें

Constitutional AI: Harmlessness from AI Feedback

तीन पंक्तियों में सारांश

सार

पढ़ने की गाइड

समस्या और प्रेरणा

मुख्य विचार

विधि

1. सुपरवाइज्ड लर्निंग चरण (Critique → Revision → SL-CAI)

2. रीइंफोर्समेंट लर्निंग चरण (RLAIF)

परिणाम

सीमाएं और खुले प्रश्न

मुख्य शब्द

प्रश्न

1. सुपरवाइज्ड लर्निंग चरण (Critique $\to$ Revision $\to$ SL-CAI)