Llama 2: Open Foundation and Fine-Tuned Chat Models

Hugo Touvron; Louis Martin; Kevin Stone; Peter Albert; Amjad Almahairi; Yasmine Babaei; Nikolay Bashlykov; Soumya Batra; Prajjwal Bhargava; Shruti Bhosale; Dan Bikel; Lukas Blecher; Cristian Canton Ferrer; Moya Chen; Guillem Cucurull; David Esiobu; Jude Fernandes; Jeremy Fu; Wenyin Fu; Brian Fuller; Cynthia Gao; Vedanuj Goswami; Naman Goyal; Anthony Hartshorn; Saghar Hosseini; Rui Hou; Hakan Inan; Marcin Kardas; Viktor Kerkez; Madian Khabsa; Isabel Kloumann; Artem Korenev; Punit Singh Koura; Marie-Anne Lachaux; Thibaut Lavril; Jenya Lee; Diana Liskovich; Yinghai Lu; Yuning Mao; Xavier Martinet; Todor Mihaylov; Pushkar Mishra; Igor Molybog; Yixin Nie; Andrew Poulton; Jeremy Reizenstein; Rashi Rungta; Kalyan Saladi; Alan Schelten; Ruan Silva

Llama 2: ओपन फाउंडेशन और फाइन-ट्यून किए गए चैट मॉडल्स

Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher et al.

प्रकाशित 2023-07-18cs.CLcs.AI arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 ओपन-एक्सेस LLMs में पहले क्लोज्ड मालिकाना चैट मॉडलों के साथ सुरक्षित और प्रभावी ढंग से प्रतिस्पर्धा करने के लिए आवश्यक व्यापक अलाइनमेंट (RLHF) की कमी थी।
🔧 2T टोकन्स पर Grouped-Query Attention के साथ 7B–70B मॉडल्स को प्रीट्रेन किया गया, जिसके बाद उच्च-गुणवत्ता SFT, दोहरे रिवॉर्ड मॉडलिंग (सुरक्षा और उपयोगिता), रिजेक्शन सैंपलिंग फाइन-ट्यूनिंग, PPO और Ghost Attention (GAtt) का उपयोग किया गया।
📈 Llama 2 70B MMLU पर 68.9 और GSM8K पर 56.8 तक पहुंचता है; Llama 2-Chat ने मानव मूल्यांकन में ChatGPT के खिलाफ 36% जीत दर और 31.5% टाई दर हासिल की।

सार

इस शोध में, हम Llama 2 विकसित और जारी करते हैं, जो 7 बिलियन से 70 बिलियन पैरामीटर्स के पैमाने वाले प्रीट्रेन्ड और फाइन-ट्यून किए गए बड़े भाषा मॉडलों (LLMs) का एक संग्रह है। हमारे फाइन-ट्यून किए गए LLMs, जिन्हें Llama 2-Chat कहा जाता है, संवाद उपयोग के मामलों के लिए अनुकूलित हैं। हमारे मॉडल्स हमारे द्वारा परीक्षण किए गए अधिकांश बेंचमार्क पर ओपन-सोर्स चैट मॉडलों से बेहतर प्रदर्शन करते हैं, और उपयोगिता व सुरक्षा के लिए हमारे मानव मूल्यांकनों के आधार पर, क्लोज्ड-सोर्स मॉडलों के लिए एक उपयुक्त विकल्प हो सकते हैं। हम Llama 2-Chat के फाइन-ट्यूनिंग और सुरक्षा सुधारों के प्रति अपने दृष्टिकोण का विस्तृत विवरण प्रदान करते हैं ताकि समुदाय हमारे काम को आगे बढ़ा सके और LLMs के जिम्मेदार विकास में योगदान दे सके।

मूल सार (अंग्रेज़ी)

In this work, we develop and release Llama 2, a collection of pretrained and fine-tuned large language models (LLMs) ranging in scale from 7 billion to 70 billion parameters. Our fine-tuned LLMs, called Llama 2-Chat, are optimized for dialogue use cases. Our models outperform open-source chat models on most benchmarks we tested, and based on our human evaluations for helpfulness and safety, may be a suitable substitute for closed-source models. We provide a detailed description of our approach to fine-tuning and safety improvements of Llama 2-Chat in order to enable the community to build on our work and contribute to the responsible development of LLMs.

पढ़ने की गाइड

समस्या और प्रेरणा

यद्यपि LLaMA-1, BLOOM और Falcon जैसे ओपन-एक्सेस प्रीट्रेन्ड मूलभूत मॉडलों ने GPT-3 जैसे मॉडलों के कच्चे आधार प्रदर्शन की बराबरी की, लेकिन क्लोज्ड कमर्शियल चैट सहायकों (जैसे ChatGPT, Claude) ने एक महत्वपूर्ण बढ़त बनाए रखी। यह प्रदर्शन लाभ इंस्ट्रक्शन ट्यूनिंग और Reinforcement Learning with Human Feedback (RLHF) के माध्यम से गहन पोस्ट-प्रीट्रेनिंग अलाइनमेंट से प्राप्त हुआ था, जिसके लिए भारी कंप्यूट, मालिकाना एनोटेशन पाइपलाइनों और रेड-टीमिंग की आवश्यकता होती है। Meta ने अलाइन किए गए संवाद मॉडलों का लोकतंत्रीकरण करने और अलाइनमेंट व सुरक्षा के लिए पारदर्शी पद्धतियां प्रदान करने हेतु Llama 2 और Llama 2-Chat (7B, 13B, और 70B पैरामीटर्स, साथ ही एक अप्रकाशित 34B संस्करण) विकसित और खुले तौर पर जारी किए।

मुख्य विचार

विस्तारित प्रीट्रेनिंग: 2.0 ट्रिलियन टोकन्स (Llama 1 की तुलना में 40% अधिक) पर प्रीट्रेन किया गया, जिसमें संदर्भ (context) को दोगुना करके 4,096 टोकन किया गया, और ऑटोरेग्रेसिव डिकोडिंग को तेज करने के लिए 34B और 70B मॉडलों में Grouped-Query Attention (GQA) पेश किया गया।
गुणवत्ता-केंद्रित SFT: यह प्रदर्शित करता है कि विक्रेताओं के हज़ारों उच्च-गुणवत्ता वाले एनोटेशन लाखों शोर-शराबे वाले तृतीय-पक्ष उदाहरणों से बेहतर प्रदर्शन करते हैं, जिससे SFT को 27,540 चयनित प्रदर्शनों तक सीमित रखा गया।
डुअल रिवॉर्ड मॉडलिंग: दो अलग-अलग रिवॉर्ड मॉडल को प्रशिक्षित करता है—एक उपयोगिता (Helpfulness) के लिए और एक सुरक्षा (Safety) के लिए—ताकि उस तनाव से बचा जा सके जहां सुरक्षा बाधाएं उपयोगिता को कम कर देती हैं।
दो-चरणीय RLHF अलाइनमेंट: पुनरावृत्त Rejection Sampling फाइन-ट्यूनिंग (70B से डिस्टिल्ड) को बाद के Proximal Policy Optimization (PPO) के साथ जोड़ता है।
Ghost Attention (GAtt): बिना निर्देश फीके पड़े (instruction fading), 20 से अधिक वार्तालाप मोड़ों (turns) में स्थायी सिस्टम निर्देशों को बनाए रखने के लिए मल्टी-टर्न संवादों पर लागू की गई एक संदर्भ-आसवन (context-distillation) तकनीक।

विधि

प्रीट्रेनिंग आर्किटेक्चर

Llama 2 एक ऑटोरेग्रेसिव ट्रांसफार्मर आर्किटेक्चर का उपयोग करता है जिसमें RMSNorm प्री-नॉर्मलाइजेशन, SwiGLU एक्टिवेशन्स और रोटरी पोजिशनल एम्बेडिंग्स (RoPE) शामिल हैं, साथ ही बड़े पैमानों (34B और 70B) में GQA जोड़ा गया है। मॉडल्स को AdamW ( $β_{1} = 0.9, β_{2} = 0.95$ ), 10% तक कोसाइन लर्निंग रेट डिके, 0.1 का वेट डिके और 1.0 के ग्रेडिएंट क्लिपिंग के साथ प्रशिक्षित किया गया था।

रिवॉर्ड मॉडलिंग

मानव एनोटेटर्स दो सैंपल की गई प्रतिक्रियाओं के बीच 4-बिंदु पैमाने पर तुलनात्मक प्राथमिकताएं प्रदान करते हैं। रिवॉर्ड मॉडल प्रीट्रेन्ड चैट चेकपॉइंट्स से इनिशियलाइज़ किए जाते हैं और मार्जिन-संवर्धित बाइनरी रैंकिंग लॉस के साथ अनुकूलित किए जाते हैं: $L_{ranking} = - lo g (σ (r_{θ} (x, y_{c}) - r_{θ} (x, y_{r}) - m (r)))$ जहाँ $x$ प्रॉम्प्ट संदर्भ है, $y_{c}$ पसंदीदा प्रतिक्रिया है, $y_{r}$ अस्वीकार की गई प्रतिक्रिया है, और $m (r)$ एनोटेटर की प्राथमिकता तीव्रता पर निर्भर एक असतत (discrete) मार्जिन है।

RLHF उद्देश्य

अनुकूलन Rejection Sampling (नवीनतम नीति से $K$ पूर्णताएं सैंपल करना और उच्चतम-रिवॉर्ड वाली पूर्णता को चुनना) और PPO के माध्यम से किया जाता है। PPO उद्देश्य प्रारंभिक नीति $π_{0}$ के मुकाबले KL डाइवर्जेंस के माध्यम से नीति विचलन को दंडित करते हुए अपेक्षित रिवॉर्ड को अधिकतम करता है: $R (g ∣ p) = \tilde{R}_{c} (g ∣ p) - β D_{KL} (π_{θ} (g ∣ p) ∥ π_{0} (g ∣ p))$ जहाँ $\tilde{R}_{c} (g ∣ p)$ सुरक्षा ( $R_{s}$ ) और उपयोगिता ( $R_{h}$ ) रिवॉर्ड मॉडल्स का एक वाइटन्ड (whitened), लॉजिट-रूपांतरित पीसवाइज़ संयोजन है: $R_{c} (g ∣ p) = {R_{s} (g ∣ p) R_{h} (g ∣ p) if \textsc i s_s a f e t y (p) or R_{s} (g ∣ p) < 0.15 otherwise$

Ghost Attention (GAtt)

मल्टी-टर्न संगति को लागू करने के लिए, निर्देश $in s t$ को मौजूदा संवाद में प्रत्येक उपयोगकर्ता प्रॉम्प्ट में कृत्रिम रूप से जोड़ा जाता है। प्रतिक्रियाओं को नवीनतम नीति से सैंपल किया जाता है, लेकिन लॉस की गणना विशेष रूप से लक्षित टर्न के टोकनों पर की जाती है (पहले के टर्न पर लॉस को शून्य कर दिया जाता है) जबकि इन्फेरेंस समय में $in s t$ को केवल पहले टर्न में बनाए रखा जाता है।

परिणाम

बेस मॉडल बेंचमार्क: Llama 2 70B सभी ओपन-सोर्स बेस मॉडलों से बेहतर प्रदर्शन करता है, MMLU (5-shot) पर 68.9, GSM8K (8-shot) पर 56.8 और Big-Bench Hard (3-shot) पर 51.2 प्राप्त करता है, जो GPT-3.5 और PaLM-540B को टक्कर देता है।
मानव संवाद मूल्यांकन: लगभग 4,000 प्रॉम्प्ट्स के मानव मूल्यांकनों में, Llama 2-Chat 70B ने ChatGPT (gpt-3.5-turbo-0301) के खिलाफ 36% जीत दर और 31.5% टाई दर हासिल की। Llama 2-Chat 34B ने Vicuna-33B और Falcon 40B के खिलाफ 75% से अधिक आमने-सामने की तुलनाएं जीतीं।
सुरक्षा और विषाक्तता: सुरक्षा-अलाइन किए गए Llama 2-Chat ने ToxiGen पर विषाक्त पीढ़ी दर को 24.60% (बेस 70B) से घटाकर 0.01% कर दिया, जिससे मानव रेड-टीम बेंचमार्क पर ChatGPT और Falcon की तुलना में कम सुरक्षा उल्लंघन प्रतिशत प्रदर्शित हुआ।

सीमाएं और खुले प्रश्न

कोडिंग और जटिल तर्क: Llama 2 70B कोडिंग बेंचमार्क पर GPT-4 और PaLM-2-L से काफी पीछे है (HumanEval pass@1 29.9% बनाम GPT-4 के लिए 67.0%)।
भाषा कवरेज: प्रीट्रेनिंग डेटा का लगभग 89.7% अंग्रेजी है, जिससे अन्य भाषाओं में मॉडल का प्रदर्शन और सुरक्षा अलाइनमेंट कमजोर हो जाता है।
झूठी अस्वीकृतियाँ (False Refusals) और अत्यधिक-रूढ़िवादिता: कठोर सुरक्षा ट्यूनिंग के कारण सीमांत प्रॉम्प्ट पर झूठी अस्वीकृतियां देखने को मिलती हैं (उदा., 'bomb' या 'Christmas Crack' जैसे शब्दों का उल्लेख करने वाले सौम्य प्रश्नों को अस्वीकार करना)।
34B रिलीज़ में देरी: प्रकाशन से पहले अपर्याप्त रेड-टीमिंग समय के कारण 34B मॉडल संस्करण को सार्वजनिक रिलीज़ से रोक दिया गया था।

मुख्य शब्द

Grouped-Query Attention (GQA): एक अटेंशन वैरिएंट जो KV-कैश मेमोरी बैंडविड्थ को कम करने और बड़े मॉडलों पर इन्फेरेंस गति में सुधार करने के लिए क्वेरी हेड समूहों में की (key) और वैल्यू (value) हेड्स को साझा करता है।
Reinforcement Learning with Human Feedback (RLHF): मानव युग्मित प्राथमिकताओं (pairwise preferences) का उपयोग करके रिवॉर्ड मॉडल को प्रशिक्षित करने की एक अलाइनमेंट प्रक्रिया, जो PPO और रिजेक्शन सैंपलिंग के माध्यम से नीति अनुकूलन को निर्देशित करती है।
Rejection Sampling fine-tuning: एक ऐसी तकनीक जो प्रति प्रॉम्प्ट कई उम्मीदवारों को सैंपल करती है, रिवॉर्ड मॉडल के तहत उच्चतम स्कोरिंग आउटपुट का चयन करती है, और सुपरवाइज्ड ग्रेडिएंट अपडेट के लिए इसका ग्राउंड ट्रुथ के रूप में उपयोग करती है।
Ghost Attention (GAtt): एक फाइन-ट्यूनिंग विधि जो प्रॉम्प्ट संदर्भ को समायोजित करके और मध्यवर्ती टोकन लॉस को मास्क करके मल्टी-टर्न संवादों में निर्देशों को कृत्रिम रूप से संरक्षित करती है।
Safety RM and Helpfulness RM: अनुकूलन के दौरान ट्रेड-ऑफ से बचने के लिए सुरक्षा-प्रतिकूल और सामान्य उपयोगिता तुलनाओं पर अलग-अलग प्रशिक्षित दो अलग-अलग रिवॉर्ड मॉडल।
Context Distillation: एक तकनीक जो सुरक्षा प्रीप्रॉम्प्ट पर सशर्त मॉडल पूर्णताएं उत्पन्न करती है और फिर बेस मॉडल को प्रीप्रॉम्प्ट के बिना उन आउटपुट पर फाइन-ट्यून करती है।
False Refusal: एक त्रुटिपूर्ण व्यवहार जहां मॉडल अत्यधिक संवेदनशील सुरक्षा अनुमानों या ट्रिगर शब्दों के कारण एक वैध, सुरक्षित उपयोगकर्ता प्रॉम्प्ट का उत्तर देने से इंकार कर देता है।
Inter-Rater Reliability (IRR): एक सांख्यिकीय माप (Gwet के AC1/2 का उपयोग करके मूल्यांकन किया गया) जो सुरक्षा और उपयोगिता का निर्णय करने वाले मानव एनोटेटर्स के बीच सहमति के स्तर को मापता है।

प्रश्न

Llama 2 के कौन से पैरामीटर आकार सार्वजनिक रूप से जारी किए गए हैं?

Meta ने बेस Llama 2 और संवाद-अनुकूलित Llama 2-Chat दोनों के लिए 7B, 13B, और 70B पैरामीटर वेरिएंट जारी किए; 34B संस्करण का पेपर में मूल्यांकन किया गया था लेकिन रेड-टीमिंग पर समय की कमी के कारण इसे रिलीज़ से रोक दिया गया था।

प्रीट्रेनिंग डेटा और आर्किटेक्चर में Llama 2, Llama 1 से किस प्रकार भिन्न है?

Llama 2 को 2.0 ट्रिलियन टोकन्स (Llama 1 से 40% अधिक) पर प्रशिक्षित किया गया, संदर्भ विंडो को दोगुना करके 4,096 टोकन किया गया, और 34B तथा 70B कॉन्फ़िगरेशन के लिए Grouped-Query Attention (GQA) जोड़ा गया।

लेखकों ने अलग-अलग सुरक्षा और उपयोगिता रिवॉर्ड मॉडल क्यों प्रशिक्षित किए?

प्राथमिकता मॉडलिंग के दौरान उपयोगिता और सुरक्षा में अक्सर टकराव होता है (उदाहरण के लिए, किसी असुरक्षित अनुरोध को पूरा करना उपयोगी है लेकिन नियमों का उल्लंघन है)। उन्हें अलग करने से समर्पित अनुकूलन की अनुमति मिलती है और एक उद्देश्य को दूसरे को ख़राब करने से रोका जा सकता है।

Ghost Attention (GAtt) मल्टी-टर्न निर्देश विस्मृति को कैसे रोकता है?

GAtt सिंथेटिक मल्टी-टर्न चैट में उपयोगकर्ता टर्न के साथ सिस्टम निर्देश जोड़ता है, प्रतिक्रियाओं का नमूना लेता है, और मध्यवर्ती टर्न से निर्देश हटाकर केवल लक्षित टर्न पर लॉस लागू करते हुए मॉडल को प्रशिक्षित करता है, जिससे अटेंशन लेयर्स को लंबी बातचीत के दौरान प्रारंभिक सिस्टम संदेश पर ध्यान केंद्रित करना सिखाया जाता है।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें