LLaMA: Open and Efficient Foundation Language Models

Hugo Touvron; Thibaut Lavril; Gautier Izacard; Xavier Martinet; Marie-Anne Lachaux; Timothée Lacroix; Baptiste Rozière; Naman Goyal; Eric Hambro; Faisal Azhar; Aurelien Rodriguez; Armand Joulin; Edouard Grave; Guillaume Lample

LLaMA: ओपन और कुशल फाउंडेशन लैंग्वेज मॉडल्स

Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin et al.

प्रकाशित 2023-02-27cs.CL arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 अधिकांश प्रमुख LLMs बड़े पैरामीटर काउंट या मालिकाना डेटासेट्स पर निर्भर हैं, जिससे उच्च सर्विंग लागत और शोध पहुंच में बाधाएं उत्पन्न होती हैं।
🔧 केवल ओपन-सोर्स डेटा, RMSNorm, SwiGLU और RoPE का उपयोग करके कॉम्पैक्ट ट्रांसफॉर्मर मॉडल्स (7B से 65B) को 1.0T से 1.4T टोकन्स पर प्रशिक्षित किया गया।
📈 LLaMA-13B अधिकांश बेंचमार्क्स पर GPT-3 (175B) से बेहतर प्रदर्शन करता है, जबकि LLaMA-65B सरल निर्देश ट्यूनिंग के बाद MMLU पर 68.9% तक पहुँच जाता है।

सार

हम LLaMA प्रस्तुत करते हैं, जो 7B से 65B पैरामीटर्स तक के फाउंडेशन लैंग्वेज मॉडल्स का एक संग्रह है। हम अपने मॉडल्स को खरबों टोकन्स पर प्रशिक्षित करते हैं, और यह दिखाते हैं कि मालिकाना और दुर्गम डेटासेट्स का सहारा लिए बिना, विशेष रूप से सार्वजनिक रूप से उपलब्ध डेटासेट्स का उपयोग करके अत्याधुनिक मॉडल्स को प्रशिक्षित करना संभव है। विशेष रूप से, LLaMA-13B अधिकांश बेंचमार्क्स पर GPT-3 (175B) से बेहतर प्रदर्शन करता है, और LLaMA-65B सर्वश्रेष्ठ मॉडल्स Chinchilla-70B और PaLM-540B के साथ प्रतिस्पर्धी है। हम अपने सभी मॉडल्स को शोध समुदाय के लिए जारी कर रहे हैं।

मूल सार (अंग्रेज़ी)

We introduce LLaMA, a collection of foundation language models ranging from 7B to 65B parameters. We train our models on trillions of tokens, and show that it is possible to train state-of-the-art models using publicly available datasets exclusively, without resorting to proprietary and inaccessible datasets. In particular, LLaMA-13B outperforms GPT-3 (175B) on most benchmarks, and LLaMA-65B is competitive with the best models, Chinchilla-70B and PaLM-540B. We release all our models to the research community.

पढ़ने की गाइड

समस्या और प्रेरणा

मानक स्केलिंग नियम (जैसे Chinchilla) एक निश्चित प्रशिक्षण कंप्यूट बजट के लिए पैरामीटर आकार और डेटासेट आकार के बीच इष्टतम ट्रेड-ऑफ की गणना करते हैं। हालाँकि, यह ढांचा इन्फरेंस बजट की उपेक्षा करता है, जो लैंग्वेज मॉडल्स की सर्विंग की संपूर्ण परिचालन लागत पर हावी होता है। सर्विंग दक्षता के लिए, कंप्यूट-इष्टतम दिशानिर्देशों द्वारा अनुशंसित डेटा से काफी अधिक डेटा पर प्रशिक्षित छोटे मॉडल्स बेहतर होते हैं क्योंकि उन्हें होस्ट और रन करना काफी सस्ता होता है।

इसके अलावा, प्रमुख अत्याधुनिक मॉडल्स (जैसे GPT-3, Chinchilla और PaLM) निजी, गैर-पुनरुत्पादक डेटासेट्स या अत्यधिक बड़े आर्किटेक्चर पर निर्भर करते हैं। LLaMA प्रदर्शित करता है कि प्रतिस्पर्धी फाउंडेशन मॉडल्स को विशेष रूप से सार्वजनिक रूप से उपलब्ध डेटा पर प्रशिक्षित किया जा सकता है, जिससे शोधकर्ताओं के लिए खुला वितरण संभव हो सके।

मुख्य विचार

इन्फरेंस-केंद्रित प्रशिक्षण: कंप्यूट-इष्टतम डेटासेट आकारों पर प्रशिक्षण रोकने (उदा., 10B मॉडल के लिए ~200B टोकन्स) के बजाय, LLaMA 7B और 13B मॉडल्स को 1.0T टोकन्स पर, और 33B और 65B मॉडल्स को 1.4T टोकन्स पर प्रशिक्षित करता है।
केवल ओपन डेटासेट्स: सभी प्री-ट्रेनिंग डेटा सार्वजनिक स्रोतों से लिए गए हैं: CommonCrawl (67%), C4 (15%), GitHub (4.5%), Wikipedia (4.5%), Books (4.5%), ArXiv (2.5%), और Stack Exchange (2%)।
आधुनिक ट्रांसफॉर्मर आर्किटेक्चर: स्थिरता के लिए RMSNorm के साथ प्री-नॉर्मलाइजेशन, SwiGLU एक्टिवेशन्स और एब्सोल्यूट पोजीशन्स के बजाय रोटरी पोजिशनल एम्बेडिंग्स (RoPE) को शामिल करता है।
इंजीनियरिंग दक्षता: मेमोरी-कुशल अटेंशन (xformers के माध्यम से), कस्टम एक्टिवेशन चेकपॉइंटिंग, और सीक्वेंस/मॉडल पैरेललिज्म का उपयोग करता है।

विधि

LLaMA संशोधनों के साथ एक ऑटोरेग्रेसिव ट्रांसफॉर्मर डिकोडर का उपयोग करता है:

प्री-नॉर्मलाइजेशन: प्रत्येक सब-लेयर से पहले RMSNorm का उपयोग करके इनपुट नॉर्मलाइजेशन: $\overset{a}{ˉ}_{i} = \frac{a _{i}}{RMS ( a )} g_{i}, where RMS (a) = \frac{1}{d} i = 1 \sum d a_{i}^{2}$
SwiGLU एक्टिवेशन: मानक ReLU/GELU एक्टिवेशन्स को SwiGLU से बदलता है, जिससे इंटरमीडिएट डायमेंशन $4 d$ के बजाय $\frac{2}{3} 4 d$ हो जाता है।
रोटरी एम्बेडिंग्स (RoPE): बिना किसी एब्सोल्यूट पोजिशन एम्बेडिंग के रिलेटिव पोजीशन्स को एनकोड करने के लिए प्रत्येक लेयर पर लागू किया जाता है।
ऑप्टिमाइज़ेशन: $β_{1} = 0.9, β_{2} = 0.95$ के साथ AdamW, $0.1$ का वेट डिके, $1.0$ का ग्रेडिएंट क्लिपिंग, $2, 000$ वार्मअप स्टेप्स, और अधिकतम लर्निंग रेट के 10% तक घटने वाला कोसाइन लर्निंग रेट शेड्यूल। सभी मॉडल पैमानों पर बैच का आकार 4M टोकन है।

प्रशिक्षण रन के दौरान ऊर्जा और कार्बन फुटप्रिंट का अनुमान निम्नानुसार है: $Wh = GPU-h \times (GPU power consumption) \times PUE$ $tCO_{2} eq = MWh \times 0.385$

परिणाम

सामान्य ज्ञान तर्क (Common Sense Reasoning): LLaMA-13B कई बेंचमार्क्स पर GPT-3 (175B) को पछाड़ता है (उदा., BoolQ पर 78.1% बनाम 60.5%; WinoGrande पर 73.0% बनाम 70.2%)। LLaMA-65B PIQA (82.8% बनाम 82.3%) और HellaSwag (84.2% बनाम 83.4%) पर PaLM-540B की बराबरी करता है या उससे आगे निकल जाता है।
क्लोज्ड-बुक QA: TriviaQA (0-shot) पर, LLaMA-65B 68.2% तक पहुंचता है, और LLaMA-13B 56.6% तक पहुंचता है (एकल V100 GPU पर चलते हुए GPT-3 के तुलनीय प्रदर्शन को पार करता है)।
कोड जनरेशन: HumanEval (pass@1) पर, LLaMA-65B 23.7% प्राप्त करता है, PaLM-62B (15.9%) से बेहतर प्रदर्शन करता है और PaLM-cont 62B (23.7%) की बराबरी करता है।
MMLU और निर्देश फाइन-ट्यूनिंग: बेस LLaMA-65B MMLU पर 63.4% 5-shot सटीकता तक पहुंचता है (PaLM-540B के 69.3% से पीछे, संभवतः छोटे प्री-ट्रेनिंग बुक कॉर्पोरा के कारण)। हालाँकि, बुनियादी संकेतों पर निर्देश फाइन-ट्यूनिंग (LLaMA-I 65B) प्रदर्शन को 68.9% तक बढ़ा देता है।

सीमाएं और खुले प्रश्न

मतिभ्रम (Hallucination) और सत्यता: TruthfulQA पर स्कोर मामूली बने हुए हैं (LLaMA-65B Truthful पर 0.57 और Truthful*Informative पर 0.53 स्कोर करता है), जो मतिभ्रम की निरंतर प्रवृत्ति को दर्शाता है।
विषाक्तता स्केलिंग (Toxicity scaling): RealToxicityPrompts पर, मॉडल के आकार के साथ विषाक्तता बढ़ती है, विशेष रूप से सम्मानजनक संकेतों पर (65B के लिए 0.141 बनाम 7B के लिए 0.081)।
शैक्षणिक ज्ञान अंतर: MMLU पर प्रदर्शन Chinchilla-70B और PaLM-540B से पीछे रहा, जिसके बारे में लेखकों का अनुमान है कि यह मालिकाना सेटों में ~2TB की तुलना में किताबों और शैक्षणिक पत्रों के केवल ~177GB पर प्रशिक्षण के कारण है।

मुख्य शब्द

LLaMA: केवल सार्वजनिक डेटासेट्स का उपयोग करके 1.4 ट्रिलियन टोकन्स तक प्रशिक्षित 7B से 65B पैरामीटर्स के फाउंडेशन लैंग्वेज मॉडल्स का एक संग्रह।
Inference Budget (इन्फरेंस बजट): एक प्रशिक्षित मॉडल की सेवा करते समय होने वाली कंप्यूटेशनल लागत और लेटेंसी, जिसे छोटे मॉडल्स को अधिक टोकन्स पर प्रशिक्षित करके प्राथमिकता दी जाती है।
RMSNorm: रूट मीन स्क्वायर लेयर नॉर्मलाइजेशन, प्रशिक्षण स्थिरता के लिए ट्रांसफॉर्मर सब-लेयर्स के इनपुट्स को सामान्य करने के लिए उपयोग किया जाता है।
SwiGLU: Swish एक्टिवेशन फ़ंक्शन का उपयोग करने वाला एक गेटेड लीनियर यूनिट संस्करण, जिसका हिडन डायमेंशन 2/3 * 4d पर आकारित होता है।
Rotary Positional Embeddings (RoPE): एक तकनीक जो क्वेरी और की निरूपणों को घुमाकर ट्रांसफॉर्मर अटेंशन लेयर्स में सापेक्ष स्थिति की जानकारी जोड़ती है।
xformers: एक ओपन-सोर्स लाइब्रेरी जो एक कुशल कॉज़ल मल्टी-हेड अटेंशन कार्यान्वयन प्रदान करती है जो बड़े अटेंशन वेट मैट्रिसेस को संग्रहीत करने से बचाती है।
LLaMA-I: LLaMA-65B का निर्देश-फाइन-ट्यून संस्करण जिसे निर्देश-अनुसरण और MMLU प्रदर्शन को बेहतर बनाने के लिए Flan प्रोटोकॉल के बाद प्रशिक्षित किया गया है।
TruthfulQA: प्रतिकूल तथ्यात्मक प्रश्नों में मानवीय झूठ और मतिभ्रम की नकल करने की LLM की प्रवृत्ति को मापने वाला एक बेंचमार्क।

प्रश्न

LLaMA को प्री-ट्रेन करने के लिए किन डेटासेट्स का उपयोग किया गया था?

प्री-ट्रेनिंग में विशेष रूप से सार्वजनिक डेटा का उपयोग किया गया: अंग्रेज़ी CommonCrawl (67%), C4 (15%), GitHub (4.5%), 20 भाषाओं में Wikipedia (4.5%), Gutenberg और Books3 (4.5%), ArXiv (2.5%), और Stack Exchange (2%)।

LLaMA-13B की तुलना GPT-3 (175B) से कैसे की जाती है?

LLaMA-13B अधिकांश मानक बेंचमार्क्स—जिनमें BoolQ, PIQA, और WinoGrande शामिल हैं—पर GPT-3 से बेहतर प्रदर्शन करता है, बावजूद इसके कि यह 10 गुना से अधिक छोटा है और एकल उपभोक्ता/डेटासेंटर GPU पर इन्फरेंस चलाने में सक्षम है।

LLaMA-65B को प्रशिक्षित करने में कितना समय लगा?

1.4 ट्रिलियन टोकन्स पर LLaMA-65B के प्रशिक्षण में 2,048 80GB A100 GPUs पर लगभग 380 टोकन/सेकंड/GPU प्रोसेस किए गए, जो लगभग 21 दिनों में पूरा हुआ।

LLaMA मूल ट्रांसफॉर्मर पर क्या आर्किटेक्चरल संशोधन करता है?

LLaMA सब-लेयर इनपुट्स पर RMSNorm प्री-नॉर्मलाइजेशन लागू करता है, ReLU को SwiGLU एक्टिवेशन्स (डायमेंशन 2/3 * 4d) से बदलता है, और एब्सोल्यूट पोजिशनल एम्बेडिंग्स की जगह रोटरी पोजिशन एम्बेडिंग्स (RoPE) का उपयोग करता है।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें