The Llama 3 Herd of Models

Aaron Grattafiori; Abhimanyu Dubey; Abhinav Jauhri; Abhinav Pandey; Abhishek Kadian; Ahmad Al-Dahle; Aiesha Letman; Akhil Mathur; Alan Schelten; Alex Vaughan; Amy Yang; Angela Fan; Anirudh Goyal; Anthony Hartshorn; Aobo Yang; Archi Mitra; Archie Sravankumar; Artem Korenev; Arthur Hinsvark; Arun Rao; Aston Zhang; Aurelien Rodriguez; Austen Gregerson; Ava Spataru; Baptiste Roziere; Bethany Biron; Binh Tang; Bobbie Chern; Charlotte Caucheteux; Chaya Nayak; Chloe Bi; Chris Marra; Chris McConnell; Christian Keller; Christophe Touret; Chunyang Wu; Corinne Wong; Cristian Canton Ferrer; Cyrus Nikolaidis; Damien Allonsius; Daniel Song; Danielle Pintz; Danny Livshits; Danny Wyatt; David Esiobu; Dhruv Choudhary; Dhruv Mahajan; Diego Garcia-Olano; Diego Perino; Dieuwke Hupkes

The Llama 3 Herd of Models

Aaron Grattafiori, Abhimanyu Dubey, Abhinav Jauhri, Abhinav Pandey, Abhishek Kadian, Ahmad Al-Dahle, Aiesha Letman, Akhil Mathur, Alan Schelten, Alex Vaughan, Amy Yang, Angela Fan et al.

प्रकाशित 2024-07-31cs.AIcs.CLcs.CVcs.LG arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 ऐसे ओपन-एक्सेस फाउंडेशन मॉडल्स का निर्माण करना जो रीज़निंग, बहुभाषिकता, कोडिंग और टूल उपयोग में प्रोप्राइटरी फ्रंटियर सिस्टम्स को टक्कर दें और साथ ही विश्वसनीयता से स्केल कर सकें।
🔧 4D पैरेललिज्म, कस्टम RoCE नेटवर्किंग, 128K तक मल्टी-स्टेज कॉन्टेक्स्ट एक्सटेंशन, और पुनरावृत्त (iterative) पोस्ट-ट्रेनिंग (SFT, रिजेक्शन सैंपलिंग, और DPO) का उपयोग करके डेंस Transformer आर्किटेक्चर (15.6T टोकन पर 405B पैरामीटर्स तक) को स्केल करना।
📈 Llama 3 405B अत्याधुनिक ओपन मॉडल प्रदर्शन प्राप्त करता है, जो GSM8K (96.8%), HumanEval (89.0%), और MMLU (87.3%) जैसे बेंचमार्क पर GPT-4 जैसे मॉडलों की बराबरी करता है।

सार

आधुनिक कृत्रिम बुद्धिमत्ता (AI) प्रणालियाँ फाउंडेशन मॉडल्स द्वारा संचालित होती हैं। यह शोधपत्र Llama 3 नामक फाउंडेशन मॉडल्स का एक नया समूह प्रस्तुत करता है। यह भाषा मॉडलों का एक ऐसा समूह है जो स्वाभाविक रूप से बहुभाषिकता, कोडिंग, रीज़निंग और टूल उपयोग का समर्थन करता है। हमारा सबसे बड़ा मॉडल 405B पैरामीटर्स और 128K टोकन तक के कॉन्टेक्स्ट विंडो वाला एक डेंस Transformer है। यह शोधपत्र Llama 3 का एक व्यापक अनुभवजन्य मूल्यांकन प्रस्तुत करता है। हम पाते हैं कि Llama 3 कई कार्यों में GPT-4 जैसे अग्रणी भाषा मॉडलों के समान गुणवत्ता प्रदान करता है। हम Llama 3 को सार्वजनिक रूप से जारी कर रहे हैं, जिसमें 405B पैरामीटर भाषा मॉडल के प्री-ट्रेंड और पोस्ट-ट्रेंड संस्करण और इनपुट तथा आउटपुट सुरक्षा के लिए हमारा Llama Guard 3 मॉडल शामिल हैं। यह शोधपत्र उन प्रयोगों के परिणाम भी प्रस्तुत करता है जिनमें हम एक कंपोज़िशनल दृष्टिकोण के माध्यम से Llama 3 में इमेज, वीडियो और स्पीच क्षमताओं को एकीकृत करते हैं। हम देखते हैं कि यह दृष्टिकोण इमेज, वीडियो और स्पीच रिकग्निशन कार्यों में अत्याधुनिक मॉडलों के साथ प्रतिस्पर्धी प्रदर्शन करता है। इन परिणामी मॉडलों को अभी व्यापक रूप से जारी नहीं किया जा रहा है क्योंकि वे अभी भी विकासाधीन हैं।

मूल सार (अंग्रेज़ी)

Modern artificial intelligence (AI) systems are powered by foundation models. This paper presents a new set of foundation models, called Llama 3. It is a herd of language models that natively support multilinguality, coding, reasoning, and tool usage. Our largest model is a dense Transformer with 405B parameters and a context window of up to 128K tokens. This paper presents an extensive empirical evaluation of Llama 3. We find that Llama 3 delivers comparable quality to leading language models such as GPT-4 on a plethora of tasks. We publicly release Llama 3, including pre-trained and post-trained versions of the 405B parameter language model and our Llama Guard 3 model for input and output safety. The paper also presents the results of experiments in which we integrate image, video, and speech capabilities into Llama 3 via a compositional approach. We observe this approach performs competitively with the state-of-the-art on image, video, and speech recognition tasks. The resulting models are not yet being broadly released as they are still under development.

पढ़ने की गाइड

समस्या और प्रेरणा

आधुनिक कृत्रिम बुद्धिमत्ता प्रणालियाँ बड़े पैमाने पर फाउंडेशन मॉडलों पर निर्भर करती हैं, फिर भी सबसे सक्षम मॉडल (जैसे GPT-4) क्लोज्ड ही रहे हैं। एक खुले तौर पर सुलभ, फ्रंटियर-क्लास मॉडल बनाने के लिए तीन मुख्य स्तंभों में विशाल इंजीनियरिंग बाधाओं को पार करना आवश्यक है: डेटा क्यूरेशन, कंप्यूट स्केल, और जटिलता का प्रबंधन।

लेखकों ने Llama 3 विकसित किया है, जो 8B, 70B, और 405B पैरामीटर्स में फैले बहुभाषी भाषा मॉडलों का एक परिवार है, जो 128K तक के कॉन्टेक्स्ट विंडो, ज़ीरो-शॉट और मल्टी-स्टेप टूल उपयोग, उन्नत रीज़निंग और कोड जनरेशन का समर्थन करता है।

मुख्य विचार

डेंस आर्किटेक्चर के साथ जटिलता का प्रबंधन: Mixture-of-Experts (MoE) आर्किटेक्चर पर स्विच करने के बजाय, लेखकों ने प्री-ट्रेनिंग स्थिरता को अधिकतम करने के लिए Grouped-Query Attention (GQA) और बेस फ्रीक्वेंसी $θ = 500, 000$ वाले RoPE के साथ एक मानक डेंस Transformer (405B के लिए 126 लेयर्स, 16,384 डायमेंशन, 128 अटेंशन हेड्स) का उपयोग किया।
डेटा स्केलिंग और कठोर फ़िल्टरिंग: प्री-ट्रेनिंग Llama 2 के 1.8T टोकन से बढ़कर विविध डोमेन में लगभग 15.6T टोकन तक विस्तृत होती है (~50% सामान्य ज्ञान, 25% गणित/रीज़निंग, 17% कोड, 8% बहुभाषी)।
पूर्वानुमेय स्केलिंग लॉ: दो-चरणीय स्केलिंग लॉ फ्रेमवर्क प्रशिक्षण शुरू होने से पहले चार ऑर्डर्स ऑफ मैग्नीट्यूड में कंप्यूट को डाउनस्ट्रीम टास्क प्रदर्शन (जैसे कि ARC Challenge) से जोड़ता है।
इटरेटिव पोस्ट-ट्रेनिंग: लक्षित सिंथेटिक डेटा जेनरेशन के साथ Supervised Fine-Tuning (SFT), Rejection Sampling (RS), और Direct Preference Optimization (DPO) के संयोजन वाले अलाइनमेंट के छह राउंड।
4D पैरेललिज्म और इंफ्रास्ट्रक्चर: Tensor Parallelism (TP), Context Parallelism (CP), Pipeline Parallelism (PP), और Fully Sharded Data Parallelism (FSDP/DP) के संयोजन का उपयोग करके 16K H100 GPUs तक 405B की प्री-ट्रेनिंग।

विधि (प्रमुख समीकरणों के साथ)

1. स्केलिंग लॉ फॉर्मूलेशन

कंप्यूट-ऑप्टिमल टोकन आवंटन को कंप्यूट बजट $C$ के पावर-लॉ फ़ंक्शन के रूप में मॉडल किया गया है:

$N^{⋆} (C) = A C^{α}$

$6 \times 1 0^{18}$ और $1 0^{22}$ FLOPs के बीच कंप्यूट बजट पर अनुभवजन्य फिट्स ने $(α, A) = (0.53, 0.29)$ की पहचान की। $3.8 \times 1 0^{25}$ FLOPs के लक्षित बजट पर एक्स्ट्रापोलेशन ने 16.55T टोकन पर एक 402B पैरामीटर मॉडल को प्रशिक्षित करने का सुझाव दिया, जिसने 405B पैरामीटर्स के अंतिम आर्किटेक्चर का मार्गदर्शन किया।

2. कॉन्टेक्स्ट विंडो एक्सटेंशन और अटेंशन मास्किंग

8K से 128K टोकन तक कॉन्टेक्स्ट स्केलिंग ~800B टोकन में छह सतत प्री-ट्रेनिंग चरणों में होती है। एक ही लंबे कॉन्टेक्स्ट अनुक्रम में पैक किए गए दस्तावेज़ों के बीच क्रॉस-संदूषण को रोकने के लिए, एक कस्टम डॉक्यूमेंट अटेंशन मास्क लागू किया जाता है।

Context Parallelism (CP) इनपुट अनुक्रमों को $2 \times CP$ चंक्स में विभाजित करता है, जो की ( $K$ ) और वैल्यू ( $V$ ) निरूपणों पर एक all-gather संचार पैटर्न चलाता है। चूँकि GQA क्वेरी ( $Q$ ) की तुलना में $K$ और $V$ के आकारों को कम करता है, इसलिए all-gather संचार ओवरहेड $O (S)$ अटेंशन कंप्यूटेशन $O (S^{2})$ की तुलना में नगण्य है।

3. Direct Preference Optimization (DPO) अनुकूलन

वरीयता अनुकूलन (preference optimization) में, दोहरावदार पुच्छल अंशों (repetitive tails) या समयपूर्व रुकावटों को रोकने के लिए फॉर्मेटिंग टोकन (हेडर और टर्मिनेशन मार्कर) को DPO लॉस से स्पष्ट रूप से मास्क कर दिया जाता है। इसके अलावा, चुने गए अनुक्रम में एक सहायक नेगेटिव लॉग-लाइकलीहुड (NLL) रेगुलराइज़ेशन टर्म जोड़ा जाता है:

$L_{reg} = 0.2 \cdot L_{NLL} (chosen)$

परिणाम (सबसे महत्वपूर्ण संख्याओं के साथ)

प्रमुख 405B बेंचमार्क:
- MMLU (5-shot): 87.3% (0-shot CoT: 88.6%)
- GSM8K (8-shot, CoT): 96.8%
- MATH (0-shot, CoT): 73.8%
- HumanEval (0-shot): 89.0%
- ARC Challenge (0-shot): 96.9%
- IFEval: 88.6%
छोटे मॉडल (8B और 70B): दोनों मॉडल तुलनीय ओपन-सोर्स प्रतिस्पर्धियों (जैसे, Gemma 2 9B, Mistral 7B, Mixtral 8x22B) से बेहतर प्रदर्शन करते हैं। उदाहरण के लिए, Llama 3 8B 0-shot CoT MMLU पर 73.0% और GSM8K पर 84.5% प्राप्त करता है।
लॉन्ग कॉन्टेक्स्ट: 128K टोकन तक सिंगल Needle-In-A-Haystack पर पूर्ण 100% पुनर्प्राप्ति (retrieval), और 405B मॉडल के लिए मल्टी-नीडल रिकॉल पर 98.1%।
प्री-ट्रेनिंग दक्षता: BF16 Model FLOPs Utilization (MFU) 16,384 H100 GPUs पर कॉन्फ़िगरेशन में 38–43% तक पहुँच गया, जिसने 466 रुकावटों के बावजूद 54 दिनों के स्नैपशॉट में 90% से अधिक प्रभावी प्रशिक्षण समय बनाए रखा।

सीमाएं और खुले प्रश्न

हार्डवेयर विश्वसनीयता और स्केल में उतार-चढ़ाव: 16K GPU स्केल पर, हार्डवेयर रुकावटें प्रति दिन औसतन कई बार हुईं (78% अप्रत्याशित रुकावटें हार्डवेयर/GPU समस्याओं के कारण थीं)। चेकपॉइंटिंग या कलेक्टिव स्टेप्स के दौरान कई दसियों मेगावाट के एक साथ होने वाले पावर उतार-चढ़ाव डेटासेंटर इलेक्ट्रिकल ग्रिड को चुनौती देते हैं।
एडवरसैरियल रोबस्टनेस गैप: पैराफ्रेज बेंचमार्क (PAWS) पर लचीला होने के बावजूद, गणितीय रीज़निंग और QA एडवरसैरियल बेंचमार्क (GSM-Plus, Adv SQuAD) गैर-एडवरसैरियल बेंचमार्क की तुलना में महत्वपूर्ण गिरावट प्रदर्शित करते हैं।
मल्टीमॉडल उपलब्धता: विज़न और स्पीच एडेप्टर्स ने अनुसंधान सेटिंग्स में प्रतिस्पर्धी क्षमताओं का प्रदर्शन किया, लेकिन उन्हें सक्रिय विकास के तहत रखा गया और शुरुआती सार्वजनिक रिलीज से बाहर रखा गया।

मुख्य शब्द

4D Parallelism: समानांतर प्रशिक्षण कॉन्फ़िगरेशन जो हजारों GPU में Tensor Parallelism (TP), Context Parallelism (CP), Pipeline Parallelism (PP), और Data Parallelism (FSDP) को जोड़ता है।
Grouped Query Attention (GQA): एक अटेंशन संस्करण जो इंफरेंस के दौरान की-वैल्यू कैश मेमोरी को कम करने के लिए कई क्वेरी हेड्स में की-वैल्यू हेड्स (यहाँ, 8 KV हेड्स) साझा करता है।
Context Parallelism (CP): एक तकनीक जो की और वैल्यू प्रोजेक्शन पर all-gather संचार का उपयोग करते हुए, कई GPU में लंबे इनपुट अनुक्रमों को विभाजित (shard) करती है।
Direct Preference Optimization (DPO): मॉडल जेनरेशन को मानवीय प्राथमिकताओं के साथ संरेखित करने के लिए पोस्ट-ट्रेनिंग में उपयोग किया जाने वाला एक सुदृढीकरण शिक्षण-मुक्त (RL-free) प्राथमिकता अनुकूलन एल्गोरिदम।
Rejection Sampling (RS): एक पोस्ट-ट्रेनिंग प्रक्रिया जहां पॉलिसी मॉडल से कई आउटपुट लिए जाते हैं और उच्च-गुणवत्ता वाले SFT प्रशिक्षण डेटा का उत्पादन करने के लिए रिवॉर्ड मॉडल का उपयोग करके उन्हें फ़िल्टर किया जाता है।
IsoFLOPs curves: कंप्यूट-ऑप्टिमल आर्किटेक्चर निर्धारित करने के लिए निश्चित प्रशिक्षण कंप्यूट बजट के तहत मॉडल के आकार और टोकन काउंट के विभिन्न संयोजनों में अनुभवजन्य लॉस को मापने वाले वक्र।
Model FLOPs Utilization (MFU): हार्डवेयर के सैद्धांतिक अधिकतम पीक थ्रूपुट से प्रति सेकंड प्राप्त फ्लोटिंग-पॉइंट ऑपरेशनों का अनुपात।
Annealing: एक अंतिम प्री-ट्रेनिंग चरण जहां लर्निंग रेट उच्च-गुणवत्ता वाले, डोमेन-लक्षित डेटा विभाजन पर शून्य की ओर रैखिक रूप से घटती है।

प्रश्न

Llama 3 मॉडल किस कॉन्टेक्स्ट लंबाई का समर्थन करते हैं?

सभी Llama 3.1 मॉडल (8B, 70B, और 405B) 128K टोकन तक की कॉन्टेक्स्ट लंबाई का समर्थन करते हैं, जिसे चरणबद्ध लॉन्ग-कॉन्टेक्स्ट प्री-ट्रेनिंग और RoPE बेस फ्रीक्वेंसी (500,000) में समायोजन के माध्यम से प्राप्त किया गया है।

लेखकों ने Mixture-of-Experts (MoE) के स्थान पर डेंस आर्किटेक्चर को क्यों चुना?

विशाल कंप्यूट स्केल ( $3.8 \times 1 0^{25}$ FLOPs) पर प्रशिक्षण स्थिरता को प्राथमिकता देने और इंजीनियरिंग जटिलता को प्रबंधित करने के लिए, MoE की तुलना में सिद्ध स्केलिंग गुणों वाली आर्किटेक्चरल सादगी को चुना गया।

पोस्ट-ट्रेनिंग के दौरान सिंथेटिक डेटा का उपयोग कैसे किया गया था?

एक्ज़ीक्यूशन फीडबैक, स्टेटिक/डायनामिक लिंटर्स और यूनिट टेस्ट का उपयोग करके 2.7M से अधिक सिंथेटिक कोड संवाद उत्पन्न किए गए, साथ ही बैक-ट्रांसलेशन, मल्टी-स्टेप टूल उपयोग और दस्तावेज़ सारांशीकरण के लिए सिंथेटिक डेटा तैयार किया गया।

क्या मल्टीमॉडल विज़न और स्पीच संस्करण शुरुआती रिलीज़ में शामिल हैं?

नहीं। शोधपत्र में क्रॉस-अटेंशन एडेप्टर्स के माध्यम से इमेज, वीडियो और स्पीच एनकोडर्स को एकीकृत करने वाले प्रयोगों का वर्णन है, लेकिन Meta ने नोट किया कि प्रकाशन के समय वे मॉडल विकासाधीन थे।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें