Mixtral of Experts

Albert Q. Jiang; Alexandre Sablayrolles; Antoine Roux; Arthur Mensch; Blanche Savary; Chris Bamford; Devendra Singh Chaplot; Diego de las Casas; Emma Bou Hanna; Florian Bressand; Gianna Lengyel; Guillaume Bour; Guillaume Lample; Lélio Renard Lavaud; Lucile Saulnier; Marie-Anne Lachaux; Pierre Stock; Sandeep Subramanian; Sophia Yang; Szymon Antoniak; Teven Le Scao; Théophile Gervet; Thibaut Lavril; Thomas Wang; Timothée Lacroix; William El Sayed

Mixtral of Experts

Albert Q. Jiang, Alexandre Sablayrolles, Antoine Roux, Arthur Mensch, Blanche Savary, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Emma Bou Hanna, Florian Bressand, Gianna Lengyel, Guillaume Bour et al.

प्रकाशित 2024-01-08cs.LGcs.CL arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 अत्यधिक इन्फरेंस लेटेंसी और कंप्यूट लागत बढ़ाए बिना ट्रांसफॉर्मर क्षमता और प्रदर्शन को स्केल करना।
🔧 एक Sparse Mixture of Experts (SMoE) डिकोडर-ओनली आर्किटेक्चर, जो मानक फीडफॉरवर्ड ब्लॉक्स को 8 SwiGLU एक्सपर्ट्स से बदलता है और सीखे गए राउटर के माध्यम से प्रति टोकन 2 एक्सपर्ट्स चुनता है।
📈 प्रति टोकन केवल 13B सक्रिय पैरामीटर्स के साथ कुल 47B पैरामीटर्स का एक्सेस, जो MMLU (70.6% बनाम 69.9%) और GSM8K (74.4% बनाम 69.6%) पर Llama 2 70B से बेहतर प्रदर्शन करता है।

सार

हम Mixtral 8x7B प्रस्तुत करते हैं, जो एक Sparse Mixture of Experts (SMoE) भाषा मॉडल है। Mixtral का आर्किटेक्चर Mistral 7B जैसा ही है, बस अंतर यह है कि इसकी प्रत्येक लेयर 8 फीडफॉरवर्ड ब्लॉक्स (यानी experts) से बनी है। हर टोकन के लिए, प्रत्येक लेयर पर, एक राउटर नेटवर्क वर्तमान स्थिति को प्रोसेस करने और उनके आउटपुट को संयोजित करने के लिए दो एक्सपर्ट्स का चयन करता है। भले ही प्रत्येक टोकन केवल दो एक्सपर्ट्स को देखता है, लेकिन चुने गए एक्सपर्ट्स हर टाइमस्टेप पर अलग-अलग हो सकते हैं। परिणामस्वरूप, प्रत्येक टोकन के पास 47B पैरामीटर्स का एक्सेस होता है, लेकिन इन्फरेंस के दौरान वह केवल 13B सक्रिय पैरामीटर्स का उपयोग करता है। Mixtral को 32k टोकन के संदर्भ आकार (context size) के साथ प्रशिक्षित किया गया था और यह सभी मूल्यांकित बेंचमार्क्स में Llama 2 70B और GPT-3.5 से बेहतर प्रदर्शन करता है या उनके बराबर रहता है। विशेष रूप से, Mixtral गणित, कोड जेनरेशन और बहुभाषी बेंचमार्क पर Llama 2 70B से काफी बेहतर प्रदर्शन करता है। हम निर्देशों का पालन करने के लिए फाइन-ट्यून किया गया एक मॉडल, Mixtral 8x7B - Instruct भी प्रदान करते हैं, जो मानवीय बेंचमार्क पर GPT-3.5 Turbo, Claude-2.1, Gemini Pro और Llama 2 70B - chat मॉडल को पीछे छोड़ देता है। बेस और इंस्ट्रक्ट दोनों मॉडलों को Apache 2.0 लाइसेंस के तहत जारी किया गया है।

मूल सार (अंग्रेज़ी)

We introduce Mixtral 8x7B, a Sparse Mixture of Experts (SMoE) language model. Mixtral has the same architecture as Mistral 7B, with the difference that each layer is composed of 8 feedforward blocks (i.e. experts). For every token, at each layer, a router network selects two experts to process the current state and combine their outputs. Even though each token only sees two experts, the selected experts can be different at each timestep. As a result, each token has access to 47B parameters, but only uses 13B active parameters during inference. Mixtral was trained with a context size of 32k tokens and it outperforms or matches Llama 2 70B and GPT-3.5 across all evaluated benchmarks. In particular, Mixtral vastly outperforms Llama 2 70B on mathematics, code generation, and multilingual benchmarks. We also provide a model fine-tuned to follow instructions, Mixtral 8x7B - Instruct, that surpasses GPT-3.5 Turbo, Claude-2.1, Gemini Pro, and Llama 2 70B - chat model on human benchmarks. Both the base and instruct models are released under the Apache 2.0 license.

पढ़ने की गाइड

समस्या और प्रेरणा

डेंस ऑटोरिग्रेसिव लैंग्वेज मॉडल्स प्रत्येक प्रोसेस किए गए टोकन के लिए अपने कुल पैरामीटर काउंट के सीधे आनुपातिक कंप्यूटेशनल लागत उठाते हैं। जैसे-जैसे मॉडल 70B पैरामीटर्स और उससे आगे स्केल होते हैं, उन्हें कम लेटेंसी और उच्च थ्रूपुट पर सर्व करना कंप्यूटेशनल रूप से बहुत महंगा हो जाता है। लेखकों का लक्ष्य प्रति-टोकन इन्फरेंस लागत को काफी छोटे मॉडलों के बराबर रखते हुए मॉडल क्षमता को बढ़ाना है, जिससे एक ऐसा ओपन-वेट मॉडल तैयार किया जा सके जो Llama 2 70B और GPT-3.5 जैसे मालिकाना बेसलाइन के बराबर या उससे बेहतर प्रदर्शन करने में सक्षम हो।

मुख्य विचार

Sparse Mixture of Experts (SMoE): सभी 32 ट्रांसफॉर्मर लेयर्स में डेंस फीडफॉरवर्ड नेटवर्क (FFN) ब्लॉक्स को 8 अलग-अलग एक्सपर्ट नेटवर्क्स से बदलना, जो प्रत्येक टोकन को केवल टॉप-2 एक्सपर्ट्स पर रूट करता है।
डिकपल्ड पैरामीटर काउंट: आर्किटेक्चर अपनी लेयर्स में कुल 47B पैरामीटर्स रखता है, लेकिन प्रति टोकन फॉरवर्ड पास में केवल 13B सक्रिय पैरामीटर्स निष्पादित करता है, जो एक मध्यम आकार के डेंस मॉडल के कंप्यूटेशनल फ़ुटप्रिंट के बराबर है।
पूर्ण 32k कॉन्टेक्स्ट विंडो: पास्की बेंचमार्क पर 100% रिट्रीवल सटीकता के साथ 32,768 टोकन अनुक्रम लंबाई के लिए नेटिव समर्थन।
विषय-आधारित के बजाय सिंटैक्स-आधारित रूटिंग: टोकन रूटिंग का अनुभवजन्य निरीक्षण बताता है कि एक्सपर्ट का चयन उच्च-स्तरीय विषय डोमेन के बजाय मुख्य रूप से वाक्यात्मक कार्य (syntactic function) और टेम्पोरल लोकैलिटी द्वारा संचालित होता है।

विधि (मुख्य समीकरणों के साथ)

Mixtral Mistral 7B आर्किटेक्चर ( $32$ लेयर्स, हिडन डाइमेंशन $4096$ , $32$ अटेंशन हेड्स, $8$ की-वैल्यू हेड्स) को संशोधित करता है, जिसमें प्रत्येक FFN सब-ब्लॉक को एक MoE मॉड्यूल से बदला जाता है जिसमें $n = 8$ एक्सपर्ट्स ( $E_{0}, \dots, E_{n - 1}$ ) होते हैं, जिनमें से प्रत्येक को $14336$ के इंटरमीडिएट डाइमेंशन वाले SwiGLU नेटवर्क के रूप में लागू किया जाता है।

एक इनपुट टोकन रिप्रजेंटेशन $x$ के लिए, एक राउटर नेटवर्क टॉप- $K$ लॉगिट्स ( $K = 2$ ) का उपयोग करके एक्सपर्ट्स के बीच एक स्पार्स गेटिंग वितरण की गणना करता है: $G (x) := Softmax (TopK (x \cdot W_{g}))$ जहाँ Top-K ऑपरेटर लॉगिट्स $ℓ = x \cdot W_{g} \in R^{n}$ के सबसे बड़े $K$ मानों के बाहर के सभी निर्देशांकों को $- \infty$ असाइन करता है: $(TopK (ℓ))_{i} := {ℓ_{i} - \infty यदि ℓ_{i}, ℓ के टॉप - K निर्देशांकों में है, अन्यथा।$

लेयर का समग्र आउटपुट $y$ एक्सपर्ट आउटपुट के गेटिंग-वेटेड योग के रूप में परिकलित किया जाता है: $y = i = 0 \sum n - 1 G (x)_{i} \cdot SwiGLU_{i} (x)$ कुशल निष्पादन MegaBlocks जैसे कर्नेल के माध्यम से प्राप्त किया जाता है, जो MoE गणना को स्पार्स मैट्रिक्स गुणन के रूप में दर्शाते हैं, साथ ही कई GPU पर Expert Parallelism का उपयोग करते हैं।

परिणाम (सबसे महत्वपूर्ण आंकड़ों के साथ)

सामान्य और रीजनिंग बेंचमार्क: MMLU (5-शॉट) पर, Mixtral 8x7B 70.6% प्राप्त करता है, जबकि Llama 2 70B के लिए यह 69.9% और GPT-3.5 के लिए 70.0% है। GSM8K (8-शॉट, maj@8) पर, यह Llama 2 70B के 69.6% के मुकाबले 74.4% तक पहुंचता है। MATH बेंचमार्क (4-शॉट, maj@4) पर, Mixtral Llama 2 70B के 13.8% के मुकाबले 28.4% प्राप्त करता है।
कोड जेनरेशन: Mixtral HumanEval (40.2% बनाम 29.3%) और MBPP (60.7% बनाम 49.8%) पर Llama 2 70B से काफी बेहतर प्रदर्शन करता है।
बहुभाषी कार्य: बहुभाषी डेटा को अपसैंपल करने से Mixtral ARC-Challenge, HellaSwag और MMLU पर फ्रेंच, जर्मन, स्पेनिश और इटालियन में Llama 2 70B से आगे निकल जाता है (उदा., फ्रेंच MMLU: 70.9% बनाम 64.3%)।
निर्देश फाइन-ट्यूनिंग और Arena Elo: Mixtral 8x7B – Instruct (SFT और Direct Preference Optimization के साथ प्रशिक्षित) MT-Bench पर 8.30 स्कोर करता है और इसने 1121 का LMSys Chatbot Arena Elo हासिल किया, जिसने Claude-2.1 (1117), GPT-3.5-Turbo (1117), और Llama-2-70b-chat (1077) को पीछे छोड़ दिया।
कॉन्टेक्स्ट रिट्रीवल: संपूर्ण 32k कॉन्टेक्स्ट विंडो में सिंथेटिक पास्की रिट्रीवल कार्य पर 100% रिट्रीवल सटीकता प्राप्त करता है।

सीमाएं और खुले प्रश्न

मेमोरी फ़ुटप्रिंट बनाम कंप्यूट: यद्यपि कंप्यूट लागत 13B सक्रिय पैरामीटर्स के साथ स्केल होती है, लेकिन सर्विंग के लिए सभी 47B पैरामीटर्स को रखने के लिए पर्याप्त VRAM की आवश्यकता होती है, जिसके लिए मल्टी-GPU सेटअप या ऑफलोडिंग तकनीकों की आवश्यकता होती है।
Expert Parallelism बाधाएं: पेपर में उच्च टेम्पोरल लोकैलिटी का पता चला है—लगातार टोकन यादृच्छिक संभावना की तुलना में बहुत अधिक बार समान एक्सपर्ट असाइनमेंट साझा करते हैं (लेयर 15 पर 12.5% यादृच्छिक बनाम 28.4% प्रथम-पसंद पुनरावृत्ति)। यह Expert Parallelism के तहत लोड असंतुलन और विशिष्ट GPU के ओवर-सबस्क्रिप्शन का कारण बन सकता है।
विषय विशेषज्ञता का अभाव: राउटर चयन स्वाभाविक रूप से वैचारिक डोमेन (उदा., जीव विज्ञान बनाम दर्शनशास्त्र) द्वारा विभाजित नहीं होता है, जिससे यह खुला प्रश्न रह जाता है कि यदि डोमेन-विशिष्ट एक्सपर्ट विशेषज्ञता स्पष्ट रूप से वांछित हो तो गेटिंग को कैसे संरचित किया जाए।

मुख्य शब्द

Sparse Mixture of Experts (SMoE): एक न्यूरल नेटवर्क आर्किटेक्चर जहाँ कंडीशनल कंप्यूटेशन सभी पैरामीटर्स को सक्रिय करने के बजाय प्रत्येक इनपुट टोकन को फीडफॉरवर्ड सब-नेटवर्क्स (एक्सपर्ट्स) के एक विरल उपसमुच्चय पर रूट करता है।
Active Parameter Count: एकल टोकन के लिए इन्फरेंस के दौरान वास्तव में लोड और परिकलित किए गए पैरामीटर्स की संख्या, जो Mixtral में इसके 47B कुल स्पार्स पैरामीटर्स की तुलना में 13B है।
SwiGLU: Swish और एलिमेंट-वाइज गुणन को संयोजित करने वाला एक गेटेड लीनियर यूनिट एक्टिवेशन वेरिएंट, जिसका उपयोग प्रत्येक एक्सपर्ट फीडफॉरवर्ड ब्लॉक के आंतरिक आर्किटेक्चर के रूप में किया जाता है।
TopK Gating: एक रूटिंग तंत्र जो टोकन रिप्रजेंटेशन पर एक लीनियर प्रोजेक्शन लागू करता है, टॉप-K उच्चतम मानों को बनाए रखता है जबकि बाकी को माइनस इन्फिनिटी पर मास्क करता है, और उन्हें सॉफ्टमैक्स के माध्यम से सामान्यीकृत करता है।
Expert Parallelism (EP): एक वितरित विभाजन रणनीति जो विभिन्न एक्सपर्ट्स को अलग-अलग GPU पर मैप करती है और टोकन एक्टिवेशन को उपकरणों के पार उनके असाइन किए गए एक्सपर्ट पर रूट करती है।
Direct Preference Optimization (DPO): एक अलाइनमेंट एल्गोरिदम जो एक स्पष्ट सुदृढ़ीकरण सीखने (reinforcement learning) के रिवॉर्ड मॉडल को प्रशिक्षित किए बिना सीधे वरीयता युग्मों पर भाषा मॉडल मापदंडों को अनुकूलित करता है।
Passkey Retrieval: एक सिंथेटिक मूल्यांकन परीक्षण जो 32k टोकन तक के लंबे संदर्भ संकेतों के भीतर यादृच्छिक रूप से स्थित एक छोटी पासकी का पता लगाने और उसे वापस लाने की मॉडल की क्षमता को मापता है।
Positional Locality: देखी गई वह प्रवृत्ति जहाँ एक अनुक्रम में लगातार टोकन समान रूप से यादृच्छिक संभावना से कहीं अधिक बार एक ही एक्सपर्ट को बार-बार सौंपे जाते हैं।

प्रश्न

Mixtral को 8x7B क्यों कहा जाता है यदि इसमें 56B के बजाय केवल 47B पैरामीटर हैं?

यद्यपि प्रति लेयर 8 एक्सपर्ट्स हैं और आर्किटेक्चर Mistral 7B से लिया गया है, सेल्फ-अटेंशन वेट्स और एम्बेडिंग लेयर्स सभी एक्सपर्ट्स में साझा किए जाते हैं। केवल फीडफॉरवर्ड सब-ब्लॉक्स को 8 बार दोहराया जाता है, जिसके परिणामस्वरूप 8 × 7B = 56B के बजाय कुल 47B पैरामीटर्स होते हैं।

इन्फरेंस के दौरान प्रत्येक टोकन के लिए कितने एक्सपर्ट्स सक्रिय होते हैं?

राउटर प्रत्येक टोकन के लिए प्रत्येक लेयर पर 8 उपलब्ध एक्सपर्ट्स में से ठीक 2 एक्सपर्ट्स ( $K = 2$ ) का चयन करता है, जिसके परिणामस्वरूप प्रति फॉरवर्ड पास 13B सक्रिय पैरामीटर्स होते हैं।

क्या विभिन्न एक्सपर्ट्स विभिन्न शैक्षणिक या डोमेन विषयों में विशेषज्ञता रखते हैं?

कोई स्पष्ट डोमेन विशेषज्ञता नहीं पाई गई। The Pile पर विश्लेषण ने ArXiv, PubMed और PhilPapers जैसे विषयों में लगभग समान एक्सपर्ट असाइनमेंट वितरण दिखाया; इसके बजाय, रूटिंग निर्णय सिंटैक्स, टोकन पहचान और स्थितिगत स्थानीयता (positional locality) से काफी हद तक संबंधित हैं।

Mixtral 8x7B मॉडल किस सॉफ्टवेयर लाइसेंस के तहत जारी किए गए हैं?

Mixtral 8x7B बेस मॉडल और Mixtral 8x7B – Instruct दोनों को शैक्षणिक और व्यावसायिक उपयोग के लिए अनुमेय Apache 2.0 लाइसेंस के तहत जारी किया गया है।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें