Mixtral of Experts

Albert Q. Jiang; Alexandre Sablayrolles; Antoine Roux; Arthur Mensch; Blanche Savary; Chris Bamford; Devendra Singh Chaplot; Diego de las Casas; Emma Bou Hanna; Florian Bressand; Gianna Lengyel; Guillaume Bour; Guillaume Lample; Lélio Renard Lavaud; Lucile Saulnier; Marie-Anne Lachaux; Pierre Stock; Sandeep Subramanian; Sophia Yang; Szymon Antoniak; Teven Le Scao; Théophile Gervet; Thibaut Lavril; Thomas Wang; Timothée Lacroix; William El Sayed

Mixtral of Experts

Albert Q. Jiang, Alexandre Sablayrolles, Antoine Roux, Arthur Mensch, Blanche Savary, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Emma Bou Hanna, Florian Bressand, Gianna Lengyel, Guillaume Bour et al.

تاريخ النشر 2024-01-08cs.LGcs.CL arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 زيادة سعة نماذج المحولات (transformer) وأدائها دون تحمل زمن انتقال باهظ وتكاليف حوسبة عالية أثناء الاستدلال.
🔧 بنية مفكك تشفير فقط تعتمد على خليط الخبراء المتناثر (SMoE)، تستبدل كتل التغذية الأمامية القياسية بـ 8 خبراء SwiGLU، وتختار خبيرين لكل رمز عبر موجه مدرب.
📈 يتيح الوصول إلى 47B معاملاً إجمالياً مع 13B معاملاً نشطاً فقط لكل رمز، متفوقاً على Llama 2 70B في MMLU (70.6% مقابل 69.9%) وGSM8K (74.4% مقابل 69.6%).

الملخص

نقدم Mixtral 8x7B، وهو نموذج لغوي يعتمد على خليط الخبراء المتناثر (SMoE). يمتلك Mixtral نفس بنية Mistral 7B، مع فارق أن كل طبقة تتكون من 8 كتل تغذية أمامية (أي خبراء). لكل رمز (token) في كل طبقة، تختار شبكة التوجيه (router network) خبيرين لمعالجة الحالة الحالية ودمج مخرجاتهما. على الرغم من أن كل رمز يمر بخبيرين فقط، إلا أن الخبراء المختارين يمكن أن يختلفوا في كل خطوة زمنية. ونتيجة لذلك، يتاح لكل رمز الوصول إلى 47B معاملاً، ولكنه لا يستخدم سوى 13B معاملاً نشطاً أثناء الاستدلال. تم تدريب Mixtral بسياق يبلغ 32k رمزاً، ويتفوق على أو يضاهي Llama 2 70B وGPT-3.5 عبر جميع الاختبارات القياسية المقيمة. على وجه الخصوص، يتفوق Mixtral بشكل كبير على Llama 2 70B في الرياضيات وتوليد الأكواد البرمجية والاختبارات متعددة اللغات. كما نوفر أيضاً نموذجاً مضبوطاً لاتباع التعليمات، Mixtral 8x7B - Instruct، والذي يتفوق على GPT-3.5 Turbo وClaude-2.1 وGemini Pro ونموذج Llama 2 70B - chat في التقييمات البشرية. تم إطلاق كل من النموذج الأساسي ونموذج التعليمات بموجب ترخيص Apache 2.0.

الملخص الأصلي (بالإنجليزية)

We introduce Mixtral 8x7B, a Sparse Mixture of Experts (SMoE) language model. Mixtral has the same architecture as Mistral 7B, with the difference that each layer is composed of 8 feedforward blocks (i.e. experts). For every token, at each layer, a router network selects two experts to process the current state and combine their outputs. Even though each token only sees two experts, the selected experts can be different at each timestep. As a result, each token has access to 47B parameters, but only uses 13B active parameters during inference. Mixtral was trained with a context size of 32k tokens and it outperforms or matches Llama 2 70B and GPT-3.5 across all evaluated benchmarks. In particular, Mixtral vastly outperforms Llama 2 70B on mathematics, code generation, and multilingual benchmarks. We also provide a model fine-tuned to follow instructions, Mixtral 8x7B - Instruct, that surpasses GPT-3.5 Turbo, Claude-2.1, Gemini Pro, and Llama 2 70B - chat model on human benchmarks. Both the base and instruct models are released under the Apache 2.0 license.

دليل القراءة

المشكلة والدوافع

تتطلب النماذج اللغوية التوليدية الكثيفة (Dense autoregressive models) تكاليف حسابية تتناسب طردياً مع إجمالي عدد المعاملات لكل رمز تتم معالجته. ومع توسع النماذج لتصل إلى 70B معاملاً وأكثر، يصبح تشغيلها بزمن انتقال منخفض وإنتاجية عالية أمراً مكلفاً للغاية من الناحية الحسابية. يهدف المؤلفون إلى توسيع سعة النموذج مع إبقاء تكلفة الاستدلال لكل رمز مماثلة لتكلفة نماذج أصغر بكثير، وإنشاء نموذج مفتوح الأوزان قادر على مضاهاة أو التفوق على Llama 2 70B والأنظمة الاحتكارية المرجعية مثل GPT-3.5.

الأفكار الرئيسية

خليط الخبراء المتناثر (SMoE): استبدال كتل شبكات التغذية الأمامية (FFN) الكثيفة عبر جميع طبقات المحول البالغ عددها 32 طبقة بـ 8 شبكات خبراء متميزة، وتوجيه كل رمز إلى أفضل خبيرين فقط (top-2).
فصل عدد المعاملات النشطة عن الإجمالية: تحتوي البنية على 47B معاملاً إجمالياً عبر طبقاتها، ولكنها تُشغّل 13B معاملاً نشطاً فقط لكل تمرير أمامي للرمز، مما يطابق البصمة الحسابية لنموذج كثيف متوسط الحجم.
نافذة سياق كاملة بسعة 32k: دعم أصلي لأطوال تسلسل تصل إلى 32,768 رمزاً مع دقة استرجاع بلغت 100% في اختبارات مفتاح المرور (passkey).
توجيه نحوي بدلاً من الاعتماد على الموضوع: يكشف الفحص التجريبي لتوجيه الرموز أن اختيار الخبراء تحركه في المقام الأول الوظيفة النحوية والمحلية الزمنية بدلاً من مجالات الموضوعات العامة.

الطريقة (مع المعادلات الرئيسية)

يعدل Mixtral بنية Mistral 7B (المكونة من $32$ طبقة، وبعد مخفي قدره $4096$ ، و $32$ رأس انتباه، و $8$ رؤوس مفتاح-قيمة) عبر استبدال كل كتلة FFN فرعية بوحدة MoE تتألف من $n = 8$ خبراء ( $E_{0}, \dots, E_{n - 1}$ )، وتم تنفيذ كل خبير كشبكة SwiGLU ببعد وسيط يبلغ $14336$ .

لتمثيل الرمز المدخل $x$ ، تحسب شبكة التوجيه توزيع بوابات متناثراً عبر الخبراء باستخدام أعلى قيم لوجيتس $K$ (حيث $K = 2$ ): $G (x) := Softmax (TopK (x \cdot W_{g}))$ حيث يعين مشغل Top-K القيمة $- \infty$ لجميع الإحداثيات الخارجة عن أكبر $K$ قيم من اللوجيتس $ℓ = x \cdot W_{g} \in R^{n}$ : $(TopK (ℓ))_{i} := {ℓ_{i} - \infty if ℓ_{i} is in the top- K coordinates of ℓ, otherwise.$

يُحسب المخرج الإجمالي للطبقة $y$ كمجموع مرجح بالبوابات لمخرجات الخبراء: $y = i = 0 \sum n - 1 G (x)_{i} \cdot SwiGLU_{i} (x)$ يتحقق التنفيذ عالي الكفاءة من خلال نوى حسابية مثل MegaBlocks، التي تمثل حسابات MoE كعمليات ضرب مصفوفات متناثرة، إلى جانب توازي الخبراء (Expert Parallelism) عبر وحدات معالجة رسومات (GPUs) متعددة.

النتائج (مع أهم الأرقام)

الاختبارات العامة والاستدلال: في اختبار MMLU (نمط 5-shot)، يحقق Mixtral 8x7B نسبة 70.6% مقارنة بـ 69.9% لـ Llama 2 70B و70.0% لـ GPT-3.5. وفي GSM8K (نمط 8-shot، maj@8)، يصل إلى 74.4% مقابل 69.6% لـ Llama 2 70B. وفي اختبار MATH (نمط 4-shot، maj@4)، يحقق Mixtral نسبة 28.4% مقابل 13.8% لـ Llama 2 70B.
توليد الكود البرمجي: يتفوق Mixtral على Llama 2 70B بفارق كبير في HumanEval (40.2% مقابل 29.3%) وفي MBPP (60.7% مقابل 49.8%).
المهام متعددة اللغات: أدت زيادة أخذ العينات من البيانات متعددة اللغات إلى تمكين Mixtral من تجاوز Llama 2 70B عبر الفرنسية والألمانية والإسبانية والإيطالية في اختبارات ARC-Challenge وHellaSwag وMMLU (على سبيل المثال، MMLU الفرنسي: 70.9% مقابل 64.3%).
الضبط الدقيق للتعليمات ونقاط Arena Elo: حقق نموذج Mixtral 8x7B – Instruct (المدرب باستخدام SFT وDirect Preference Optimization) نتيجة 8.30 في MT-Bench وحصل على تصنيف LMSys Chatbot Arena Elo بلغ 1121، متفوقاً على Claude-2.1 (1117) وGPT-3.5-Turbo (1117) وLlama-2-70b-chat (1077).
استرجاع السياق: حقق دقة استرجاع 100% في مهمة استرجاع مفتاح المرور الاصطناعية عبر كامل نافذة السياق البالغة 32k.

القيود والأسئلة المفتوحة

بصمة الذاكرة مقابل الحوسبة: على الرغم من أن تكلفة الحوسبة ترتبط بـ 13B معاملاً نشطاً فقط، إلا أن الاستضافة تتطلب ذاكرة VRAM كافية لاستيعاب جميع المعاملات البالغة 47B، مما يفرض استخدام إعدادات متعددة للـ GPU أو تقنيات الترحيل (offloading).
اختناقات توازي الخبراء: كشفت الورقة عن محلية زمنية عالية؛ فالرموز المتتالية تشترك في تعيين الخبراء نفسه بشكل أكثر تكراراً من الصدفة العشوائية (تكرار الخيار الأول يصل إلى 28.4% في الطبقة 15 مقابل 12.5% عشوائياً). يمكن أن يتسبب ذلك في عدم توازن الحمل وزيادة العبء على وحدات GPU معينة في إطار توازي الخبراء.
غياب التخصص في الموضوعات: لا يوزع الموجه الرموز تلقائياً حسب المجالات المفاهيمية (مثل علم الأحياء مقابل الفلسفة)، مما يترك أسئلة مفتوحة حول كيفية هيكلة البوابات إذا كان التخصص الموضوعي للخبراء مطلوباً بشكل صريح.

المصطلحات الرئيسية

Sparse Mixture of Experts (SMoE): بنية شبكة عصبية يوجه فيها الحساب الشرطي كل رمز مدخل إلى مجموعة فرعية متناثرة من شبكات التغذية الأمامية الفرعية (الخبراء) بدلاً من تنشيط جميع المعاملات.
Active Parameter Count: عدد المعاملات التي يتم تحميلها وحسابها فعلياً أثناء الاستدلال لرمز واحد، وهو 13B في Mixtral مقارنة بإجمالي معاملاته المتناثرة البالغة 47B.
SwiGLU: متغير لتنشيط الوحدات الخطية المبوبة يجمع بين Swish والضرب العنصري، ويستخدم كبنية داخلية لكل كتلة تغذية أمامية للخبراء.
TopK Gating: آلية توجيه تطبق إسقاطاً خطياً على تمثيل الرمز، وتحتفظ بأعلى K من القيم مع تعيين باقي القيم إلى سالب ما لا نهاية، ثم تسويتها عبر دالة softmax.
Expert Parallelism (EP): استراتيجية تقسيم موزعة تعين خبراء مختلفين لوحدات معالجة رسومات (GPUs) مميزة، وتوجه تنشيطات الرموز عبر الأجهزة إلى الخبير المخصص لها.
Direct Preference Optimization (DPO): خوارزمية محاذاة تحسن معاملات النموذج اللغوي مباشرة بناءً على أزواج التفضيلات دون الحاجة لتدريب نموذج مكافأة صريح للتعلم التعزيزي.
Passkey Retrieval: اختبار تقييم اصطناعي يقيس قدرة النموذج على تحديد واسترجاع مفتاح مرور قصير تم وضعه عشوائياً داخل سياقات نصية طويلة تصل إلى 32k رمزاً.
Positional Locality: الميل الملحوظ نحو تعيين الرموز المتتالية في التسلسل لنفس الخبير بشكل متكرر وبنسبة أعلى بكثير من الاحتمال العشوائي المنتظم.

أسئلة شائعة

لماذا يسمى Mixtral بـ 8x7B إذا كان يحتوي على 47B معاملاً فقط بدلاً من 56B؟

على الرغم من وجود 8 خبراء في كل طبقة واشتقاق البنية من Mistral 7B، إلا أن أوزان الانتباه الذاتي وطبقات التضمين مشتركة بين جميع الخبراء. يتم تكرار كتل التغذية الأمامية الفرعية فقط 8 مرات، مما ينتج عنه 47B معاملاً إجمالياً بدلاً من 8 × 7B = 56B.

كم عدد الخبراء الذين يتم تنشيطهم لكل رمز أثناء الاستدلال؟

يختار الموجه خبيرين بالضبط ( $K = 2$ ) من بين الخبراء الـ 8 المتاحين في كل طبقة لكل رمز، مما ينتج عنه 13B معاملاً نشطاً في كل تمرير أمامي.

هل يتخصص الخبراء المختلفون في موضوعات أكاديمية أو مجالات محددة؟

لم يتم العثور على تخصص واضح في المجالات. أظهر التحليل على مجموعة The Pile توزيعات متطابقة تقريباً لتعيين الخبراء عبر موضوعات مثل ArXiv وPubMed وPhilPapers؛ وبدلاً من ذلك، ترتبط قرارات التوجيه ارتباطاً وثيقاً بالقواعد النحوية وهوية الرمز والمحلية الموضعية.

تحت أي ترخيص برمجي تم إصدار نماذج Mixtral 8x7B؟

تم إصدار كل من النموذج الأساسي Mixtral 8x7B ونموذج التعليمات Mixtral 8x7B – Instruct بموجب ترخيص Apache 2.0 المتساهل للاستخدام الأكاديمي والتجاري.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي