Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer

Noam Shazeer; Azalia Mirhoseini; Krzysztof Maziarz; Andy Davis; Quoc Le; Geoffrey Hinton; Jeff Dean

الأوراق البحثية · arXiv 1701.06538

الشبكات العصبية فائقة الضخامة: طبقة خليط الخبراء ذات البوابات المتناثرة

Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer

Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton, Jeff Dean

تاريخ النشر 2017-01-23cs.LGcs.CLcs.NEstat.ML arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 تعاني الشبكات العصبية الكثيفة من تضخم تربيعي في التكلفة الحسابية عند زيادة سعة النموذج لاستيعاب مجموعات البيانات الضخمة.
🔧 إدخال طبقة خليط الخبراء ذات البوابات المتناثرة (MoE) باستخدام بوابات Noisy Top-K ودوال خسارة مساعدة لموازنة الحمل عبر وحدات GPU الموزعة.
📈 توسيع نماذج اللغة والترجمة حتى 137 مليار معامل، متفوقة على أفضل حيرة (perplexity) منشورة لنمذجة اللغة بنسبة 24% إلى 39% وبتكلفة حسابية أقل.

الملخص

تقتصر قدرة الشبكة العصبية على استيعاب المعلومات بعدد معاملاتها. اقتُرح الحساب المشروط، حيث تنشط أجزاء من الشبكة بناءً على كل عينة على حدة، نظريًا كوسيلة لزيادة سعة النموذج بشكل كبير دون زيادة طردية في العمليات الحسابية. ومع ذلك، عمليًا، هناك تحديات خوارزمية وتحديات تتعلق بالأداء كبيرة جدًا. في هذا العمل، نعالج هذه التحديات ونحقق أخيرًا الوعد الذي قدمه الحساب المشروط، محققين تحسينات تفوق 1000 ضعف في سعة النموذج مع خسائر طفيفة فقط في الكفاءة الحسابية على مجموعات GPU الحديثة. نقدم طبقة خليط الخبراء ذات البوابات المتناثرة (MoE)، والتي تتكون من آلاف الشبكات الفرعية ذات التغذية الأمامية. تحدد شبكة بوابات قابلة للتدريب توليفة متناثرة من هؤلاء الخبراء لاستخدامها لكل عينة. نطبق MoE على مهام نمذجة اللغة والترجمة الآلية، حيث تعد سعة النموذج بالغة الأهمية لاستيعاب الكميات الهائلة من المعرفة المتوفرة في مجموعات بيانات التدريب. نقدم بنيات نماذج تُطبق فيها MoE بما يصل إلى 137 مليار معامل بشكل التفافي بين طبقات LSTM متراكمة. في المعايير المرجعية الضخمة لنمذجة اللغة والترجمة الآلية، تحقق هذه النماذج نتائج أفضل بكثير من النماذج الرائدة بأحدث التقنيات وبتكلفة حسابية أقل.

الملخص الأصلي (بالإنجليزية)

The capacity of a neural network to absorb information is limited by its number of parameters. Conditional computation, where parts of the network are active on a per-example basis, has been proposed in theory as a way of dramatically increasing model capacity without a proportional increase in computation. In practice, however, there are significant algorithmic and performance challenges. In this work, we address these challenges and finally realize the promise of conditional computation, achieving greater than 1000x improvements in model capacity with only minor losses in computational efficiency on modern GPU clusters. We introduce a Sparsely-Gated Mixture-of-Experts layer (MoE), consisting of up to thousands of feed-forward sub-networks. A trainable gating network determines a sparse combination of these experts to use for each example. We apply the MoE to the tasks of language modeling and machine translation, where model capacity is critical for absorbing the vast quantities of knowledge available in the training corpora. We present model architectures in which a MoE with up to 137 billion parameters is applied convolutionally between stacked LSTM layers. On large language modeling and machine translation benchmarks, these models achieve significantly better results than state-of-the-art at lower computational cost.

دليل القراءة

المشكلة والدافع

تستفيد نماذج التعلم العميق بشكل كبير من سعة المعاملات عند تدريبها على مجموعات بيانات كبيرة. ومع ذلك، فإن البنيات القياسية تُنشّط كامل الشبكة لكل رمز أو عينة إدخال. يؤدي هذا إلى زيادة غير عملية في التكلفة الحسابية مع زيادة حجم الشبكة وحجم مجموعة البيانات معًا.

على الرغم من أن الحساب المشروط (تنشيط مجموعات فرعية فقط من النموذج لكل عينة) قد اقتُرح نظريًا، إلا أن التطبيقات السابقة واجهت صعوبات على المسرعات الحديثة بسبب:

تفضيل وحدات GPU للعمليات الحسابية المنتظمة على التفرع الشرطي.
"مشكلة تقلص الدفعة" (shrinking batch problem)، حيث يؤدي توجيه مجموعات فرعية من العينات إلى ترك الشبكات الفرعية الفردية بأحجام دفعات صغيرة وغير فعالة.
اختناقات النطاق الترددي للشبكة بين الأجهزة.
التوجيه غير المتوازن، حيث تهيمن قلة من الشبكات الفرعية بينما تُحرم الشبكات الأخرى.

الأفكار الرئيسية

طبقة MoE ذات البوابات المتناثرة: يتم وضع شبكات فرعية ذات تغذية أمامية ("خبراء") بين الطبقات المتكررة (مثل LSTMs المتراكمة). لا يتم تقييم سوى مجموعة متناثرة من أفضل $k$ من الخبراء لكل موضع.
بوابات Noisy Top-K: يُضاف تشويش غاوسي قابل للضبط إلى قيم logits الخاصة بالبوابات قبل اختيار أفضل $k$ وتطبيق softmax لتوفير تدرجات مستمرة قابلة للانتشار العكسي وتشجيع الاستكشاف المتوازن بين الخبراء.
الجمع بين موازاة البيانات وموازاة النماذج: تعمل الطبقات القياسية وآلية البوابات بتوازي البيانات عبر الأجهزة، في حين يتم تقسيم الخبراء بتوازي النماذج عبر وحدات GPU. يتم دمج الدفعات عبر جميع الأجهزة حتى يتلقى الخبراء دفعات صغيرة مجمعة وكبيرة بما يكفي.
قيود الموازنة: تمنع دوال الخسارة المساعدة الصريحة المفروضة على أهمية الخبير وحمل الخبير شبكة البوابات من الانهيار إلى حلول تالفة تُفرط في استخدام قلة من الخبراء فقط.

الطريقة (مع المعادلات الرئيسية)

تتكون طبقة MoE من عدد $n$ من شبكات الخبراء ذات التغذية الأمامية $E_{1}, \dots, E_{n}$ وشبكة بوابات $G (x)$ . مخرج الطبقة هو: $y = i = 1 \sum n G (x)_{i} E_{i} (x)$ يتم تجنب الحساب تمامًا عندما تكون $G (x)_{i} = 0$ .

بوابات Noisy Top-K

للجمع بين التناثر والبوابات القابلة للاشتقاق، يُحقن تشويش في الإسقاطات الخطية: $H (x)_{i} = (x \cdot W_{g})_{i} + StandardNormal () \cdot Softplus ((x \cdot W_{noise})_{i})$ $KeepTopK (v, k)_{i} = {v_{i} - \infty إذا كان v_{i} ضمن أفضل k عناصر في v عكس ذلك$ $G (x) = Softmax (KeepTopK (H (x), k))$

دوال خسارة موازنة الحمل

لفرض أوزان بوابات إجمالية متساوية، تُعرَّف خسارة الأهمية على دفعة $X$ باستخدام معامل الاختلاف ( $C V$ ): $Importance (X) = x \in X \sum G (x)$ $L_{importance} (X) = w_{importance} \cdot C V (Importance (X))^{2}$ لضمان أعداد متساوية من العينات لكل خبير، يستخدم مقدِّر الحمل السلس دالة التوزيع التراكمي الطبيعية $Φ$ : $P (x, i) = Φ (\frac{( x \cdot W _{g} ) _{i} - kth_excluding ( H ( x ) , k , i )}{Softplus (( x \cdot W _{noise} ) _{i} )})$ $Load (X)_{i} = x \in X \sum P (x, i)$ $L_{load} (X) = w_{load} \cdot C V (Load (X))^{2}$

النتائج (مع أهم الأرقام)

معيار 1 Billion Word Benchmark: حقق نموذج MoE-4096-h المتكافئ حسابيًا حيرة اختبار بلغت 34.1 (بانخفاض قدره 24% مقارنة بنماذج LSTM المرجعية المتكافئة حسابيًا). وصل نموذج MoE عالي الميزانية الحسابية إلى حيرة اختبار قدرها 28.0 في 47 ساعة على 32 وحدة GPU من طراز K40، متفوقًا على أفضل نتيجة سابقة بلغت 34.7 (والتي استغرقت 59 ساعة على 32 وحدة GPU من طراز K40).
مجموعة بيانات 100 Billion Word Corpus: أدى التوسع إلى 65,536 خبيرًا (68 مليار معامل) إلى خفض حيرة الاختبار بنسبة 39% مقارنة بالنموذج الأساسي الكثيف (28.9 مقابل 47.0)، مع الحفاظ على 0.72 TFLOPS/GPU.
الترجمة الآلية: حقق نموذج GNMT المعزز بـ MoE نتيجة 40.56 BLEU على WMT'14 En $\to$ Fr (+1.34 BLEU مقارنة بـ GNMT بدون التعلم المعزز RL) و26.03 BLEU على WMT'14 En $\to$ De (+1.12 BLEU) مع تطلبه لأقل من نصف العمليات الحسابية لكل خطوة زمنية.
الترجمة متعددة اللغات: تفوق نموذج MoE واحد متعدد اللغات على النموذج المرجعي GNMT متعدد اللغات في 11 من أصل 12 زوج لغوي (بزيادة تصل إلى +5.84 BLEU في الترجمة الكورية $\to$ الإنجليزية) وخفض حيرة مجموعة التطوير (dev perplexity) بنسبة 19%.

القيود والأسئلة المفتوحة

التناثر الشديد قد يؤدي إلى عوائد متناقصة أو تراجع في الأداء؛ تدهورت الحيرة عند التوسع من 65,536 إلى 131,072 خبيرًا على مجموعة بيانات 100B-word.
تظل التكاليف الإضافية للاتصالات الموزعة معتمدة على نسبة الأبعاد المخفية إلى المدخلات/المخرجات، مما يجعل سعات الخبراء الصغيرة أقل كفاءة في استغلال النطاق الترددي.
تطبيق MoE بشكل تكراري داخل خطوات تكرار RNN يكسر تحسين فرد الدفعات (batch-unrolling) عبر مواضع التسلسل، مما يتطلب استراتيجيات لإعادة حساب التنشيط (activation recomputation).

المصطلحات الرئيسية

Sparsely-Gated Mixture-of-Experts Layer (MoE): طبقة في الشبكة العصبية تحتوي على شبكات فرعية متوازية متعددة من الخبراء، حيث تختار شبكة بوابات قابلة للتدريب مجموعة فرعية متناثرة فقط من الخبراء لكل عينة إدخال.
Conditional Computation: نمط معماري يتم فيه تنشيط أو تعطيل أجزاء من الشبكة العصبية ديناميكيًا لكل عينة على حدة لزيادة سعة المعاملات دون زيادة طردية في الحسابات.
Noisy Top-K Gating: آلية بوابات تضيف تشويشًا غاوسيًا قابلًا للضبط إلى القيم قبل الاحتفاظ بأعلى k قيم فقط وتطبيق softmax، مما يتيح الانتشار العكسي ويمنع انهيار التوجيه.
Shrinking Batch Problem: انخفاض حجم الدفعة الفعلي الذي تتلقاه الشبكات الفرعية الفردية عند تقسيم المدخلات بشكل متناثر عبر العديد من الخبراء، مما يقلل الكفاءة الحسابية للعتاد.
Importance Loss: دالة خسارة مساعدة تعاقب مربع معامل الاختلاف لمجموع قيم البوابات لكل خبير عبر الدفعة الواحدة لتشجيع التخصيص المتساوي للخبراء.
Load Loss: هدف مساعد يقلل من التباين في عدد التخصيصات المقدر الموزون بالاحتمالات للرموز عبر الخبراء لموازنة الحمل على العتاد.
Hierarchical Mixture of Experts: بنية MoE من مستويين حيث تقوم شبكة بوابات أولية بتوجيه المدخلات إلى مجموعات MoE ثانوية لتقليل عامل التفرع وتكاليف الاتصال الموزع.

أسئلة شائعة

كيف تسمح شبكة البوابات بالانتشار العكسي عبر توجيه top-k المنفصل؟

نظرًا لأن اختيار top-k يُطبق قبل دالة softmax، فإن قيم البوابات غير الصفرية للخبراء المختارين تحتفظ بمشتقات مستمرة بالنسبة لأوزان الإدخال، مما يسمح للتدرجات بالتدفق عائدة عبر شبكة البوابات.

كيف يتم حل مشكلة تقلص الدفعة عبر الأجهزة الموزعة؟

يجمع النموذج بين موازاة البيانات وموازاة النماذج: تعالج الطبقات القياسية دفعات صغيرة مستقلة عبر الأجهزة، ولكن يتم تجميع الرموز من جميع الأجهزة معًا قبل توجيهها إلى الخبراء الثابتين المستضافين عبر وحدات GPU المختلفة.

لماذا يُعد التشويش ضروريًا في شبكة البوابات؟

يشجع التشويش الغاوسي المحقون استكشاف الخبراء في المراحل الأولى من التدريب، ويوفر مقدِّرًا سلسًا لدالة خسارة موازنة الحمل، مما يمنع الانهيار الذاتي التراكمي للخبراء.

ماذا يحدث عندما يتم توسيع النموذج إلى 131,072 خبيرًا؟

تدهورت الحيرة بشكل طفيف من 28.9 (عند 65,536 خبيرًا) إلى 29.2 (عند 131,072 خبيرًا)، وانخفضت الكفاءة الحسابية إلى 0.30 TFLOPS/GPU، ويرجع ذلك على الأرجح إلى التناثر الشديد وثبات أحجام الدفعات دون توسيعها.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي