Mixtral of Experts

Panduan membaca

Masalah dan motivasi

Model bahasa autoregresif padat (dense) memerlukan biaya komputasi yang berbanding lurus dengan jumlah parameter totalnya untuk setiap token yang diproses. Seiring model diskalakan hingga 70B parameter dan seterusnya, menyajikannya dengan latensi rendah dan throughput tinggi menjadi sangat mahal secara komputasi. Penulis bertujuan untuk meningkatkan kapasitas model sembari menjaga biaya inferensi per token tetap sebanding dengan model yang jauh lebih kecil, menciptakan model berbobot terbuka yang mampu menyaingi atau mengungguli Llama 2 70B dan baseline proprietary seperti GPT-3.5.

Ide utama

• Sparse Mixture of Experts (SMoE): Mengganti blok feedforward network (FFN) padat di seluruh 32 lapisan transformer dengan 8 jaringan pakar yang berbeda, merutekan setiap token hanya ke 2 pakar teratas.
• Pemisahan Jumlah Parameter: Arsitektur ini menampung 47B parameter total di seluruh lapisannya, tetapi hanya mengeksekusi 13B parameter aktif per forward pass token, menyamai jejak komputasi model padat berukuran sedang.
• Jendela Konteks Penuh 32k: Dukungan bawaan untuk panjang sekuens 32.768 token dengan akurasi retrieval 100% pada tolok ukur passkey.
• Perutean Berbasis Sintaksis alih-alih Topik: Pemeriksaan empiris terhadap perutean token menunjukkan bahwa pemilihan pakar terutama didorong oleh fungsi sintaksis dan lokalitas temporal daripada domain topik tingkat tinggi.

Metode (dengan persamaan utama)

Mixtral memodifikasi arsitektur Mistral 7B ($32$ lapisan, dimensi tersembunyi $4096$, $32$ attention head, $8$ key-value head) dengan mengganti setiap sub-blok FFN dengan modul MoE yang terdiri dari $n=8$ pakar ($E_0,\dots ,E_{n-1}$), masing-masing diimplementasikan sebagai jaringan SwiGLU dengan dimensi perantara $14336$.

Untuk representasi token masukan $x$, jaringan perute menghitung distribusi gating renggang (sparse) di seluruh pakar menggunakan logit top-$K$ ($K=2$): $$G(x):=\text{Softmax}(\text{TopK}(x\cdot W_g))$$ di mana operator Top-K menetapkan $-\infty$ ke semua koordinat di luar nilai $K$ terbesar dari logit $\ell =x\cdot W_g\in {\mathbb{R}}^n$: $$(\text{TopK}(\ell ){)}_i:=\{\begin{array}{ll}{\ell }_i& \text{jika }{\ell }_i\text{ berada di dalam koordinat top-}K\text{ dari }\ell ,\\ -\infty & \text{lainnya.}\end{array}$$

Keluaran keseluruhan lapisan $y$ dihitung sebagai jumlah berbobot gating atas keluaran para pakar: $$y=\sum _{i=0}^{n-1}G(x{)}_i\cdot {\text{SwiGLU}}_i(x)$$ Eksekusi yang efisien dicapai melalui kernel seperti MegaBlocks, yang merepresentasikan komputasi MoE sebagai perkalian matriks renggang, bersama dengan Expert Parallelism di beberapa GPU.

Hasil (dengan angka-angka terpenting)

• Tolok Ukur Umum & Penalaran: Pada MMLU (5-shot), Mixtral 8x7B mencapai 70,6% dibandingkan 69,9% untuk Llama 2 70B dan 70,0% untuk GPT-3.5. Pada GSM8K (8-shot, maj@8), ia mencapai 74,4% versus 69,6% untuk Llama 2 70B. Pada tolok ukur MATH (4-shot, maj@4), Mixtral meraih 28,4% versus 13,8% untuk Llama 2 70B.
• Pembuatan Kode: Mixtral mengungguli Llama 2 70B secara substansial pada HumanEval (40,2% vs 29,3%) dan MBPP (60,7% vs 49,8%).
• Tugas Multibahasa: Upsampling data multibahasa memungkinkan Mixtral melampaui Llama 2 70B pada bahasa Prancis, Jerman, Spanyol, dan Italia di ARC-Challenge, HellaSwag, dan MMLU (misalnya, MMLU bahasa Prancis: 70,9% vs 64,3%).
• Instruction Fine-Tuning & Arena Elo: Mixtral 8x7B – Instruct (dilatih dengan SFT dan Direct Preference Optimization) meraih skor 8,30 pada MT-Bench dan mencapai Elo LMSys Chatbot Arena sebesar 1121, melampaui Claude-2.1 (1117), GPT-3.5-Turbo (1117), dan Llama-2-70b-chat (1077).
• Retrieval Konteks: Mencapai akurasi retrieval 100% pada tugas retrieval passkey sintetis di seluruh jendela konteks 32k.

Keterbatasan dan pertanyaan terbuka

• Jejak Memori vs. Komputasi: Meskipun biaya komputasi sebanding dengan 13B parameter aktif, penyajian membutuhkan VRAM yang cukup untuk menampung seluruh 47B parameter, sehingga menuntut pengaturan multi-GPU atau teknik offloading.
• Bottleneck Expert Parallelism: Makalah ini menemukan lokalitas temporal yang tinggi—token yang berurutan memiliki penetapan pakar yang sama jauh lebih sering daripada peluang acak (hingga 28,4% pengulangan pilihan pertama pada lapisan 15 vs 12,5% acak). Hal ini dapat menyebabkan ketidakseimbangan beban dan kelebihan beban pada GPU tertentu dalam Expert Parallelism.
• Kurangnya Spesialisasi Topik: Pemilihan perute tidak secara alami terbagi berdasarkan domain konseptual (misalnya, biologi vs. filsafat), menyisakan pertanyaan terbuka tentang bagaimana menyusun gating jika spesialisasi pakar untuk domain tertentu secara eksplisit diinginkan.