Mixtral of Experts

Albert Q. Jiang; Alexandre Sablayrolles; Antoine Roux; Arthur Mensch; Blanche Savary; Chris Bamford; Devendra Singh Chaplot; Diego de las Casas; Emma Bou Hanna; Florian Bressand; Gianna Lengyel; Guillaume Bour; Guillaume Lample; Lélio Renard Lavaud; Lucile Saulnier; Marie-Anne Lachaux; Pierre Stock; Sandeep Subramanian; Sophia Yang; Szymon Antoniak; Teven Le Scao; Théophile Gervet; Thibaut Lavril; Thomas Wang; Timothée Lacroix; William El Sayed

Makaleler · arXiv 2401.04088

Mixtral of Experts

Albert Q. Jiang, Alexandre Sablayrolles, Antoine Roux, Arthur Mensch, Blanche Savary, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Emma Bou Hanna, Florian Bressand, Gianna Lengyel, Guillaume Bour et al.

Yayımlanma 2024-01-08cs.LGcs.CL arXiv PDF

Çeviri ve yapay zekâ ile oku

Üç satırda özet

🎯 Aşırı çıkarım gecikmesi ve hesaplama maliyetlerine yol açmadan transformer kapasitesini ve performansını ölçeklendirmek.
🔧 Standart ileri beslemeli blokları 8 SwiGLU uzmanıyla değiştiren ve öğrenilmiş bir yönlendirici aracılığıyla belirteç başına 2 uzman seçen bir Seyrek Uzmanlar Karışımı (SMoE) yalnızca-kod çözücü mimarisi.
📈 Belirteç başına yalnızca 13B aktif parametreyle toplamda 47B parametreye erişir; MMLU (%70,6'ya karşı %69,9) ve GSM8K (%74,4'e karşı %69,6) testlerinde Llama 2 70B'yi geride bırakır.

Özet

Seyrek Uzmanlar Karışımı (SMoE) dil modeli olan Mixtral 8x7B'yi sunuyoruz. Mixtral, her katmanın 8 ileri beslemeli bloktan (yani uzmandan) oluşması farkı dışında Mistral 7B ile aynı mimariye sahiptir. Her katmanda, her bir belirteç (token) için bir yönlendirici ağ, mevcut durumu işlemek ve çıktılarını birleştirmek üzere iki uzman seçer. Her belirteç yalnızca iki uzman görse de, seçilen uzmanlar her zaman adımında farklı olabilir. Sonuç olarak, her belirteç 47B parametreye erişebilir ancak çıkarım sırasında yalnızca 13B aktif parametre kullanır. Mixtral, 32k belirteçlik bir bağlam boyutuyla eğitilmiştir ve değerlendirilen tüm kıyaslamalarda Llama 2 70B ile GPT-3.5'ten daha iyi performans gösterir veya bu modellerle eşleşir. Mixtral özellikle matematik, kod üretimi ve çok dilli kıyaslamalarda Llama 2 70B'yi büyük farkla geride bırakır. Ayrıca talimatları takip etmek için ince ayarı yapılmış ve insan kıyaslamalarında GPT-3.5 Turbo, Claude-2.1, Gemini Pro ve Llama 2 70B - chat modelini geride bırakan Mixtral 8x7B - Instruct modelini de sunuyoruz. Hem temel model hem de instruct modelleri Apache 2.0 lisansı altında yayınlanmıştır.

Orijinal özet (İngilizce)

We introduce Mixtral 8x7B, a Sparse Mixture of Experts (SMoE) language model. Mixtral has the same architecture as Mistral 7B, with the difference that each layer is composed of 8 feedforward blocks (i.e. experts). For every token, at each layer, a router network selects two experts to process the current state and combine their outputs. Even though each token only sees two experts, the selected experts can be different at each timestep. As a result, each token has access to 47B parameters, but only uses 13B active parameters during inference. Mixtral was trained with a context size of 32k tokens and it outperforms or matches Llama 2 70B and GPT-3.5 across all evaluated benchmarks. In particular, Mixtral vastly outperforms Llama 2 70B on mathematics, code generation, and multilingual benchmarks. We also provide a model fine-tuned to follow instructions, Mixtral 8x7B - Instruct, that surpasses GPT-3.5 Turbo, Claude-2.1, Gemini Pro, and Llama 2 70B - chat model on human benchmarks. Both the base and instruct models are released under the Apache 2.0 license.

Okuma rehberi

Problem ve motivasyon

Yoğun (dense) özbağlanımlı dil modelleri, işlenen her belirteç için toplam parametre sayısıyla doğru orantılı hesaplama maliyetlerine yol açar. Modeller 70B parametre ve ötesine ölçeklendikçe, bunları düşük gecikme süresi ve yüksek verimle sunmak hesaplama açısından oldukça maliyetli hale gelir. Yazarlar, belirteç başına çıkarım maliyetini çok daha küçük modellerle karşılaştırılabilir seviyede tutarken model kapasitesini ölçeklendirmeyi; Llama 2 70B ve GPT-3.5 gibi tescilli temel modelleri yakalayabilen veya geride bırakabilen açık ağırlıklı bir model oluşturmayı hedeflemektedir.

Temel fikirler

Seyrek Uzmanlar Karışımı (SMoE): 32 transformer katmanının tamamındaki yoğun ileri beslemeli ağ (FFN) bloklarını 8 ayrı uzman ağla değiştirmek ve her belirteci yalnızca en iyi 2 uzmana yönlendirmek.
Ayrıştırılmış Parametre Sayıları: Mimari, katmanları genelinde toplam 47B parametre barındırır; ancak belirteç başına ileri geçişte yalnızca 13B aktif parametre çalıştırarak orta büyüklükteki yoğun bir modelin hesaplama ayak izine denk düşer.
Tam 32k Bağlam Penceresi: Passkey kıyaslamalarında %100 geri çağırma doğruluğu ile 32.768 belirteçlik dizi uzunlukları için yerel destek.
Konu Tabanlı Olmaktan Ziyade Sözdizimsel Yönlendirme: Belirteç yönlendirmesinin ampirik analizi, uzman seçiminin üst düzey konu alanlarından ziyade öncelikle sözdizimsel işlev ve zamansal yerellik tarafından yönlendirildiğini ortaya koymaktadır.

Yöntem (anahtar denklemlerle)

Mixtral, her FFN alt bloğunu, her biri $14336$ ara boyuta sahip bir SwiGLU ağı olarak uygulanan $n = 8$ uzmandan ( $E_{0}, \dots, E_{n - 1}$ ) oluşan bir MoE modülü ile ikame ederek Mistral 7B mimarisini ( $32$ katman, $4096$ gizli boyut, $32$ dikkat başlığı, $8$ anahtar-değer başlığı) değiştirir.

Bir girdi belirteç temsili $x$ için, bir yönlendirici ağ en yüksek $K$ logit'i ( $K = 2$ ) kullanarak uzmanlar arasında seyrek bir kapılama dağılımı hesaplar: $G (x) := Softmax (TopK (x \cdot W_{g}))$ burada Top-K operatörü, $ℓ = x \cdot W_{g} \in R^{n}$ logitlerinin en büyük $K$ değeri dışındaki tüm koordinatlara $- \infty$ atar: $(TopK (ℓ))_{i} := {ℓ_{i} - \infty ℓ_{i}, ℓ ’nin en y \overset{u}{¨} ksek K koordinat ı i \overset{c}{¸} indeyse, aksi halde.$

Katmanın genel çıktısı $y$ , uzman çıktılarının kapılama ağırlıklı toplamı olarak hesaplanır: $y = i = 0 \sum n - 1 G (x)_{i} \cdot SwiGLU_{i} (x)$ Verimli yürütme, birden çok GPU genelinde Expert Parallelism ile birlikte, MoE hesaplamasını seyrek matris çarpımları olarak temsil eden MegaBlocks gibi çekirdekler aracılığıyla gerçekleştirilir.

Sonuçlar (en önemli sayılarla)

Genel Yetenek ve Akıl Yürütme Kıyaslamaları: MMLU'da (5-shot), Mixtral 8x7B %70,6 başarırken, bu oran Llama 2 70B için %69,9 ve GPT-3.5 için %70,0'dır. GSM8K'da (8-shot, maj@8), Llama 2 70B'nin %69,6'lık skoruna karşılık %74,4'e ulaşır. MATH kıyaslamasında (4-shot, maj@4) Mixtral, Llama 2 70B'nin %13,8'ine karşılık %28,4 elde eder.
Kod Üretimi: Mixtral, HumanEval (%40,2'ye karşı %29,3) ve MBPP (%60,7'ye karşı %49,8) testlerinde Llama 2 70B'yi belirgin şekilde geride bırakır.
Çok Dilli Görevler: Çok dilli verilerin yukarı örneklenmesi, Mixtral'in ARC-Challenge, HellaSwag ve MMLU üzerinde Fransızca, Almanca, İspanyolca ve İtalyanca dillerinde Llama 2 70B'yi aşmasını sağlar (ör. Fransızca MMLU: %70,9'a karşı %64,3).
Talimat İnce Ayarı ve Arena Elo: Mixtral 8x7B – Instruct (SFT ve Direct Preference Optimization ile eğitilmiştir), MT-Bench'te 8,30 puan almış ve 1121 LMSys Chatbot Arena Elo derecesine ulaşarak Claude-2.1 (1117), GPT-3.5-Turbo (1117) ve Llama-2-70b-chat (1077) modellerini geride bırakmıştır.
Bağlam Geri Çağırma: Tüm 32k bağlam penceresi boyunca sentetik passkey geri çağırma görevinde %100 geri çağırma doğruluğu elde eder.

Sınırlılıklar ve açık sorular

Bellek Ayak İzi ve Hesaplama Karşılaştırması: Hesaplama maliyeti 13B aktif parametreyle ölçeklense de, sunum (serving) aşaması 47B parametrenin tamamını tutmak için yeterli VRAM gerektirir; bu da çoklu GPU kurulumlarını veya bellek boşaltma (offloading) tekniklerini zorunlu kılar.
Expert Parallelism Darboğazları: Makale, yüksek zamansal yerellik keşfetmektedir; ardışık belirteçler aynı uzman atamalarını rastgele olasılığa kıyasla çok daha sık paylaşır (15. katmanda %12,5 rastgele olasılığa karşı %28,4 ilk tercih tekrarı). Bu durum, Expert Parallelism altında yük dengesizliğine ve belirli GPU'ların aşırı yüklenmesine yol açabilir.
Konu Uzmanlaşması Eksikliği: Yönlendirici seçimi kavramsal alanlara (örneğin biyolojiye karşı felsefe) göre doğal olarak ayrışmaz; bu durum, alana özgü uzmanlaşma açıkça istendiğinde kapılamanın nasıl yapılandırılması gerektiğine dair açık sorular bırakmaktadır.

Temel terimler

Sparse Mixture of Experts (SMoE): Koşullu hesaplamanın her bir girdi belirtecini tüm parametreleri etkinleştirmek yerine ileri beslemeli alt ağların (uzmanların) seyrek bir alt kümesine yönlendirdiği bir yapay sinir ağı mimarisi.
Active Parameter Count: Tek bir belirteç için çıkarım sırasında fiilen yüklenen ve hesaplanan parametre sayısı; bu sayı Mixtral'in 47B toplam seyrek parametresine kıyasla 13B'dir.
SwiGLU: Her bir uzman ileri beslemeli bloğun dahili mimarisi olarak kullanılan, Swish ve eleman bazlı çarpmayı birleştiren bir kapılı doğrusal birim (gated linear unit) aktivasyon türevi.
TopK Gating: Belirteç temsiline doğrusal bir projeksiyon uygulayan, en yüksek K değeri korurken geri kalanını eksi sonsuza maskeleyen ve bunları softmax yoluyla normalize eden bir yönlendirme mekanizması.
Expert Parallelism (EP): Farklı uzmanları ayrı GPU'lara eşleyen ve belirteç aktivasyonlarını cihazlar arasında atanan uzmana yönlendiren dağıtık bir bölme stratejisi.
Direct Preference Optimization (DPO): Açık bir pekiştirmeli öğrenme ödül modeli eğitmeden dil modeli parametrelerini doğrudan tercih çiftleri üzerinde optimize eden bir hizalama algoritması.
Passkey Retrieval: Bir modelin 32k belirtece kadar olan uzun bağlam istemleri içine rastgele yerleştirilmiş kısa bir anahtarı bulma ve döndürme yeteneğini ölçen sentetik bir değerlendirme testi.
Positional Locality: Bir dizideki ardışık belirteçlerin, tekdüze rastgele olasılığın çok üzerinde bir oranla art arda aynı uzmana atanması yönündeki gözlemlenen eğilim.

Sorular

Mixtral, 56B yerine yalnızca 47B parametreye sahipken neden 8x7B olarak adlandırılıyor?

Katman başına 8 uzman olmasına ve mimari Mistral 7B'den türetilmesine rağmen, öz-dikkat ağırlıkları ve gömme katmanları tüm uzmanlar arasında paylaşılır. Yalnızca ileri beslemeli alt bloklar 8 kez çoğaltılmıştır; bu da 8 × 7B = 56B yerine toplam 47B parametreyle sonuçlanır.

Çıkarım sırasında her belirteç için kaç uzman etkinleştirilir?

Yönlendirici, her belirteç için her katmanda mevcut 8 uzman arasından tam olarak 2 uzman ( $K = 2$ ) seçer; bu da ileri geçiş başına 13B aktif parametre kullanımını sağlar.

Farklı uzmanlar farklı akademik veya tematik konularda uzmanlaşıyor mu?

Belirgin bir alan uzmanlaşması bulunamamıştır. The Pile üzerindeki analizler, ArXiv, PubMed ve PhilPapers gibi konular genelinde neredeyse aynı uzman atama dağılımlarını göstermiştir; bunun yerine yönlendirme kararları büyük ölçüde sözdizimi, belirteç kimliği ve konumsal yerellik ile ilişkilidir.

Mixtral 8x7B modelleri hangi yazılım lisansı altında yayınlanmıştır?

Hem Mixtral 8x7B temel modeli hem de Mixtral 8x7B – Instruct modeli, akademik ve ticari kullanım için esnek olan Apache 2.0 lisansı altında yayınlanmıştır.

Bu sayfadaki açıklama yapay zekâ tarafından makaleden yazılmıştır ve hata içerebilir. Ayrıntılar için makaleyi okuyun.

Çeviri ve yapay zekâ ile oku