DeepSeek-V3 Teknik Raporu

Okuma rehberi

Problem ve motivasyon

Öncü büyük dil modelleri (LLM'ler) AGI hedefine doğru arayı kapatmaya devam ediyor, ancak açık kaynaklı modelleri ölçeklendirmek genellikle aşırı yüksek bilgi işlem bütçeleri ve altyapı gerektirir. Ayrıca, Mixture-of-Experts (MoE) mimarilerini ölçeklendirmek belirli mühendislik zorluklarını da beraberinde getirir:

1. Yardımcı Kayıp Nedeniyle Performans Düşüşü: Geleneksel yardımcı yük dengeleme kayıpları yönlendirme esnekliğini ciddi şekilde kısıtlar ve dil modelleme kapasitesine zarar verir.
2. İletişim Darboğazları: İnce taneli düğümler arası yönlendirme, genellikle 1:1 hesaplama-iletişim oranına ulaşan ciddi all-to-all iletişim ek yüklerine yol açar.
3. Sayısal Duyarlık ve Bellek: Standart 16-bit eğitim yüksek bellek tüketirken, naif FP8 eğitimi aktivasyon aykırı değerleri ve sınırlı Tensor Core birikim duyarlığı nedeniyle sayısal kararsızlık ve underflow sorunları yaşar.

DeepSeek-V3, minimum eğitim maliyetiyle sınırları zorlayan bir performans elde etmek amacıyla birlikte tasarlanmış algoritmik stratejiler ve donanım düzeyinde altyapı optimizasyonları ile bu zorlukların üstesinden gelir.

Temel fikirler

• Mimari Verimliliği: Multi-head Latent Attention (MLA) aracılığıyla düşük dereceli Key-Value sıkıştırmasını, DeepSeekMoE (1 paylaşımlı + 256 yönlendirilen uzman, 8'i aktif) aracılığıyla ince taneli yönlendirilen uzmanlarla birleştirir.
• Yardımcı Kayıpsız Yük Dengeleme (Auxiliary-Loss-Free Load Balancing): Performansı düşüren yardımcı kayıpların yerine dinamik olarak güncellenen uzman yanlılık (bias) terimlerini getirerek, yönlendirme çökmesi (routing collapse) olmadan belirgin alan uzmanlaşmasını mümkün kılar.
• Multi-Token Prediction (MTP): Eğitim sinyallerini zenginleştirmek ve spekülatif kod çözmeyi (1,8× TPS) desteklemek için korunmuş bir nedensel zincir boyunca her konumda ardışık olarak birden fazla gelecekteki token'ı tahmin eder.
• DualPipe Paralelliği: İleri ve geri hesaplamayı, düğümler arası MoE all-to-all ve PP iletişimleriyle tamamen örtüştüren çift yönlü bir pipeline çizelgelemesi.
• FP8 Karma Duyarlıklı Eğitim: Tüm tensörlerde E4M3 kullanır; tile bazında ($1\times 128$) aktivasyon ve blok bazında ($128\times 128$) ağırlık ölçekleme uygular; ayrıca her $N_c=128$ adımda birikimi FP32 formatında CUDA Core register'larına aktarır.
• Akıl Yürütme Damıtma (Reasoning Distillation): DeepSeek-R1 serisinden doğrulama ve yansıtma odaklı uzun düşünce zinciri (long-CoT) akıl yürütme kalıplarını doğrudan SFT ve RL eğitim sonrası aşamalarına damıtır.

Yöntem

1. Multi-head Latent Attention (MLA)

Token gizli durumu ${\mathbf{h}}_t$ için MLA, KV önbelleğini paylaşılan bir latent vektöre ${\mathbf{c}}_t^{KV}\in {\mathbb{R}}^{d_c}$ ve sorgu durumlarını ${\mathbf{c}}_t^Q\in {\mathbb{R}}^{d_c^{\prime }}$ içine sıkıştırır:

$${\mathbf{c}}_t^{KV}=W^{DKV}{\mathbf{h}}_t,{\mathbf{k}}_t^C=W^{UK}{\mathbf{c}}_t^{KV},{\mathbf{v}}_t^C=W^{UV}{\mathbf{c}}_t^{KV}$$ $${\mathbf{k}}_t^R=\mathrm{RoPE}(W^{KR}{\mathbf{h}}_t),{\mathbf{k}}_{t,i}=[{\mathbf{k}}_{t,i}^C;{\mathbf{k}}_t^R]$$

Çıkarım sırasında önbelleğe alma yalnızca ${\mathbf{c}}_t^{KV}$ ve ${\mathbf{k}}_t^R$ ile sınırlandırılarak bellek ayak izi önemli ölçüde azaltılır.

2. Yardımcı Kayıpsız Dengelemeli DeepSeekMoE

İleri beslemeli ağ çıktıları $N_s$ paylaşılan uzmanı ve $N_r$ yönlendirilen uzmanı birleştirir:

$${\mathbf{h}}_t^{\prime }={\mathbf{u}}_t+\sum _{i=1}^{N_s}{\mathrm{FFN}}_i^{(s)}({\mathbf{u}}_t)+\sum _{i=1}^{N_r}{g}_{i,t}{\mathrm{FFN}}_i^{(r)}({\mathbf{u}}_t)$$

Uzman yakınlıkları $s_{i,t}=\mathrm{Sigmoid}({\mathbf{u}}_t^T{\mathbf{e}}_i)$ olarak hesaplanır. Kapılama değerleri $g_{i,t}$, yönlendirme kararlarının dinamik bir yanlılık terimi $b_i$ içerdiği $g_{i,t}^{\prime }$ normalize edilerek hesaplanır:

$$g_{i,t}^{\prime }=\{\begin{array}{ll}{s}_{i,t},& s_{i,t}+b_i\in \mathrm{Topk}(\{s_{j,t}+b_j\mid 1\le j\le N_r\},K_r)\\ 0,& \text{aksi takdirde}\end{array}$$

Adım sonunda uzman $i$ aşırı yüklenmişse $b_i\leftarrow b_i-\gamma$; yetersiz yüklenmişse $b_i\leftarrow b_i+\gamma$ uygulanır ($\gamma =0.001$ ile). Tamamlayıcı olarak çok küçük dizi düzeyinde bir dengeleme kaybı ($\alpha =0.0001$) kullanılır.

3. Multi-Token Prediction (MTP)

Tahmin derinliği $k\in [1,D]$ (burada $D=1$) için, temsil ${\mathbf{h}}_i^{k-1}$ kaydırılmış token gömmesi ile birleştirilir:

$${\mathbf{h}}_i^{\prime k}=M_k[\mathrm{RMSNorm}({\mathbf{h}}_i^{k-1});\mathrm{RMSNorm}(\mathrm{Emb}(t_{i+k}))]$$ $${\mathbf{h}}_{1:T-k}^k={\mathrm{TRM}}_k({\mathbf{h}}_{1:T-k}^{\prime k}),P_{i+k+1}^k=\mathrm{OutHead}({\mathbf{h}}_i^k)$$

Toplam eğitim kaybına ${\mathcal{L}}_{\text{MTP}}=\frac{\lambda }{D}{\sum }_{k=1}^D{\mathcal{L}}_{\text{MTP}}^k$ eklenir.

Sonuçlar

• Ön Eğitim Bütçesi: Sadece 2,664 milyon H800 GPU saati ile 14,8T token üzerinde önceden eğitilmiştir (2048 GPU üzerinde 1T token başına 3,7 gün). Tam eğitim 2,788 milyon GPU saati tüketmiştir (saat başına 2 dolardan ~5,576 milyon dolar).
• Kararlılık: 14,8T token boyunca sıfır geri alma (rollback) ve sıfır telafisi mümkün olmayan kayıp artışı.
• Temel Model Kıyaslamaları (Base Model Benchmarks):
  • MMLU (87,1'e karşı 84,4), BBH (87,5'e karşı 82,9), HumanEval (65,2'ye karşı 54,9) ve MATH (61,6'ya karşı 49,0) testlerinde LLaMA-3.1 405B Base modelini geride bırakır.
  • C-Eval (90,1'e karşı 89,2) ve GSM8K (89,3'e karşı 88,3) testlerinde Qwen2.5 72B Base modelini geride bırakır.
• Sohbet Modeli Kıyaslamaları (Chat Model Benchmarks):
  • Matematik ve Kod: o1 dışındaki modeller arasında en yüksek skorları elde eder: MATH-500 (90,2), AIME 2024 (39,2), LiveCodeBench CoT (40,5).
  • Geniş Bilgi: MMLU (88,5), MMLU-Pro (75,9), GPQA-Diamond (59,1).
  • Açık Uçlu Değerlendirme: Arena-Hard'da %85'in üzerinde kazanma oranı elde eder (%85,5) ve uzunluk kontrollü AlpacaEval 2.0'da %70,0'a ulaşır.

Sınırlılıklar ve açık sorular

• Donanım Çıkarım Minimumları: Verimli bir sunum (serving), büyük dağıtım birimleri gerektirir (prefilling birimi için 32 GPU, decoding birimi için 320 GPU); bu durum küçük organizasyonlar için altyapı engelleri oluşturur.
• Düğümler Arası SM Tahsisi: GPU başına 20 SM, matris matematiği yerine kesin olarak düğümler arası all-to-all iletişim rutinlerini yönetmeye ayrılmıştır.
• Olgusal Uyuşmazlıklar: Çince SimpleQA'da (%64,8) önde olmasına rağmen, İngilizce olgusal görevlerde SimpleQA (%24,9'a karşı %38,2) gibi testlerde kapalı kaynaklı öncü modellerin (ör. GPT-4o, Claude-3.5-Sonnet) gerisinde kalmaktadır.