DeepSeek-V3 Technischer Bericht

Leseleitfaden

Problem und Motivation

Führende große Sprachmodelle (LLMs) schließen kontinuierlich die Lücke zur AGI, doch das Skalieren von Open-Source-Modellen erfordert typischerweise untragbare Rechenbudgets und Infrastrukturen. Zudem bringt das Skalieren von Mixture-of-Experts (MoE)-Architekturen spezifische technische Herausforderungen mit sich:

1. Leistungseinbußen durch Hilfsverluste (Auxiliary Loss Degradation): Traditionelle Hilfsverluste für das Load Balancing schränken die Routing-Flexibilität stark ein und beeinträchtigen die Kapazität der Sprachmodellierung.
2. Kommunikationsengpässe: Feinkörniges Routing über Knoten hinweg verursacht immense All-to-All-Kommunikations-Overheads, die oft ein Rechen-zu-Kommunikations-Verhältnis von 1:1 erreichen.
3. Numerische Präzision & Speicher: Standardmäßiges 16-Bit-Training ist extrem speicherintensiv, während ein naives FP8-Training aufgrund von Aktivierungs-Ausreißern und begrenzter Akkumulationspräzision der Tensor Cores unter numerischer Instabilität und Unterläufen leidet.

DeepSeek-V3 begegnet diesen Herausforderungen durch aufeinander abgestimmte algorithmische Strategien und Optimierungen auf Hardware-Ebene, um Frontier-Leistung bei minimalen Trainingskosten zu erzielen.

Kernideen

• Architektureffizienz: Kombiniert Low-Rank-Key-Value-Kompression über Multi-head Latent Attention (MLA) mit feinkörnig gerouteten Experten über DeepSeekMoE (1 geteilter + 256 geroutete Experten, 8 aktiviert).
• Auxiliary-Loss-Free Load Balancing: Ersetzt leistungshemmende Hilfsverluste durch dynamisch aktualisierte Experten-Bias-Terme, was eine ausgeprägte Domänenspezialisierung ohne Routing-Kollaps ermöglicht.
• Multi-Token Prediction (MTP): Sagt an jeder Position sequentiell mehrere zukünftige Tokens entlang einer erhaltenen Kausalkette voraus, um Trainingssignale anzureichern und spekulatives Decodieren zu unterstützen (1,8× TPS).
• DualPipe Parallelism: Ein bidirektionaler Pipeline-Ablaufplan, der Forward- und Backward-Berechnungen vollständig mit knotenübergreifender MoE-All-to-All- und PP-Kommunikation überlappt.
• FP8-Mixed-Precision-Training: Verwendet E4M3 über alle Tensoren hinweg mit kachelweiser ($1\times 128$) Aktivierungs- und blockweiser ($128\times 128$) Gewichtsskalierung, begleitet von Akkumulationen, die alle $N_c=128$ Schritte in FP32 auf die Register der CUDA Cores ausgelagert werden.
• Reasoning-Destillation: Destilliert Verifikations- und Reflexionsmuster für langes Chain-of-Thought-Reasoning (Long-CoT) aus der DeepSeek-R1-Serie direkt in die SFT- und RL-Post-Training-Phasen.

Methode

1. Multi-head Latent Attention (MLA)

Für den Hidden State eines Tokens ${\mathbf{h}}_t$ komprimiert MLA den KV-Cache in einen gemeinsamen latenten Vektor ${\mathbf{c}}_t^{KV}\in {\mathbb{R}}^{d_c}$ und die Query-Zustände in ${\mathbf{c}}_t^Q\in {\mathbb{R}}^{d_c^{\prime }}$:

$${\mathbf{c}}_t^{KV}=W^{DKV}{\mathbf{h}}_t,{\mathbf{k}}_t^C=W^{UK}{\mathbf{c}}_t^{KV},{\mathbf{v}}_t^C=W^{UV}{\mathbf{c}}_t^{KV}$$ $${\mathbf{k}}_t^R=\mathrm{RoPE}(W^{KR}{\mathbf{h}}_t),{\mathbf{k}}_{t,i}=[{\mathbf{k}}_{t,i}^C;{\mathbf{k}}_t^R]$$

Während der Inferenz beschränkt sich das Caching ausschließlich auf ${\mathbf{c}}_t^{KV}$ und ${\mathbf{k}}_t^R$, was den Speicherbedarf drastisch senkt.

2. DeepSeekMoE mit Auxiliary-Loss-Free Balancing

Die Ausgaben des Feed-Forward-Netzwerks kombinieren $N_s$ geteilte Experten und $N_r$ geroutete Experten:

$${\mathbf{h}}_t^{\prime }={\mathbf{u}}_t+\sum _{i=1}^{N_s}{\mathrm{FFN}}_i^{(s)}({\mathbf{u}}_t)+\sum _{i=1}^{N_r}{g}_{i,t}{\mathrm{FFN}}_i^{(r)}({\mathbf{u}}_t)$$

Die Affinitäten der Experten werden als $s_{i,t}=\mathrm{Sigmoid}({\mathbf{u}}_t^T{\mathbf{e}}_i)$ berechnet. Die Gating-Werte $g_{i,t}$ ergeben sich durch Normalisierung von $g_{i,t}^{\prime }$, wobei die Routing-Entscheidungen einen dynamischen Bias-Term $b_i$ berücksichtigen:

$$g_{i,t}^{\prime }=\{\begin{array}{ll}{s}_{i,t},& s_{i,t}+b_i\in \mathrm{Topk}(\{s_{j,t}+b_j\mid 1\le j\le N_r\},K_r)\\ 0,& \text{andernfalls}\end{array}$$

Ist Experte $i$ am Ende eines Schritts überlastet, gilt $b_i\leftarrow b_i-\gamma$; ist er unterlastet, gilt $b_i\leftarrow b_i+\gamma$ (mit $\gamma =0,001$). Ein minimaler sequenzweiser Balance-Verlust ($\alpha =0,0001$) dient als Ergänzung.

3. Multi-Token Prediction (MTP)

Für eine Vorhersagetiefe von $k\in [1,D]$ (mit $D=1$) wird die Repräsentation ${\mathbf{h}}_i^{k-1}$ mit dem verschobenen Token-Embedding kombiniert:

$${\mathbf{h}}_i^{\prime k}=M_k[\mathrm{RMSNorm}({\mathbf{h}}_i^{k-1});\mathrm{RMSNorm}(\mathrm{Emb}(t_{i+k}))]$$ $${\mathbf{h}}_{1:T-k}^k={\mathrm{TRM}}_k({\mathbf{h}}_{1:T-k}^{\prime k}),P_{i+k+1}^k=\mathrm{OutHead}({\mathbf{h}}_i^k)$$

Der gesamte Trainingsverlust ergänzt sich um ${\mathcal{L}}_{\text{MTP}}=\frac{\lambda }{D}{\sum }_{k=1}^D{\mathcal{L}}_{\text{MTP}}^k$.

Ergebnisse

• Pre-Training-Budget: Auf 14,8T Tokens mit nur 2,664M H800-GPU-Stunden vortrainiert (3,7 Tage pro 1T Tokens auf 2048 GPUs). Das gesamte Training verbrauchte 2,788M GPU-Stunden (~5,576 Mio. $ bei 2 $/Stunde).
• Stabilität: Null Rollbacks und null unbereinigbare Loss-Spikes über alle 14,8T Tokens hinweg.
• Base-Model-Benchmarks:
  • Übertrifft LLaMA-3.1 405B Base auf MMLU (87,1 vs. 84,4), BBH (87,5 vs. 82,9), HumanEval (65,2 vs. 54,9) und MATH (61,6 vs. 49,0).
  • Übertrifft Qwen2.5 72B Base auf C-Eval (90,1 vs. 89,2) und GSM8K (89,3 vs. 88,3).
• Chat-Model-Benchmarks:
  • Mathematik & Code: Setzt neue Bestwerte unter den Nicht-o1-Modellen: MATH-500 (90,2), AIME 2024 (39,2), LiveCodeBench CoT (40,5).
  • Allgemeinwissen: MMLU (88,5), MMLU-Pro (75,9), GPQA-Diamond (59,1).
  • Offene Aufgaben: Erreicht über 85 % Win-Rate auf Arena-Hard (85,5 %) und erzielt 70,0 % auf dem längenkontrollierten AlpacaEval 2.0.

Grenzen und offene Fragen

• Minimale Hardwareanforderungen für Inferenz: Ein effizientes Serving erfordert große Deployment-Einheiten (32 GPUs für Prefilling, 320 GPUs für Decoding), was kleine Organisationen vor infrastrukturelle Hürden stellt.
• SM-Zuweisung für knotenübergreifende Kommunikation: 20 SMs pro GPU wurden ausschließlich für das Management knotenübergreifender All-to-All-Kommunikationsroutinen statt für Matrixberechnungen reserviert.
• Faktenbasierte Diskrepanzen: Liegt bei englischen Faktenaufgaben wie SimpleQA (24,9 % vs. 38,2 %) hinter geschlossenen Frontier-Modellen (z. B. GPT-4o, Claude-3.5-Sonnet), führt jedoch bei chinesischem SimpleQA (64,8 %).