DeepSeek-V3 Technical Report

Guide de lecture

Problématique et motivation

Les grands modèles de langage (LLM) de pointe continuent de réduire l'écart vers l'AGI, mais la mise à l'échelle des modèles open source requiert généralement des infrastructures et des budgets de calcul prohibitifs. De plus, le passage à l'échelle des architectures Mixture-of-Experts (MoE) soulève des défis d'ingénierie spécifiques :

1. Dégradation due aux pertes auxiliaires : Les pertes d'équilibrage de charge traditionnelles restreignent fortement la flexibilité du routage et nuisent à la capacité de modélisation linguistique.
2. Goulots d'étranglement de communication : Le routage inter-nœuds à granularité fine engendre de lourdes surcharges de communication all-to-all, atteignant souvent un ratio calcul/communication de 1:1.
3. Précision numérique et mémoire : L'entraînement standard en 16 bits est très gourmand en mémoire, tandis que le FP8 naïf souffre d'instabilités numériques et de sous-dépassements (underflow) dus aux valeurs aberrantes dans les activations et à la précision limitée d'accumulation des Tensor Cores.

DeepSeek-V3 relève ces défis grâce à une co-conception associant stratégies algorithmiques et optimisations d'infrastructure matérielle, atteignant des performances de pointe pour un coût d'entraînement minimal.

Idées clés

• Efficacité architecturale : Combine la compression Key-Value de bas rang via Multi-head Latent Attention (MLA) et des experts routés à granularité fine via DeepSeekMoE (1 expert partagé + 256 experts routés, 8 activés).
• Équilibrage de charge sans perte auxiliaire (Auxiliary-Loss-Free) : Remplace les pertes auxiliaires délétères pour les performances par des termes de biais dynamiquement mis à jour par expert, permettant une spécialisation sectorielle nette sans effondrement du routage.
• Multi-Token Prediction (MTP) : Prédit séquentiellement plusieurs tokens futurs à chaque position le long d'une chaîne causale préservée pour enrichir les signaux d'entraînement et accélérer le décodage spéculatif (1,8× TPS).
• Parallélisme DualPipe : Un ordonnancement de pipeline bidirectionnel qui superpose complètement les calculs des passes avant et arrière avec les communications inter-nœuds MoE all-to-all et PP.
• Entraînement en précision mixte FP8 : Utilise le format E4M3 sur l'ensemble des tenseurs, en appliquant une mise à l'échelle par tuile ($1\times 128$) pour les activations et par bloc ($128\times 128$) pour les poids, couplée à une accumulation déportée sur les registres des CUDA Cores en FP32 toutes les $N_c=128$ étapes.
• Distillation de raisonnement : Distille les schémas de raisonnement par réflexion et vérification (long-CoT) issus de la série DeepSeek-R1 directement dans les étapes de post-entraînement SFT et RL.

Méthode

1. Multi-head Latent Attention (MLA)

Pour l'état caché du token ${\mathbf{h}}_t$, MLA compresse le cache KV dans un vecteur latent partagé ${\mathbf{c}}_t^{KV}\in {\mathbb{R}}^{d_c}$ et les états de requête dans ${\mathbf{c}}_t^Q\in {\mathbb{R}}^{d_c^{\prime }}$ :

$${\mathbf{c}}_t^{KV}=W^{DKV}{\mathbf{h}}_t,{\mathbf{k}}_t^C=W^{UK}{\mathbf{c}}_t^{KV},{\mathbf{v}}_t^C=W^{UV}{\mathbf{c}}_t^{KV}$$ $${\mathbf{k}}_t^R=\mathrm{RoPE}(W^{KR}{\mathbf{h}}_t),{\mathbf{k}}_{t,i}=[{\mathbf{k}}_{t,i}^C;{\mathbf{k}}_t^R]$$

Lors de l'inférence, la mise en cache est restreinte à ${\mathbf{c}}_t^{KV}$ et ${\mathbf{k}}_t^R$ uniquement, réduisant considérablement l'empreinte mémoire.

2. DeepSeekMoE avec équilibrage sans perte auxiliaire

Les sorties des réseaux feed-forward combinent $N_s$ experts partagés et $N_r$ experts routés :

$${\mathbf{h}}_t^{\prime }={\mathbf{u}}_t+\sum _{i=1}^{N_s}{\mathrm{FFN}}_i^{(s)}({\mathbf{u}}_t)+\sum _{i=1}^{N_r}{g}_{i,t}{\mathrm{FFN}}_i^{(r)}({\mathbf{u}}_t)$$

Les affinités des experts sont calculées par $s_{i,t}=\mathrm{Sigmoid}({\mathbf{u}}_t^T{\mathbf{e}}_i)$. Les valeurs de partitionnement (gating) $g_{i,t}$ sont obtenues en normalisant $g_{i,t}^{\prime }$, où les décisions de routage intègrent un terme de biais dynamique $b_i$ :

$$g_{i,t}^{\prime }=\{\begin{array}{ll}{s}_{i,t},& s_{i,t}+b_i\in \mathrm{Topk}(\{s_{j,t}+b_j\mid 1\le j\le N_r\},K_r)\\ 0,& \text{sinon}\end{array}$$

Si l'expert $i$ est surchargé à la fin de l'étape, $b_i\leftarrow b_i-\gamma$ ; s'il est sous-chargé, $b_i\leftarrow b_i+\gamma$ (avec $\gamma =0.001$). Une infime perte d'équilibrage par séquence ($\alpha =0.0001$) est employée en complément.

3. Multi-Token Prediction (MTP)

Pour une profondeur de prédiction $k\in [1,D]$ (avec $D=1$), la représentation ${\mathbf{h}}_i^{k-1}$ est combinée avec le plongement décalé du token :

$${\mathbf{h}}_i^{\prime k}=M_k[\mathrm{RMSNorm}({\mathbf{h}}_i^{k-1});\mathrm{RMSNorm}(\mathrm{Emb}(t_{i+k}))]$$ $${\mathbf{h}}_{1:T-k}^k={\mathrm{TRM}}_k({\mathbf{h}}_{1:T-k}^{\prime k}),P_{i+k+1}^k=\mathrm{OutHead}({\mathbf{h}}_i^k)$$

La perte d'entraînement totale intègre ${\mathcal{L}}_{\text{MTP}}=\frac{\lambda }{D}{\sum }_{k=1}^D{\mathcal{L}}_{\text{MTP}}^k$.

Résultats

• Budget de pré-entraînement : Pré-entraîné sur 14,8T tokens pour seulement 2,664M d'heures GPU H800 (3,7 jours par billion de tokens sur 2048 GPU). L'entraînement complet a nécessité 2,788M d'heures GPU (~5,576M$ à raison de 2$/heure).
• Stabilité : Zéro rollback et aucun pic de perte irréversible sur l'ensemble des 14,8T tokens.
• Benchmarks du modèle de base :
  • Surpasse LLaMA-3.1 405B Base sur MMLU (87,1 contre 84,4), BBH (87,5 contre 82,9), HumanEval (65,2 contre 54,9) et MATH (61,6 contre 49,0).
  • Surpasse Qwen2.5 72B Base sur C-Eval (90,1 contre 89,2) et GSM8K (89,3 contre 88,3).
• Benchmarks du modèle Chat :
  • Mathématiques & Code : Établit les meilleurs scores hors modèles de type o1 : MATH-500 (90,2), AIME 2024 (39,2), LiveCodeBench CoT (40,5).
  • Culture générale : MMLU (88,5), MMLU-Pro (75,9), GPQA-Diamond (59,1).
  • Questions ouvertes : Dépasse 85% de taux de victoire sur Arena-Hard (85,5%) et atteint 70,0% sur AlpacaEval 2.0 corrigé selon la longueur.

Limites et questions ouvertes

• Contraintes matérielles pour l'inférence : Un déploiement efficace requiert d'importantes unités de calcul (32 GPU pour le prefilling, 320 GPU pour le décodage), ce qui constitue un frein pour les petites organisations.
• Allocation des SM inter-nœuds : 20 SM par GPU ont été exclusivement réservés à la gestion des routines de communication all-to-all inter-nœuds plutôt qu'aux opérations matricielles.
• Écarts de factualité : Reste en retrait par rapport aux modèles propriétaires de pointe (ex. GPT-4o, Claude-3.5-Sonnet) sur les tâches factuelles en anglais telles que SimpleQA (24,9% contre 38,2%), tout en dominant sur le benchmark SimpleQA chinois (64,8%).