DeepSeek-V3 技術報告

論文解讀

問題與動機

前沿大型語言模型（LLM）正持續縮短通往 AGI 的距離，但擴展開源模型的規模通常需要高昂到難以負擔的運算預算與基礎設施。此外，擴展混合專家（MoE）架構還會帶來特定的工程挑戰：

1. 輔助損失造成的退化：傳統的輔助負載平衡損失會嚴重限制路由彈性，並損害語言建模能力。
2. 通訊瓶頸：細粒度的跨節點路由會導致嚴重的 all-to-all 通訊開銷，運算與通訊的時間比往往達到 1:1。
3. 數值精度與記憶體：標準的 16 位元訓練非常消耗記憶體，而原生的 FP8 訓練則容易因活化值的極端值（outliers）和有限的 Tensor Core 累加精度而出現數值不穩定和下溢（underflow）。

DeepSeek-V3 透過協同設計的演算法策略以及硬體層級的基礎設施最佳化來解決這些挑戰，以極低的訓練成本實現前沿效能。

核心概念

• 架構效率：結合了透過**多頭潛在注意力（MLA）**實現的低秩 Key-Value 壓縮，以及透過 DeepSeekMoE 實現的細粒度路由專家（1 個共享專家 + 256 個路由專家，活化 8 個）。
• 無輔助損失負載平衡：以動態更新的專家偏置項（bias term）取代會損害效能的輔助損失，在防止路由崩潰的同時實現明確的領域專業化。
• 多 token 預測（MTP）：在每個位置沿著保留的因果鏈循序預測多個未來 token，以豐富訓練訊號並支援推測解碼（1.8× TPS）。
• DualPipe 平行化：一種雙向管線排程，可將前向與反向運算與跨節點 MoE all-to-all 及 PP 通訊完全重疊。
• FP8 混合精度訓練：在所有張量中採用 E4M3，套用 tile 級別（$1\times 128$）的活化值縮放與區塊級別（$128\times 128$）的權重縮放，並每隔 $N_c=128$ 步將累加卸載至 CUDA Core 暫存器中以 FP32 進行。
• 推理能力蒸餾：將 DeepSeek-R1 系列中具備驗證與反思特性的長思考鏈（long-CoT）推理模式，直接蒸餾至後訓練的 SFT 與 RL 階段。

方法

1. 多頭潛在注意力（MLA）

對於 token 隱藏狀態 ${\mathbf{h}}_t$，MLA 將 KV cache 壓縮為共享潛在向量 ${\mathbf{c}}_t^{KV}\in {\mathbb{R}}^{d_c}$，並將 query 狀態壓縮為 ${\mathbf{c}}_t^Q\in {\mathbb{R}}^{d_c^{\prime }}$：

$${\mathbf{c}}_t^{KV}=W^{DKV}{\mathbf{h}}_t,{\mathbf{k}}_t^C=W^{UK}{\mathbf{c}}_t^{KV},{\mathbf{v}}_t^C=W^{UV}{\mathbf{c}}_t^{KV}$$ $${\mathbf{k}}_t^R=\mathrm{RoPE}(W^{KR}{\mathbf{h}}_t),{\mathbf{k}}_{t,i}=[{\mathbf{k}}_{t,i}^C;{\mathbf{k}}_t^R]$$

在推論期間，快取僅需保留 ${\mathbf{c}}_t^{KV}$ 和 ${\mathbf{k}}_t^R$，從而大幅降低記憶體佔用。

2. 具備無輔助損失平衡機制的 DeepSeekMoE

前饋網路輸出結合了 $N_s$ 個共享專家與 $N_r$ 個路由專家：

$${\mathbf{h}}_t^{\prime }={\mathbf{u}}_t+\sum _{i=1}^{N_s}{\mathrm{FFN}}_i^{(s)}({\mathbf{u}}_t)+\sum _{i=1}^{N_r}{g}_{i,t}{\mathrm{FFN}}_i^{(r)}({\mathbf{u}}_t)$$

專家親和度計算為 $s_{i,t}=\mathrm{Sigmoid}({\mathbf{u}}_t^T{\mathbf{e}}_i)$。門控值 $g_{i,t}$ 透過正規化 $g_{i,t}^{\prime }$ 計算得出，其中路由決策納入了動態偏置項 $b_i$：

$$g_{i,t}^{\prime }=\{\begin{array}{ll}{s}_{i,t},& s_{i,t}+b_i\in \mathrm{Topk}(\{s_{j,t}+b_j\mid 1\le j\le N_r\},K_r)\\ 0,& \text{otherwise}\end{array}$$

若專家 $i$ 在步驟結束時過載，則 $b_i\leftarrow b_i-\gamma$；若負載不足，則 $b_i\leftarrow b_i+\gamma$（其中 $\gamma =0.001$）。此外，還輔以極小的序列級平衡損失（$\alpha =0.0001$）。

3. 多 token 預測（MTP）

對於預測深度 $k\in [1,D]$（其中 $D=1$），表示向量 ${\mathbf{h}}_i^{k-1}$ 與平移後的 token 嵌入相結合：

$${\mathbf{h}}_i^{\prime k}=M_k[\mathrm{RMSNorm}({\mathbf{h}}_i^{k-1});\mathrm{RMSNorm}(\mathrm{Emb}(t_{i+k}))]$$ $${\mathbf{h}}_{1:T-k}^k={\mathrm{TRM}}_k({\mathbf{h}}_{1:T-k}^{\prime k}),P_{i+k+1}^k=\mathrm{OutHead}({\mathbf{h}}_i^k)$$

總訓練損失增加了 ${\mathcal{L}}_{\text{MTP}}=\frac{\lambda }{D}{\sum }_{k=1}^D{\mathcal{L}}_{\text{MTP}}^k$。

成果

• 預訓練預算：在 14.8T token 上的預訓練僅耗費 2.664M H800 GPU 小時（在 2048 顆 GPU 上每 1T token 需 3.7 天）。完整訓練耗費 2.788M GPU 小時（以每小時 2 美元計算，約 557.6 萬美元）。
• 穩定性：在所有 14.8T token 訓練期間，達成零回滾且零無法挽回的 loss spike。
• 基礎模型基準測試：
  • 在 MMLU（87.1 vs. 84.4）、BBH（87.5 vs. 82.9）、HumanEval（65.2 vs. 54.9）以及 MATH（61.6 vs. 49.0）上均優於 LLaMA-3.1 405B Base。
  • 在 C-Eval（90.1 vs. 89.2）和 GSM8K（89.3 vs. 88.3）上優於 Qwen2.5 72B Base。
• 對話模型基準測試：
  • 數學與程式碼：創下非 o1 模型的 SOTA 分數：MATH-500（90.2）、AIME 2024（39.2）、LiveCodeBench CoT（40.5）。
  • 通用知識：MMLU（88.5）、MMLU-Pro（75.9）、GPQA-Diamond（59.1）。
  • 開放式評測：在 Arena-Hard 上勝率超過 85%（85.5%），在控制長度的 AlpacaEval 2.0 上達到 70.0%。

局限性與待解問題

• 硬體推論門檻：高效能服務需要龐大的部署單元（Prefill 單元需 32 顆 GPU，Decoding 單元需 320 顆 GPU），這對小型機構構成了基礎設施門檻。
• 跨節點 SM 分配：每顆 GPU 嚴格分配了 20 個 SM 專門處理跨節點 all-to-all 通訊常式，而非用於矩陣運算。
• 事實性差距：在英文事實性任務上落後於閉源前沿模型（如 GPT-4o、Claude-3.5-Sonnet），例如 SimpleQA（24.9% vs. 38.2%），但在中文 SimpleQA 上保持領先（64.8%）。