DeepSeek-V3 技术报告

论文解读

问题与动机

前沿大语言模型（LLM）正不断缩小通往 AGI 的距离，但扩展开源模型通常需要高昂的计算预算和基础设施。此外，扩展混合专家（MoE）架构还会引入特定的工程挑战：

1. 辅助损失退化：传统的辅助负载均衡损失严重限制了路由的灵活性，损害了语言建模能力。
2. 通信瓶颈：细粒度的跨节点路由会导致严重的 all-to-all 通信开销，计算与通信比往往达到 1:1。
3. 数值精度与显存：标准的 16 位训练极耗显存，而原生 FP8 训练由于激活异常值和有限的 Tensor Core 累加精度，容易出现数值不稳定和下溢。

DeepSeek-V3 通过协同设计的算法策略与硬件级基础设施优化解决了这些挑战，以极低的训练成本实现了前沿性能。

核心理念

• 架构效率：通过 Multi-head Latent Attention (MLA) 将低秩键值压缩与基于 DeepSeekMoE 的细粒度路由专家（1 个共享专家 + 256 个路由专家，激活 8 个）相结合。
• 无辅助损失负载均衡：用动态更新的专家偏置项替代降低性能的辅助损失，在避免路由崩塌的同时实现不同领域的专业化分工。
• 多 token 预测（Multi-Token Prediction, MTP）：在保持因果链的每个位置按顺序预测未来多个 token，以丰富训练信号并支持推测解码（1.8× TPS）。
• DualPipe 并行：一种双向流水线调度方案，将前向和后向计算与跨节点 MoE all-to-all 及 PP 通信完全重叠。
• FP8 混合精度训练：在所有张量上使用 E4M3，应用 tile 级（$1\times 128$）激活缩放和 block 级（$128\times 128$）权重缩放，并每隔 $N_c=128$ 步将累加转移至 CUDA Core 寄存器中以 FP32 进行。
• 推理蒸馏：将 DeepSeek-R1 系列中包含验证与反思的长 CoT 推理模式直接蒸馏到 SFT 和 RL 后训练阶段。

方法

1. Multi-head Latent Attention (MLA)

对于 token 的隐藏状态 ${\mathbf{h}}_t$，MLA 将 KV cache 压缩为一个共享隐向量 ${\mathbf{c}}_t^{KV}\in {\mathbb{R}}^{d_c}$，将查询状态压缩为 ${\mathbf{c}}_t^Q\in {\mathbb{R}}^{d_c^{\prime }}$：

$${\mathbf{c}}_t^{KV}=W^{DKV}{\mathbf{h}}_t,{\mathbf{k}}_t^C=W^{UK}{\mathbf{c}}_t^{KV},{\mathbf{v}}_t^C=W^{UV}{\mathbf{c}}_t^{KV}$$ $${\mathbf{k}}_t^R=\mathrm{RoPE}(W^{KR}{\mathbf{h}}_t),{\mathbf{k}}_{t,i}=[{\mathbf{k}}_{t,i}^C;{\mathbf{k}}_t^R]$$

在推理过程中，显存缓存仅限于 ${\mathbf{c}}_t^{KV}$ 和 ${\mathbf{k}}_t^R$，从而大幅降低了显存占用。

2. 无辅助损失均衡的 DeepSeekMoE

前馈网络的输出结合了 $N_s$ 个共享专家和 $N_r$ 个路由专家：

$${\mathbf{h}}_t^{\prime }={\mathbf{u}}_t+\sum _{i=1}^{N_s}{\mathrm{FFN}}_i^{(s)}({\mathbf{u}}_t)+\sum _{i=1}^{N_r}{g}_{i,t}{\mathrm{FFN}}_i^{(r)}({\mathbf{u}}_t)$$

专家亲和度计算为 $s_{i,t}=\mathrm{Sigmoid}({\mathbf{u}}_t^T{\mathbf{e}}_i)$。门控值 $g_{i,t}$ 通过归一化 $g_{i,t}^{\prime }$ 获得，其中路由决策引入了一个动态偏置项 $b_i$：

$$g_{i,t}^{\prime }=\{\begin{array}{ll}{s}_{i,t},& s_{i,t}+b_i\in \mathrm{Topk}(\{s_{j,t}+b_j\mid 1\le j\le N_r\},K_r)\\ 0,& \text{否则}\end{array}$$

如果专家 $i$ 在步结束时过载，则 $b_i\leftarrow b_i-\gamma$；如果负载不足，则 $b_i\leftarrow b_i+\gamma$（其中 $\gamma =0.001$）。同时辅以一个极小的序列级平衡损失（$\alpha =0.0001$）。

3. 多 token 预测（Multi-Token Prediction, MTP）

对于预测深度 $k\in [1,D]$（其中 $D=1$），表示 ${\mathbf{h}}_i^{k-1}$ 与偏移的 token 嵌入相结合：

$${\mathbf{h}}_i^{\prime k}=M_k[\mathrm{RMSNorm}({\mathbf{h}}_i^{k-1});\mathrm{RMSNorm}(\mathrm{Emb}(t_{i+k}))]$$ $${\mathbf{h}}_{1:T-k}^k={\mathrm{TRM}}_k({\mathbf{h}}_{1:T-k}^{\prime k}),P_{i+k+1}^k=\mathrm{OutHead}({\mathbf{h}}_i^k)$$

总训练损失增加一项 ${\mathcal{L}}_{\text{MTP}}=\frac{\lambda }{D}{\sum }_{k=1}^D{\mathcal{L}}_{\text{MTP}}^k$。

结果

• 预训练预算：在 14.8T token 上仅使用 2.664M H800 GPU 小时完成预训练（2048 块 GPU 上每 1T token 耗时 3.7 天）。完整训练消耗 2.788M GPU 小时（按每小时 2 美元计算约合 557.6 万美元）。
• 稳定性：在所有 14.8T token 的训练过程中，保持零回滚且无不可恢复的 loss 突增。
• 基座模型评测基准：
  • 在 MMLU (87.1 vs. 84.4)、BBH (87.5 vs. 82.9)、HumanEval (65.2 vs. 54.9) 和 MATH (61.6 vs. 49.0) 上超越 LLaMA-3.1 405B Base。
  • 在 C-Eval (90.1 vs. 89.2) 和 GSM8K (89.3 vs. 88.3) 上超越 Qwen2.5 72B Base。
• 对话模型评测基准：
  • 数学与代码：刷新非 o1 模型的 SOTA 得分：MATH-500 (90.2)、AIME 2024 (39.2)、LiveCodeBench CoT (40.5)。
  • 广泛知识：MMLU (88.5)、MMLU-Pro (75.9)、GPQA-Diamond (59.1)。
  • 开放式问题：在 Arena-Hard 上的胜率超过 85%（85.5%），并在控制长度的 AlpacaEval 2.0 上取得 70.0% 的成绩。

局限性与开放性问题

• 硬件推理底线需求：高效服务需要庞大的部署单元（预填充单元需要 32 块 GPU，解码单元需要 320 块 GPU），这对小型机构构成了基础设施门槛。
• 跨节点 SM 分配：每块 GPU 有 20 个 SM 被专门用于处理跨节点的 all-to-all 通信例程，而不是进行矩阵数学计算。
• 事实性差距：在英文事实类任务如 SimpleQA (24.9% vs. 38.2%) 上落后于闭源前沿模型（例如 GPT-4o、Claude-3.5-Sonnet），尽管在中文 SimpleQA (64.8%) 上处于领先地位。