DeepSeek-V3 テクニカルレポート

論文解説

問題設定と動機

フロンティアの大規模言語モデル（LLM）はAGIに向けた差を縮め続けていますが、オープンソースモデルのスケーリングには通常、極めて高い計算バジェットとインフラが求められます。さらに、Mixture-of-Experts（MoE）アーキテクチャのスケーリングは、特有のエンジニアリング課題をもたらします：

1. 補助損失による性能低下: 従来の補助負荷分散損失はルーティングの柔軟性を大きく制限し、言語モデリング能力を損ないます。
2. 通信ボトルネック: ノード間にまたがるきめ細かなルーティングは深刻なall-to-all通信オーバーヘッドを引き起こし、計算対通信の比率が1:1に達することも少なくありません。
3. 数値精度とメモリ: 標準的な16ビット学習はメモリ消費が激しく、単純なFP8学習は外れ値アクティベーションやTensor Coreの限定的な累積精度に起因する数値的不安定性やアンダーフローに悩まされます。

DeepSeek-V3は、協調設計されたアルゴリズム戦略とハードウェアレベルのインフラ最適化によってこれらの課題に対処し、最小限の学習コストでフロンティア性能を達成します。

主なアイデア

• アーキテクチャの効率性: Multi-head Latent Attention (MLA) による低ランクKey-Value圧縮と、DeepSeekMoE によるきめ細かいルーティングエキスパート（共有1 + ルーティング256エキスパート、うち8つを活性化）を組み合わせます。
• 補助損失フリー（Auxiliary-Loss-Free）負荷分散: 性能低下を招く補助損失を動的に更新されるエキスパートバイアス項に置き換え、ルーティングの破綻（コラプス）を防ぎつつ明確なドメイン特化を可能にします。
• マルチトークン予測（Multi-Token Prediction; MTP）: 因果チェーンを保持しながら各位置で連続する複数の未来のトークンを順次予測することで、学習シグナルを豊富にし、投機的デコーディング（1.8倍のTPS）をサポートします。
• DualPipe並列処理: フォワードおよびバックワード計算を、ノード間MoE all-to-allおよびPP通信と完全にオーバーラップさせる双方向パイプラインスケジュールです。
• FP8混合精度学習: すべてのテンソルにE4M3を使用し、タイル単位（$1\times 128$）のアクティベーションスケーリングとブロック単位（$128\times 128$）の重みスケーリングを適用。さらに$N_c=128$ステップごとに積算をCUDA CoreレジスタにFP32でオフロードします。
• 推論の蒸留（Reasoning Distillation）: DeepSeek-R1シリーズから、検証やリフレクションを伴う長文思考（long-CoT）パターンをSFTおよびRLの事後学習ステージに直接蒸留します。

手法

1. Multi-head Latent Attention (MLA)

トークンの隠れ状態 ${\mathbf{h}}_t$ に対し、MLAはKVキャッシュを共有潜在ベクトル ${\mathbf{c}}_t^{KV}\in {\mathbb{R}}^{d_c}$ に、クエリ状態を ${\mathbf{c}}_t^Q\in {\mathbb{R}}^{d_c^{\prime }}$ に圧縮します：

$${\mathbf{c}}_t^{KV}=W^{DKV}{\mathbf{h}}_t,{\mathbf{k}}_t^C=W^{UK}{\mathbf{c}}_t^{KV},{\mathbf{v}}_t^C=W^{UV}{\mathbf{c}}_t^{KV}$$ $${\mathbf{k}}_t^R=\mathrm{RoPE}(W^{KR}{\mathbf{h}}_t),{\mathbf{k}}_{t,i}=[{\mathbf{k}}_{t,i}^C;{\mathbf{k}}_t^R]$$

推論時、キャッシュ対象は ${\mathbf{c}}_t^{KV}$ と ${\mathbf{k}}_t^R$ のみに限定されるため、メモリフットプリントが劇的に削減されます。

2. 補助損失フリーバランシングを備えたDeepSeekMoE

フィードフォワードネットワークの出力は、$N_s$ 個の共有エキスパートと $N_r$ 個のルーティングエキスパートを結合します：

$${\mathbf{h}}_t^{\prime }={\mathbf{u}}_t+\sum _{i=1}^{N_s}{\mathrm{FFN}}_i^{(s)}({\mathbf{u}}_t)+\sum _{i=1}^{N_r}{g}_{i,t}{\mathrm{FFN}}_i^{(r)}({\mathbf{u}}_t)$$

エキスパート親和性は $s_{i,t}=\mathrm{Sigmoid}({\mathbf{u}}_t^T{\mathbf{e}}_i)$ として計算されます。ゲーティング値 $g_{i,t}$ は $g_{i,t}^{\prime }$ を正規化して算出され、ルーティング決定には動的バイアス項 $b_i$ が組み込まれます：

$$g_{i,t}^{\prime }=\{\begin{array}{ll}{s}_{i,t},& s_{i,t}+b_i\in \mathrm{Topk}(\{s_{j,t}+b_j\mid 1\le j\le N_r\},K_r)\\ 0,& \text{otherwise}\end{array}$$

ステップ終了時にエキスパート $i$ が過負荷の場合、$b_i\leftarrow b_i-\gamma$ となり、負荷が不足している場合は $b_i\leftarrow b_i+\gamma$ となります（$\gamma =0.001$）。補完として極めて小さなシーケンス単位のバランス損失（$\alpha =0.0001$）も使用されます。

3. Multi-Token Prediction (MTP)

予測深度 $k\in [1,D]$（$D=1$）において、表現 ${\mathbf{h}}_i^{k-1}$ はシフトされたトークン埋め込みと結合されます：

$${\mathbf{h}}_i^{\prime k}=M_k[\mathrm{RMSNorm}({\mathbf{h}}_i^{k-1});\mathrm{RMSNorm}(\mathrm{Emb}(t_{i+k}))]$$ $${\mathbf{h}}_{1:T-k}^k={\mathrm{TRM}}_k({\mathbf{h}}_{1:T-k}^{\prime k}),P_{i+k+1}^k=\mathrm{OutHead}({\mathbf{h}}_i^k)$$

総学習損失には ${\mathcal{L}}_{\text{MTP}}=\frac{\lambda }{D}{\sum }_{k=1}^D{\mathcal{L}}_{\text{MTP}}^k$ が加算されます。

実験結果

• 事前学習バジェット: わずか2.664MのH800 GPU時間で14.8Tトークンを事前学習（2048基のGPUで1Tトークンあたり3.7日）。完全な学習でも2.788M GPU時間（1時間あたり2ドルとして約557.6万ドル）しか消費しませんでした。
• 安定性: 14.8Tトークン全体を通じて、ロールバックはゼロ、回復不能な損失スパイクもゼロでした。
• ベースモデルのベンチマーク:
  • MMLU（87.1 vs. 84.4）、BBH（87.5 vs. 82.9）、HumanEval（65.2 vs. 54.9）、MATH（61.6 vs. 49.0）でLLaMA-3.1 405B Baseを凌駕。
  • C-Eval（90.1 vs. 89.2）およびGSM8K（89.3 vs. 88.3）でQwen2.5 72B Baseを凌駕。
• チャットモデルのベンチマーク:
  • 数学・コード: non-o1における最高スコアを記録：MATH-500（90.2）、AIME 2024（39.2）、LiveCodeBench CoT（40.5）。
  • 幅広い知識: MMLU（88.5）、MMLU-Pro（75.9）、GPQA-Diamond（59.1）。
  • オープンエンド評価: Arena-Hardで85%超の勝率（85.5%）を記録し、長さ制御されたAlpacaEval 2.0で70.0%を達成。

限界と未解決の課題

• 推論時の最小ハードウェア要件: 効率的なサービングには大規模なデプロイメントユニット（プリフィルユニットに32 GPU、デコーディングユニットに320 GPU）が必要であり、小規模な組織にとってはインフラの障壁となります。
• ノード間SM割り当て: GPUあたり20個のSMが、行列演算ではなくノード間all-to-all通信ルーチンの管理に厳密に専従させられました。
• 事実性の差異: 中国語のSimpleQA（64.8%）ではリードしているものの、英語の事実性タスクであるSimpleQA（24.9% vs. 38.2%）では商用フロンティアモデル（GPT-4o、Claude-3.5-Sonnetなど）に後れを取っています。