Laporan Teknis DeepSeek-V3

Panduan membaca

Masalah dan motivasi

Large language models (LLM) garis depan terus memangkas jarak menuju AGI, namun meningkatkan skala (scaling) model open-source biasanya membutuhkan infrastruktur dan anggaran komputasi yang terlampau tinggi. Selain itu, penskalaan arsitektur Mixture-of-Experts (MoE) menghadirkan tantangan rekayasa tertentu:

1. Degradasi Auxiliary Loss: Auxiliary loss penyeimbang beban tradisional sangat membatasi fleksibilitas perutean (routing) dan merusak kapasitas pemodelan bahasa.
2. Hambatan Komunikasi (Communication Bottlenecks): Perutean lintas-node yang terperinci menyebabkan beban komunikasi all-to-all yang parah, sering kali mencapai rasio komputasi-ke-komunikasi 1:1.
3. Presisi Numerik & Memori: Pelatihan standar 16-bit memakan banyak memori, sedangkan pelatihan FP8 biasa kerap mengalami instabilitas numerik dan underflow akibat outlier aktivasi serta terbatasnya presisi akumulasi Tensor Core.

DeepSeek-V3 mengatasi berbagai tantangan ini melalui strategi algoritma dan optimalisasi infrastruktur tingkat perangkat keras yang dirancang bersama untuk meraih performa terdepan dengan biaya pelatihan minimal.

Ide-ide kunci

• Efisiensi Arsitektur: Menggabungkan kompresi Key-Value rank-rendah via Multi-head Latent Attention (MLA) dengan expert berute terperinci via DeepSeekMoE (1 shared + 256 routed experts, 8 diaktifkan).
• Penyeimbangan Beban Auxiliary-Loss-Free: Menggantikan auxiliary loss yang menurunkan performa dengan suku bias expert yang diperbarui secara dinamis, memungkinkan spesialisasi domain yang jelas tanpa keruntuhan perutean (routing collapse).
• Multi-Token Prediction (MTP): Memprediksi beberapa token mendatang secara sekuensial pada setiap posisi di sepanjang rantai kausal yang dipertahankan guna memperkaya sinyal pelatihan dan mendukung speculative decoding (1,8× TPS).
• Paralelisme DualPipe: Jadwal pipeline dua arah yang sepenuhnya menutupi (overlap) komputasi forward dan backward dengan komunikasi all-to-all MoE lintas-node serta PP.
• Pelatihan Presisi Campuran FP8: Menggunakan E4M3 di seluruh tensor, menerapkan penskalaan aktivasi berbasis-tile ($1\times 128$) dan bobot berbasis-blok ($128\times 128$), disertai akumulasi yang dialihkan ke register CUDA Core dalam format FP32 setiap $N_c=128$ langkah.
• Distilasi Penalaran: Menyaring pola penalaran long-CoT yang mencakup verifikasi dan refleksi dari seri DeepSeek-R1 langsung ke dalam tahap pasca-pelatihan SFT dan RL.

Metode

1. Multi-head Latent Attention (MLA)

Untuk hidden state token ${\mathbf{h}}_t$, MLA mengompresi KV cache menjadi vektor laten bersama ${\mathbf{c}}_t^{KV}\in {\mathbb{R}}^{d_c}$ dan query states menjadi ${\mathbf{c}}_t^Q\in {\mathbb{R}}^{d_c^{\prime }}$:

$${\mathbf{c}}_t^{KV}=W^{DKV}{\mathbf{h}}_t,{\mathbf{k}}_t^C=W^{UK}{\mathbf{c}}_t^{KV},{\mathbf{v}}_t^C=W^{UV}{\mathbf{c}}_t^{KV}$$ $${\mathbf{k}}_t^R=\mathrm{RoPE}(W^{KR}{\mathbf{h}}_t),{\mathbf{k}}_{t,i}=[{\mathbf{k}}_{t,i}^C;{\mathbf{k}}_t^R]$$

Selama tahap inferensi, caching dibatasi hanya pada ${\mathbf{c}}_t^{KV}$ dan ${\mathbf{k}}_t^R$, yang secara dramatis memangkas konsumsi memori.

2. DeepSeekMoE dengan Penyeimbangan Auxiliary-Loss-Free

Keluaran feed-forward network menggabungkan $N_s$ shared experts dan $N_r$ routed experts:

$${\mathbf{h}}_t^{\prime }={\mathbf{u}}_t+\sum _{i=1}^{N_s}{\mathrm{FFN}}_i^{(s)}({\mathbf{u}}_t)+\sum _{i=1}^{N_r}{g}_{i,t}{\mathrm{FFN}}_i^{(r)}({\mathbf{u}}_t)$$

Afinitas expert dihitung sebagai $s_{i,t}=\mathrm{Sigmoid}({\mathbf{u}}_t^T{\mathbf{e}}_i)$. Nilai gating $g_{i,t}$ dihitung dengan menormalisasi $g_{i,t}^{\prime }$, di mana keputusan perutean menyertakan suku bias dinamis $b_i$:

$$g_{i,t}^{\prime }=\{\begin{array}{ll}{s}_{i,t},& s_{i,t}+b_i\in \mathrm{Topk}(\{s_{j,t}+b_j\mid 1\le j\le N_r\},K_r)\\ 0,& \text{sebaliknya}\end{array}$$

Jika expert $i$ kelebihan beban pada akhir langkah, $b_i\leftarrow b_i-\gamma$; jika kekurangan beban, $b_i\leftarrow b_i+\gamma$ (dengan $\gamma =0,001$). Sequence-wise balance loss yang sangat kecil ($\alpha =0,0001$) digunakan sebagai pelengkap.

3. Multi-Token Prediction (MTP)

Untuk kedalaman prediksi $k\in [1,D]$ (dengan $D=1$), representasi ${\mathbf{h}}_i^{k-1}$ digabungkan dengan embedding token yang digeser:

$${\mathbf{h}}_i^{\prime k}=M_k[\mathrm{RMSNorm}({\mathbf{h}}_i^{k-1});\mathrm{RMSNorm}(\mathrm{Emb}(t_{i+k}))]$$ $${\mathbf{h}}_{1:T-k}^k={\mathrm{TRM}}_k({\mathbf{h}}_{1:T-k}^{\prime k}),P_{i+k+1}^k=\mathrm{OutHead}({\mathbf{h}}_i^k)$$

Total training loss menambahkan ${\mathcal{L}}_{\text{MTP}}=\frac{\lambda }{D}{\sum }_{k=1}^D{\mathcal{L}}_{\text{MTP}}^k$.

Hasil

• Anggaran Pra-Pelatihan: Dilatih awal pada 14,8T token hanya dalam 2,664 juta jam GPU H800 (3,7 hari per 1T token pada 2048 GPU). Keseluruhan pelatihan menghabiskan 2,788 juta jam GPU (~$5,576 juta dengan estimasi $2/jam).
• Stabilitas: Nol rollback dan nol lonjakan loss tak terpulihkan di seluruh 14,8T token.
• Tolok Ukur Model Dasar (Base Model):
  • Mengungguli LLaMA-3.1 405B Base pada MMLU (87,1 vs. 84,4), BBH (87,5 vs. 82,9), HumanEval (65,2 vs. 54,9), dan MATH (61,6 vs. 49,0).
  • Mengungguli Qwen2.5 72B Base pada C-Eval (90,1 vs. 89,2) dan GSM8K (89,3 vs. 88,3).
• Tolok Ukur Model Chat:
  • Matematika & Kode: Mencatatkan skor terbaik (SOTA) untuk kategori non-o1: MATH-500 (90,2), AIME 2024 (39,2), LiveCodeBench CoT (40,5).
  • Pengetahuan Luas: MMLU (88,5), MMLU-Pro (75,9), GPQA-Diamond (59,1).
  • Open-Ended: Melampaui win rate 85% pada Arena-Hard (85,5%) dan meraih 70,0% pada AlpacaEval 2.0 yang dikontrol panjang teksnya.

Keterbatasan dan pertanyaan terbuka

• Batas Minimum Perangkat Keras Inferensi: Penyajian (serving) yang efisien memerlukan unit deployment besar (32 GPU untuk unit prefilling, 320 GPU untuk unit decoding), sehingga menghadirkan kendala infrastruktur bagi organisasi berskala kecil.
• Alokasi SM Lintas-Node: 20 SM per GPU dialokasikan khusus untuk menangani rutinitas komunikasi all-to-all lintas-node alih-alih untuk komputasi matriks matematis.
• Diskrepansi Faktual: Tertinggal dari model tertutup terdepan (misalnya, GPT-4o, Claude-3.5-Sonnet) pada tugas-tugas faktual berbahasa Inggris seperti SimpleQA (24,9% vs. 38,2%), meskipun memimpin pada SimpleQA berbahasa Mandarin (64,8%).