Báo cáo Kỹ thuật DeepSeek-V3

Hướng dẫn đọc

Vấn đề và Động lực

Các mô hình ngôn ngữ lớn (LLM) hàng đầu tiếp tục thu hẹp khoảng cách tiến tới AGI, nhưng việc mở rộng quy mô các mô hình mã nguồn mở thường đòi hỏi ngân sách tính toán và cơ sở hạ tầng vượt quá khả năng tiếp cận. Hơn nữa, việc mở rộng kiến trúc Mixture-of-Experts (MoE) tạo ra những thách thức kỹ thuật cụ thể:

1. Suy giảm do loss phụ (Auxiliary Loss Degradation): Các loss phụ cân bằng tải truyền thống hạn chế nghiêm trọng tính linh hoạt của định tuyến và làm tổn hại đến năng lực mô hình hóa ngôn ngữ.
2. Điểm nghẽn giao tiếp (Communication Bottlenecks): Định tuyến hạt mịn liên nút (cross-node) gây ra chi phí giao tiếp all-to-all nghiêm trọng, thường đạt tỷ lệ tính toán trên giao tiếp là 1:1.
3. Độ chính xác số học & Bộ nhớ: Huấn luyện 16-bit tiêu chuẩn rất tốn bộ nhớ, trong khi huấn luyện FP8 thông thường dễ mất ổn định số học và tràn dưới (underflow) do các giá trị ngoại lai của kích hoạt và độ chính xác tích lũy hạn chế của Tensor Core.

DeepSeek-V3 giải quyết những thách thức này thông qua sự đồng thiết kế giữa các chiến lược thuật toán và tối ưu hóa hạ tầng cấp phần cứng để đạt hiệu năng hàng đầu với chi phí huấn luyện tối thiểu.

Ý tưởng cốt lõi

• Hiệu quả kiến trúc: Kết hợp nén Key-Value hạng thấp thông qua Multi-head Latent Attention (MLA) với các expert định tuyến hạt mịn qua DeepSeekMoE (1 shared + 256 routed experts, kích hoạt 8).
• Cân bằng tải không cần loss phụ (Auxiliary-Loss-Free Load Balancing): Thay thế các loss phụ làm giảm hiệu năng bằng các số hạng bias của expert được cập nhật động, cho phép chuyên môn hóa theo miền riêng biệt mà không bị sụp đổ định tuyến (routing collapse).
• Dự đoán đa token (Multi-Token Prediction - MTP): Dự đoán tuần tự nhiều token tương lai tại mỗi vị trí dọc theo chuỗi nhân quả được duy trì nhằm làm phong phú tín hiệu huấn luyện và hỗ trợ suy luận suy đoán (speculative decoding, tăng tốc 1,8× TPS).
• Song song hóa DualPipe: Lập lịch pipeline hai chiều gối hoàn toàn các phép tính forward và backward với giao tiếp MoE all-to-all liên nút và giao tiếp PP.
• Huấn luyện độ chính xác hỗn hợp FP8: Sử dụng định dạng E4M3 trên tất cả tensor, áp dụng co giãn kích hoạt theo tile ($1\times 128$) và trọng số theo block ($128\times 128$), kết hợp đẩy tích lũy sang thanh ghi CUDA Core ở định dạng FP32 sau mỗi $N_c=128$ bước.
• Chưng cất suy luận (Reasoning Distillation): Chưng cất các mẫu suy luận long-CoT có kiểm chứng và phản hồi từ dòng mô hình DeepSeek-R1 trực tiếp vào các giai đoạn hậu huấn luyện SFT và RL.

Phương pháp

1. Multi-head Latent Attention (MLA)

Đối với trạng thái ẩn của token ${\mathbf{h}}_t$, MLA nén KV cache thành một vector ẩn chung ${\mathbf{c}}_t^{KV}\in {\mathbb{R}}^{d_c}$ và trạng thái query thành ${\mathbf{c}}_t^Q\in {\mathbb{R}}^{d_c^{\prime }}$:

$${\mathbf{c}}_t^{KV}=W^{DKV}{\mathbf{h}}_t,{\mathbf{k}}_t^C=W^{UK}{\mathbf{c}}_t^{KV},{\mathbf{v}}_t^C=W^{UV}{\mathbf{c}}_t^{KV}$$ $${\mathbf{k}}_t^R=\mathrm{RoPE}(W^{KR}{\mathbf{h}}_t),{\mathbf{k}}_{t,i}=[{\mathbf{k}}_{t,i}^C;{\mathbf{k}}_t^R]$$

Trong quá trình suy luận, việc lưu cache chỉ giới hạn ở ${\mathbf{c}}_t^{KV}$ và ${\mathbf{k}}_t^R$, giúp giảm đáng kể dung lượng bộ nhớ sử dụng.

2. DeepSeekMoE với cơ chế cân bằng không cần loss phụ

Đầu ra của mạng feed-forward kết hợp $N_s$ shared experts và $N_r$ routed experts:

$${\mathbf{h}}_t^{\prime }={\mathbf{u}}_t+\sum _{i=1}^{N_s}{\mathrm{FFN}}_i^{(s)}({\mathbf{u}}_t)+\sum _{i=1}^{N_r}{g}_{i,t}{\mathrm{FFN}}_i^{(r)}({\mathbf{u}}_t)$$

Độ tương đồng của expert được tính là $s_{i,t}=\mathrm{Sigmoid}({\mathbf{u}}_t^T{\mathbf{e}}_i)$. Các giá trị gating $g_{i,t}$ được tính bằng cách chuẩn hóa $g_{i,t}^{\prime }$, trong đó quyết định định tuyến kết hợp một hệ số bias động $b_i$:

$$g_{i,t}^{\prime }=\{\begin{array}{ll}{s}_{i,t},& s_{i,t}+b_i\in \mathrm{Topk}(\{s_{j,t}+b_j\mid 1\le j\le N_r\},K_r)\\ 0,& \text{ngược lại}\end{array}$$

Nếu expert $i$ bị quá tải ở cuối bước, $b_i\leftarrow b_i-\gamma$; nếu non tải, $b_i\leftarrow b_i+\gamma$ (với $\gamma =0.001$). Một sequence-wise balance loss rất nhỏ ($\alpha =0.0001$) được dùng làm bổ trợ.

3. Multi-Token Prediction (MTP)

Đối với độ sâu dự đoán $k\in [1,D]$ (với $D=1$), biểu diễn ${\mathbf{h}}_i^{k-1}$ được kết hợp với embedding của token bị dịch chuyển:

$${\mathbf{h}}_i^{\prime k}=M_k[\mathrm{RMSNorm}({\mathbf{h}}_i^{k-1});\mathrm{RMSNorm}(\mathrm{Emb}(t_{i+k}))]$$ $${\mathbf{h}}_{1:T-k}^k={\mathrm{TRM}}_k({\mathbf{h}}_{1:T-k}^{\prime k}),P_{i+k+1}^k=\mathrm{OutHead}({\mathbf{h}}_i^k)$$

Tổng loss huấn luyện cộng thêm ${\mathcal{L}}_{\text{MTP}}=\frac{\lambda }{D}{\sum }_{k=1}^D{\mathcal{L}}_{\text{MTP}}^k$.

Kết quả

• Ngân sách tiền huấn luyện: Được tiền huấn luyện trên 14,8T token chỉ với 2,664M giờ GPU H800 (3,7 ngày cho mỗi 1T token trên 2048 GPU). Toàn bộ quá trình huấn luyện tiêu tốn 2,788M giờ GPU (~5,576 triệu USD tính theo mức 2 USD/giờ).
• Độ ổn định: Không có lần rollback nào và không có sự cố tăng vọt loss không thể phục hồi nào trên toàn bộ 14,8T token.
• Đánh giá Base Model:
  • Vượt trội LLaMA-3.1 405B Base trên MMLU (87,1 so với 84,4), BBH (87,5 so với 82,9), HumanEval (65,2 so với 54,9) và MATH (61,6 so với 49,0).
  • Vượt trội Qwen2.5 72B Base trên C-Eval (90,1 so với 89,2) và GSM8K (89,3 so với 88,3).
• Đánh giá Chat Model:
  • Toán & Code: Thiết lập điểm số SOTA trong nhóm không phải o1: MATH-500 (90,2), AIME 2024 (39,2), LiveCodeBench CoT (40,5).
  • Tri thức tổng quát: MMLU (88,5), MMLU-Pro (75,9), GPQA-Diamond (59,1).
  • Câu hỏi mở: Đạt tỷ lệ thắng hơn 85% trên Arena-Hard (85,5%) và đạt 70,0% trên AlpacaEval 2.0 có kiểm soát độ dài.

Hạn chế và các câu hỏi mở

• Cấu hình phần cứng tối thiểu cho suy luận: Việc phục vụ (serving) hiệu quả đòi hỏi các cụm triển khai lớn (32 GPU cho cụm prefilling, 320 GPU cho cụm decoding), tạo rào cản hạ tầng đối với các tổ chức nhỏ.
• Phân bổ SM liên nút: 20 SM trên mỗi GPU phải dành riêng hoàn toàn để quản lý các quy trình giao tiếp all-to-all liên nút thay vì thực hiện tính toán ma trận.
• Sai lệch về dữ liệu thực tế (Factual Discrepancies): Còn tụt hậu so với các mô hình nguồn đóng hàng đầu (như GPT-4o, Claude-3.5-Sonnet) trên các tác vụ dữ liệu thực tế tiếng Anh như SimpleQA (24,9% so với 38,2%), mặc dù dẫn đầu trên SimpleQA tiếng Trung (64,8%).