รายงานเชิงเทคนิคของ DeepSeek-V3

คู่มือการอ่าน

ปัญหาและแรงจูงใจ

โมเดลภาษาขนาดใหญ่ (LLMs) ระดับแนวหน้ายังคงลดช่องว่างสู่ AGI อย่างต่อเนื่อง แต่การขยายขนาดโมเดลโอเพนซอร์สมักต้องการงบประมาณการคำนวณและโครงสร้างพื้นฐานที่สูงจนแทบเป็นไปไม่ได้ นอกจากนี้ การขยายขนาดสถาปัตยกรรม Mixture-of-Experts (MoE) ยังนำมาซึ่งความท้าทายทางวิศวกรรมเฉพาะด้าน:

1. การลดทอนจาก Auxiliary Loss: Load Balancing Loss เสริมแบบดั้งเดิมจำกัดความยืดหยุ่นในการเราต์ติงอย่างมากและส่งผลเสียต่อขีดความสามารถในการจำลองภาษา
2. คอขวดด้านการสื่อสาร: การเราต์ติงข้ามโหนดแบบละเอียดทำให้เกิด Overhead การสื่อสารแบบ All-to-All อย่างรุนแรง ซึ่งบ่อยครั้งมีอัตราส่วนการคำนวณต่อการสื่อสารอยู่ที่ 1:1
3. ความแม่นยำเชิงตัวเลขและหน่วยความจำ: การเทรนแบบ 16-bit มาตรฐานใช้หน่วยความจำสูง ในขณะที่การเทรนแบบ FP8 ทั่วไปประสบปัญหาความไม่เสถียรเชิงตัวเลขและการเกิด Underflow เนื่องจากค่าผิดปกติใน Activation และความแม่นยำในการสะสมค่าที่จำกัดของ Tensor Core

DeepSeek-V3 จัดการกับความท้าทายเหล่านี้ผ่านกลยุทธ์เชิงขั้นตอนวิธีที่ได้รับการออกแบบร่วมกันและการปรับปรุงโครงสร้างพื้นฐานระดับฮาร์ดแวร์ เพื่อให้ได้ประสิทธิภาพระดับแนวหน้าด้วยต้นทุนการเทรนที่ต่ำที่สุด

แนวคิดสำคัญ

• ประสิทธิภาพของสถาปัตยกรรม: ผสานการบีบอัด Key-Value แบบ Low-Rank ผ่าน Multi-head Latent Attention (MLA) เข้ากับ Routed Expert แบบละเอียดผ่าน DeepSeekMoE (1 Shared Expert + 256 Routed Experts โดยเปิดใช้งาน 8 ตัว)
• การทำสมดุลโหลดแบบไร้ Auxiliary Loss: แทนที่ Auxiliary Loss ที่ลดทอนประสิทธิภาพด้วยพจน์ Bias ของ Expert ที่อัปเดตแบบไดนามิก ช่วยให้เกิดความเชี่ยวชาญเฉพาะทางที่ชัดเจนโดยไม่เกิดปัญหา Routing Collapse
• Multi-Token Prediction (MTP): ทำนายโทเคนในอนาคตหลายตัวตามลำดับที่แต่ละตำแหน่งไปตาม Causal Chain ที่คงไว้ เพื่อเพิ่มสัญญาณการเรียนรู้และรองรับ Speculative Decoding (ความเร็วเพิ่มขึ้น 1.8 เท่า)
• การขนานแบบ DualPipe: ตารางเวลา Pipeline แบบสองทิศทางที่ซ้อนทับการคำนวณ Forward และ Backward เข้ากับการสื่อสารแบบ MoE All-to-All ข้ามโหนดและการสื่อสารแบบ PP ได้อย่างสมบูรณ์
• การเทรน Mixed-Precision แบบ FP8: ใช้รูปแบบ E4M3 ในทุก Tensor โดยใช้การสเกล Activation ระดับ Tile ($1\times 128$) และการสเกลน้ำหนักระดับ Block ($128\times 128$) พร้อมทั้งถ่ายโอนการสะสมผลรวมไปยังรีจิสเตอร์ของ CUDA Core ในรูปแบบ FP32 ทุกๆ $N_c=128$ ขั้นตอน
• การกลั่นกรองทักษะการให้เหตุผล (Reasoning Distillation): กลั่นกรองรูปแบบการใช้เหตุผลแบบ Long-CoT ทั้งการตรวจสอบความถูกต้องและการทบทวนตนเองจากซีรีส์ DeepSeek-R1 เข้าสู่ขั้นตอน SFT และ RL Post-Training โดยตรง

วิธีการ

1. Multi-head Latent Attention (MLA)

สำหรับ Hidden State ของโทเคน ${\mathbf{h}}_t$ สถาปัตยกรรม MLA จะบีบอัด KV Cache ให้อยู่ในรูปเวกเตอร์แฝงร่วม ${\mathbf{c}}_t^{KV}\in {\mathbb{R}}^{d_c}$ และสถานะ Query ให้อยู่ในรูป ${\mathbf{c}}_t^Q\in {\mathbb{R}}^{d_c^{\prime }}$:

$${\mathbf{c}}_t^{KV}=W^{DKV}{\mathbf{h}}_t,{\mathbf{k}}_t^C=W^{UK}{\mathbf{c}}_t^{KV},{\mathbf{v}}_t^C=W^{UV}{\mathbf{c}}_t^{KV}$$ $${\mathbf{k}}_t^R=\mathrm{RoPE}(W^{KR}{\mathbf{h}}_t),{\mathbf{k}}_{t,i}=[{\mathbf{k}}_{t,i}^C;{\mathbf{k}}_t^R]$$

ในระหว่างการอนุมาน การทำ Cache จะจำกัดไว้เฉพาะ ${\mathbf{c}}_t^{KV}$ และ ${\mathbf{k}}_t^R$ ซึ่งช่วยลดการใช้หน่วยความจำลงอย่างมหาศาล

2. DeepSeekMoE พร้อมการทำสมดุลแบบไร้ Auxiliary Loss

เอาต์พุตของ Feed-Forward Network จะรวม $N_s$ Shared Experts และ $N_r$ Routed Experts เข้าด้วยกัน:

$${\mathbf{h}}_t^{\prime }={\mathbf{u}}_t+\sum _{i=1}^{N_s}{\mathrm{FFN}}_i^{(s)}({\mathbf{u}}_t)+\sum _{i=1}^{N_r}{g}_{i,t}{\mathrm{FFN}}_i^{(r)}({\mathbf{u}}_t)$$

ค่าความสัมพันธ์ของ Expert คำนวณจาก $s_{i,t}=\mathrm{Sigmoid}({\mathbf{u}}_t^T{\mathbf{e}}_i)$ โดยค่า Gating $g_{i,t}$ ได้มาจากการปรับนอร์มัลของ $g_{i,t}^{\prime }$ ซึ่งการตัดสินใจเลือกเราต์ติงจะรวมพจน์ Bias แบบไดนามิก $b_i$ เข้าไปด้วย:

$$g_{i,t}^{\prime }=\{\begin{array}{ll}{s}_{i,t},& s_{i,t}+b_i\in \mathrm{Topk}(\{s_{j,t}+b_j\mid 1\le j\le N_r\},K_r)\\ 0,& \text{กรณีอื่นๆ}\end{array}$$

หาก Expert $i$ รับโหลดเกินเมื่อสิ้นสุดขั้นตอน การปรับค่าจะเป็น $b_i\leftarrow b_i-\gamma$ แต่หากรับโหลดน้อยเกินไป จะเป็น $b_i\leftarrow b_i+\gamma$ (โดยที่ $\gamma =0.001$) และใช้ Balance Loss ระดับลำดับขนาดเล็กมากๆ ($\alpha =0.0001$) เป็นส่วนเสริม

3. Multi-Token Prediction (MTP)

สำหรับความลึกในการทำนาย $k\in [1,D]$ (โดยที่ $D=1$) ตัวแทนเวกเตอร์ ${\mathbf{h}}_i^{k-1}$ จะถูกรวมเข้ากับ Token Embedding ที่เลื่อนตำแหน่ง:

$${\mathbf{h}}_i^{\prime k}=M_k[\mathrm{RMSNorm}({\mathbf{h}}_i^{k-1});\mathrm{RMSNorm}(\mathrm{Emb}(t_{i+k}))]$$ $${\mathbf{h}}_{1:T-k}^k={\mathrm{TRM}}_k({\mathbf{h}}_{1:T-k}^{\prime k}),P_{i+k+1}^k=\mathrm{OutHead}({\mathbf{h}}_i^k)$$

ค่า Loss การเทรนทั้งหมดจะบวกเพิ่มด้วย ${\mathcal{L}}_{\text{MTP}}=\frac{\lambda }{D}{\sum }_{k=1}^D{\mathcal{L}}_{\text{MTP}}^k$

ผลลัพธ์

• งบประมาณการพรีเทรน: พรีเทรนบน 14.8T โทเคนโดยใช้เวลา GPU H800 เพียง 2.664 ล้านชั่วโมง (3.7 วันต่อ 1T โทเคนบน 2048 GPUs) การเทรนทั้งหมดใช้เวลา GPU 2.788 ล้านชั่วโมง (~$5.576M ที่อัตรา $2/ชั่วโมง)
• ความเสถียร: ไม่มีการย้อนกลับสถานะ (Rollback) และไม่มี Loss Spike ที่กู้คืนไม่ได้ตลอดทั้ง 14.8T โทเคน
• เบนช์มาร์กของ Base Model:
  • เหนือกว่า LLaMA-3.1 405B Base ในชุดทดสอบ MMLU (87.1 เทียบกับ 84.4), BBH (87.5 เทียบกับ 82.9), HumanEval (65.2 เทียบกับ 54.9) และ MATH (61.6 เทียบกับ 49.0)
  • เหนือกว่า Qwen2.5 72B Base ใน C-Eval (90.1 เทียบกับ 89.2) และ GSM8K (89.3 เทียบกับ 88.3)
• เบนช์มาร์กของ Chat Model:
  • คณิตศาสตร์และการเขียนโค้ด: ทำคะแนนระดับแนวหน้าในกลุ่มที่ไม่ใช่ตระกูล o1: MATH-500 (90.2), AIME 2024 (39.2), LiveCodeBench CoT (40.5)
  • ความรู้ทั่วไป: MMLU (88.5), MMLU-Pro (75.9), GPQA-Diamond (59.1)
  • คำถามปลายเปิด: อัตราการชนะเกิน 85% บน Arena-Hard (85.5%) และทำได้ 70.0% บน AlpacaEval 2.0 แบบควบคุมความยาว

ข้อจำกัดและประเด็นที่ยังเปิดกว้าง

• ข้อกำหนดขั้นต่ำของฮาร์ดแวร์ในการอนุมาน: การให้บริการอย่างมีประสิทธิภาพจำเป็นต้องใช้หน่วยประมวลผลขนาดใหญ่ (32 GPUs สำหรับการ Prefill, 320 GPUs สำหรับการ Decode) ซึ่งเป็นอุปสรรคเชิงโครงสร้างพื้นฐานสำหรับองค์กรขนาดเล็ก
• การจัดสรร SM ข้ามโหนด: มีการกัน SM จำนวน 20 ชุดต่อ GPU ไว้สำหรับการจัดการรูทีนการสื่อสารแบบ All-to-All ข้ามโหนดโดยเฉพาะ แทนที่จะนำไปใช้คำนวณทางคณิตศาสตร์ของเมทริกซ์
• ความแม่นยำของข้อเท็จจริง: ยังตามหลังโมเดลปิดระดับแนวหน้า (เช่น GPT-4o, Claude-3.5-Sonnet) ในงานข้อเท็จจริงภาษาอังกฤษ เช่น SimpleQA (24.9% เทียบกับ 38.2%) แม้ว่าจะเป็นผู้นำใน SimpleQA ภาษาจีน (64.8%) ก็ตาม