DeepSeek-V3 기술 보고서 (DeepSeek-V3 Technical Report)

논문 해설

문제 및 동기

프론티어 대규모 언어 모델(LLM)은 AGI를 향한 격차를 계속해서 좁혀가고 있지만, 오픈 소스 모델을 확장하는 데는 일반적으로 감당하기 힘든 연산 예산과 인프라가 필요합니다. 또한 Mixture-of-Experts (MoE) 아키텍처의 확장은 다음과 같은 구체적인 엔지니어링 과제를 수반합니다:

1. 보조 손실로 인한 성능 저하: 기존의 보조 부하 분산 손실은 라우팅 유연성을 크게 제한하고 언어 모델링 능력을 저해합니다.
2. 통신 병목 현상: 세분화된 노드 간 라우팅은 심각한 all-to-all 통신 오버헤드를 발생시켜 연산 대 통신 비율이 1:1에 도달하는 경우가 많습니다.
3. 수치 정밀도 및 메모리: 표준 16비트 학습은 메모리 집약적인 반면, 단순한 FP8 학습은 활성화 이상치와 제한된 Tensor Core 누적 정밀도로 인해 수치적 불안정성과 언더플로우를 겪습니다.

DeepSeek-V3는 상호 설계된 알고리즘 전략과 하드웨어 수준의 인프라 최적화를 통해 이러한 과제를 해결함으로써 최소한의 학습 비용으로 프론티어급 성능을 달성합니다.

핵심 아이디어

• 아키텍처 효율성: **Multi-head Latent Attention (MLA)**를 통한 저차원 Key-Value 압축과 DeepSeekMoE(공유 전문가 1개 + 라우팅 전문가 256개, 활성화 8개)를 통한 세분화된 라우팅 전문가를 결합합니다.
• 보조 손실 없는 부하 분산(Auxiliary-Loss-Free Load Balancing): 성능을 저하시키는 보조 손실을 동적으로 업데이트되는 전문가 편향(bias) 항으로 대체하여 라우팅 붕괴 없이 뚜렷한 도메인 특화 성능을 확보합니다.
• 다중 토큰 예측(Multi-Token Prediction, MTP): 인과적 체인을 유지하면서 각 위치에서 순차적으로 여러 미래 토큰을 예측하여 학습 신호를 풍부하게 하고 추측 디코딩(speculative decoding, 1.8배 TPS 향상)을 지원합니다.
• DualPipe 병렬성: 순전파 및 역전파 연산을 노드 간 MoE all-to-all 및 파이프라인 병렬화(PP) 통신과 완전히 중첩하는 양방향 파이프라인 스케줄입니다.
• FP8 혼합 정밀도 학습: 모든 텐서에 E4M3 형식을 사용하고 타일 단위($1\times 128$) 활성화 및 블록 단위($128\times 128$) 가중치 스케일링을 적용하며, 매 $N_c=128$ 스텝마다 CUDA Core 레지스터의 FP32로 누적 연산을 오프로드합니다.
• 추론 증류(Reasoning Distillation): DeepSeek-R1 시리즈의 검증 및 반성 기반 롱 체인 오브 쏘트(Long-CoT) 추론 패턴을 SFT 및 RL 사후 학습 단계에 직접 증류합니다.

방법론

1. Multi-head Latent Attention (MLA)

토큰 은닉 상태 ${\mathbf{h}}_t$에 대해 MLA는 KV 캐시를 공유 잠재 벡터 ${\mathbf{c}}_t^{KV}\in {\mathbb{R}}^{d_c}$로, 쿼리 상태를 ${\mathbf{c}}_t^Q\in {\mathbb{R}}^{d_c^{\prime }}$로 압축합니다:

$${\mathbf{c}}_t^{KV}=W^{DKV}{\mathbf{h}}_t,{\mathbf{k}}_t^C=W^{UK}{\mathbf{c}}_t^{KV},{\mathbf{v}}_t^C=W^{UV}{\mathbf{c}}_t^{KV}$$ $${\mathbf{k}}_t^R=\mathrm{RoPE}(W^{KR}{\mathbf{h}}_t),{\mathbf{k}}_{t,i}=[{\mathbf{k}}_{t,i}^C;{\mathbf{k}}_t^R]$$

추론 중에는 ${\mathbf{c}}_t^{KV}$와 ${\mathbf{k}}_t^R$만 캐싱하도록 제한되어 메모리 사용량을 획기적으로 낮춥니다.

2. 무보조 손실 밸런싱 기반 DeepSeekMoE

피드포워드 네트워크의 출력은 $N_s$개의 공유 전문가와 $N_r$개의 라우팅 전문가를 결합합니다:

$${\mathbf{h}}_t^{\prime }={\mathbf{u}}_t+\sum _{i=1}^{N_s}{\mathrm{FFN}}_i^{(s)}({\mathbf{u}}_t)+\sum _{i=1}^{N_r}{g}_{i,t}{\mathrm{FFN}}_i^{(r)}({\mathbf{u}}_t)$$

전문가 친화도(affinity)는 $s_{i,t}=\mathrm{Sigmoid}({\mathbf{u}}_t^T{\mathbf{e}}_i)$로 계산됩니다. 게이팅 값 $g_{i,t}$는 $g_{i,t}^{\prime }$를 정규화하여 계산되며, 여기서 라우팅 결정에는 동적 편향 항 $b_i$가 포함됩니다:

$$g_{i,t}^{\prime }=\{\begin{array}{ll}{s}_{i,t},& s_{i,t}+b_i\in \mathrm{Topk}(\{s_{j,t}+b_j\mid 1\le j\le N_r\},K_r)\\ 0,& \text{그 외}\end{array}$$

스텝 종료 시 전문가 $i$에 부하가 초과되면 $b_i\leftarrow b_i-\gamma$로 갱신되고, 부하가 미달하면 $b_i\leftarrow b_i+\gamma$로 갱신됩니다($\gamma =0.001$). 보완 수단으로 매우 작은 시퀀스 단위 밸런스 손실($\alpha =0.0001$)이 사용됩니다.

3. Multi-Token Prediction (MTP)

예측 깊이 $k\in [1,D]$ ($D=1$)에 대해, 표현 ${\mathbf{h}}_i^{k-1}$는 시프트된 토큰 임베딩과 결합됩니다:

$${\mathbf{h}}_i^{\prime k}=M_k[\mathrm{RMSNorm}({\mathbf{h}}_i^{k-1});\mathrm{RMSNorm}(\mathrm{Emb}(t_{i+k}))]$$ $${\mathbf{h}}_{1:T-k}^k={\mathrm{TRM}}_k({\mathbf{h}}_{1:T-k}^{\prime k}),P_{i+k+1}^k=\mathrm{OutHead}({\mathbf{h}}_i^k)$$

전체 학습 손실에는 ${\mathcal{L}}_{\text{MTP}}=\frac{\lambda }{D}{\sum }_{k=1}^D{\mathcal{L}}_{\text{MTP}}^k$가 추가됩니다.

결과

• 사전 학습 예산: 2.664M H800 GPU 시간(2048개 GPU에서 1T 토큰당 3.7일)만으로 14.8T 토큰을 사전 학습했습니다. 전체 학습에는 2.788M GPU 시간(시간당 2달러 기준 약 557.6만 달러)이 소비되었습니다.
• 안정성: 14.8T 토큰 전체에 걸쳐 롤백과 복구 불가능한 손실 급증이 전혀 없었습니다.
• 기반 모델(Base Model) 벤치마크:
  • MMLU (87.1 대 84.4), BBH (87.5 대 82.9), HumanEval (65.2 대 54.9), MATH (61.6 대 49.0)에서 LLaMA-3.1 405B Base를 능가합니다.
  • C-Eval (90.1 대 89.2) 및 GSM8K (89.3 대 88.3)에서 Qwen2.5 72B Base를 능가합니다.
• 대화 모델(Chat Model) 벤치마크:
  • 수학 및 코드: non-o1 최고 점수를 기록: MATH-500 (90.2), AIME 2024 (39.2), LiveCodeBench CoT (40.5).
  • 광범위한 지식: MMLU (88.5), MMLU-Pro (75.9), GPQA-Diamond (59.1).
  • 개방형 평가: Arena-Hard에서 85% 이상의 승률(85.5%)을 달성하고, 길이 제어된 AlpacaEval 2.0에서 70.0%를 기록했습니다.

한계점 및 향후 과제

• 추론 하드웨어 최소 사양: 효율적인 서빙을 위해서는 대규모 배포 단위(프리필 단위 32개 GPU, 디코딩 단위 320개 GPU)가 필요하므로 소규모 조직에는 인프라 장벽이 존재합니다.
• 노드 간 SM 할당: GPU당 20개의 SM이 행렬 연산이 아닌 노드 간 all-to-all 통신 루틴을 관리하는 전용으로 할당되었습니다.
• 사실성 격차: 중국어 SimpleQA(64.8%)에서는 앞서고 있지만, 영어 사실성 태스크인 SimpleQA(24.9% 대 38.2%)에서는 폐쇄형 프론티어 모델(예: GPT-4o, Claude-3.5-Sonnet)에 비해 뒤처집니다.