Технический отчет DeepSeek-V3

Разбор статьи

Проблема и мотивация

Фронтирные большие языковые модели (LLM) продолжают сокращать разрыв на пути к AGI, однако масштабирование открытых моделей обычно требует непомерных вычислительных бюджетов и сложной инфраструктуры. Кроме того, масштабирование архитектур Mixture-of-Experts (MoE) сопряжено со специфическими инженерными трудностями:

1. Деградация из-за вспомогательных потерь (Auxiliary Loss): Традиционные вспомогательные функции потерь для балансировки нагрузки жестко ограничивают гибкость маршрутизации и ухудшают способность к языковому моделированию.
2. Узкие места коммуникации: Мелкозернистая маршрутизация между узлами создает огромные накладные расходы на связь all-to-all, нередко доводя соотношение вычислений к передаче данных до 1:1.
3. Численная точность и память: Стандартное 16-битное обучение требует много памяти, в то время как наивное обучение в FP8 страдает от численной нестабильности и потери точности (underflow) из-за выбросов в активациях и ограниченной точности накопления в Tensor Core.

DeepSeek-V3 решает эти проблемы путем совместной разработки алгоритмических стратегий и аппаратных оптимизаций инфраструктуры, обеспечивая передовую производительность при минимальных затратах на обучение.

Ключевые идеи

• Эффективность архитектуры: Объединяет низкоранговое сжатие Key-Value через Multi-head Latent Attention (MLA) с мелкозернистой маршрутизацией экспертов через DeepSeekMoE (1 общий + 256 маршрутизируемых экспертов, 8 активных).
• Балансировка нагрузки без вспомогательных потерь (Auxiliary-Loss-Free): Заменяет ухудшающие качество вспомогательные потери динамически обновляемыми смещениями экспертов (bias), обеспечивая четкую доменную специализацию без коллапса маршрутизации.
• Multi-Token Prediction (MTP): Последовательно предсказывает несколько будущих токенов в каждой позиции вдоль сохраненной каузальной цепочки для обогащения сигнала обучения и поддержки спекулятивного декодирования (ускорение в 1.8× TPS).
• Параллелизм DualPipe: Двунаправленное расписание пайплайна, полностью перекрывающее прямые и обратные вычисления с межсерверными MoE-коммуникациями all-to-all и передачами данных в рамках PP.
• Обучение со смешанной точностью FP8: Использует формат E4M3 для всех тензоров, применяя тайловое масштабирование активаций ($1\times 128$) и блочное масштабирование весов ($128\times 128$), а также сброс промежуточного накопления в регистры CUDA Core в FP32 каждые $N_c=128$ шагов.
• Дистилляция рассуждений: Переносит паттерны верификации и рефлексии длинных цепочек рассуждений (long-CoT) из серии DeepSeek-R1 напрямую на этапы пост-обучения SFT и RL.

Метод

1. Multi-head Latent Attention (MLA)

Для скрытого состояния токена ${\mathbf{h}}_t$ механизм MLA сжимает KV-кэш в общий латентный вектор ${\mathbf{c}}_t^{KV}\in {\mathbb{R}}^{d_c}$, а состояния запросов — в ${\mathbf{c}}_t^Q\in {\mathbb{R}}^{d_c^{\prime }}$:

$${\mathbf{c}}_t^{KV}=W^{DKV}{\mathbf{h}}_t,{\mathbf{k}}_t^C=W^{UK}{\mathbf{c}}_t^{KV},{\mathbf{v}}_t^C=W^{UV}{\mathbf{c}}_t^{KV}$$ $${\mathbf{k}}_t^R=\mathrm{RoPE}(W^{KR}{\mathbf{h}}_t),{\mathbf{k}}_{t,i}=[{\mathbf{k}}_{t,i}^C;{\mathbf{k}}_t^R]$$

Во время инференса кэшируются только ${\mathbf{c}}_t^{KV}$ и ${\mathbf{k}}_t^R$, что кардинально снижает требования к памяти.

2. DeepSeekMoE с балансировкой без вспомогательных потерь

Выходы полносвязной сети объединяют $N_s$ общих экспертов и $N_r$ маршрутизируемых экспертов:

$${\mathbf{h}}_t^{\prime }={\mathbf{u}}_t+\sum _{i=1}^{N_s}{\mathrm{FFN}}_i^{(s)}({\mathbf{u}}_t)+\sum _{i=1}^{N_r}{g}_{i,t}{\mathrm{FFN}}_i^{(r)}({\mathbf{u}}_t)$$

Близость экспертов вычисляется как $s_{i,t}=\mathrm{Sigmoid}({\mathbf{u}}_t^T{\mathbf{e}}_i)$. Значения гейтинга $g_{i,t}$ получаются нормализацией $g_{i,t}^{\prime }$, где решение о маршрутизации учитывает динамическое смещение $b_i$:

$$g_{i,t}^{\prime }=\{\begin{array}{ll}{s}_{i,t},& s_{i,t}+b_i\in \mathrm{Topk}(\{s_{j,t}+b_j\mid 1\le j\le N_r\},K_r)\\ 0,& \text{иначе}\end{array}$$

Если эксперт $i$ перегружен в конце шага, $b_i\leftarrow b_i-\gamma$; если недогружен, $b_i\leftarrow b_i+\gamma$ (где $\gamma =0.001$). В качестве дополнения используется незначительная потеря балансировки на уровне последовательности ($\alpha =0.0001$).

3. Multi-Token Prediction (MTP)

Для глубины предсказания $k\in [1,D]$ (при $D=1$) представление ${\mathbf{h}}_i^{k-1}$ объединяется со сдвинутым эмбеддингом токена:

$${\mathbf{h}}_i^{\prime k}=M_k[\mathrm{RMSNorm}({\mathbf{h}}_i^{k-1});\mathrm{RMSNorm}(\mathrm{Emb}(t_{i+k}))]$$ $${\mathbf{h}}_{1:T-k}^k={\mathrm{TRM}}_k({\mathbf{h}}_{1:T-k}^{\prime k}),P_{i+k+1}^k=\mathrm{OutHead}({\mathbf{h}}_i^k)$$

Общая функция потерь обучения включает ${\mathcal{L}}_{\text{MTP}}=\frac{\lambda }{D}{\sum }_{k=1}^D{\mathcal{L}}_{\text{MTP}}^k$.

Результаты

• Бюджет предварительного обучения: Обучена на 14.8T токенов всего за 2.664M часов GPU H800 (3.7 дня на 1T токенов на 2048 GPU). Полное обучение заняло 2.788M GPU-часов (~$5.576M при стоимости $2/час).
• Стабильность: Ноль откатов и ноль неустранимых скачков функции потерь на протяжении всех 14.8T токенов.
• Бенчмарки базовой модели:
  • Превосходит LLaMA-3.1 405B Base на MMLU (87.1 против 84.4), BBH (87.5 против 82.9), HumanEval (65.2 против 54.9) и MATH (61.6 против 49.0).
  • Превосходит Qwen2.5 72B Base на C-Eval (90.1 против 89.2) и GSM8K (89.3 против 88.3).
• Бенчмарки чат-модели:
  • Математика и код: Устанавливает рекорды SOTA среди моделей без reasoning-режима уровня o1: MATH-500 (90.2), AIME 2024 (39.2), LiveCodeBench CoT (40.5).
  • Широкий кругозор: MMLU (88.5), MMLU-Pro (75.9), GPQA-Diamond (59.1).
  • Открытые ответы: Превышает 85% винрейта на Arena-Hard (85.5%) и достигает 70.0% на AlpacaEval 2.0 с контролем длины.

Ограничения и открытые вопросы

• Минимальные требования к аппаратуре для инференса: Для эффективного развертывания требуются крупные пулы GPU (32 GPU для блока prefill, 320 GPU для блока decoding), что создает инфраструктурные барьеры для небольших команд.
• Выделение SM для межсерверной связи: 20 SM на каждом GPU были выделены исключительно для управления передачей данных all-to-all между узлами, а не для матричных вычислений.
• Фактологические расхождения: Уступает закрытым передовым моделям (например, GPT-4o, Claude-3.5-Sonnet) в англоязычных фактологических задачах, таких как SimpleQA (24.9% против 38.2%), несмотря на лидерство в китайском SimpleQA (64.8%).