Informe técnico de DeepSeek-V3

Guía de lectura

Problema y motivación

Los modelos de lenguaje grandes (LLMs) de frontera continúan cerrando la brecha hacia la AGI, pero escalar modelos de código abierto suele exigir presupuestos computacionales e infraestructura prohibitivos. Además, el escalado de arquitecturas Mixture-of-Experts (MoE) introduce desafíos de ingeniería específicos:

1. Degradación por pérdidas auxiliares: Las pérdidas auxiliares tradicionales de equilibrio de carga restringen enormemente la flexibilidad del enrutamiento y perjudican la capacidad de modelado del lenguaje.
2. Cuellos de botella de comunicación: El enrutamiento de grano fino entre nodos provoca severas sobrecargas de comunicación all-to-all, alcanzando a menudo una relación computación-comunicación de 1:1.
3. Precisión numérica y memoria: El entrenamiento estándar en 16 bits hace un uso intensivo de la memoria, mientras que el entrenamiento ingenuo en FP8 sufre inestabilidad numérica y subdesbordamiento (underflow) debido a valores atípicos en activaciones y a la limitada precisión de acumulación de los Tensor Cores.

DeepSeek-V3 aborda estos desafíos mediante estrategias algorítmicas codiseñadas y optimizaciones de infraestructura a nivel de hardware para lograr un rendimiento de frontera con un coste de entrenamiento mínimo.

Ideas clave

• Eficiencia arquitectónica: Combina la compresión de bajo rango de Key-Value mediante Multi-head Latent Attention (MLA) con expertos enrutados de grano fino a través de DeepSeekMoE (1 experto compartido + 256 enrutados, 8 activados).
• Equilibrio de carga sin pérdida auxiliar: Reemplaza las pérdidas auxiliares que degradan el rendimiento por términos de sesgo dinámicamente actualizados por experto, lo que permite una clara especialización por dominios sin colapso del enrutamiento.
• Multi-Token Prediction (MTP): Predice múltiples tokens futuros de forma secuencial en cada posición a lo largo de una cadena causal preservada para enriquecer las señales de entrenamiento y permitir decodificación especulativa (1.8× TPS).
• Paralelismo DualPipe: Un esquema de segmentación bidireccional (pipeline) que solapa por completo el cómputo forward y backward con las comunicaciones all-to-all entre nodos de MoE y las de PP.
• Entrenamiento en precisión mixta FP8: Utiliza E4M3 en todos los tensores, aplicando escalado de activaciones por teselas ($1\times 128$) y de pesos por bloques ($128\times 128$), acompañado de una acumulación descargada en los registros de CUDA Cores en FP32 cada $N_c=128$ pasos.
• Destilación de razonamiento: Destila patrones de razonamiento con long-CoT de verificación y reflexión procedentes de la serie DeepSeek-R1 directamente en las fases de postentrenamiento con SFT y RL.

Método

1. Multi-head Latent Attention (MLA)

Para el estado oculto del token ${\mathbf{h}}_t$, MLA comprime la caché KV en un vector latente compartido ${\mathbf{c}}_t^{KV}\in {\mathbb{R}}^{d_c}$ y los estados de consulta en ${\mathbf{c}}_t^Q\in {\mathbb{R}}^{d_c^{\prime }}$:

$${\mathbf{c}}_t^{KV}=W^{DKV}{\mathbf{h}}_t,{\mathbf{k}}_t^C=W^{UK}{\mathbf{c}}_t^{KV},{\mathbf{v}}_t^C=W^{UV}{\mathbf{c}}_t^{KV}$$ $${\mathbf{k}}_t^R=\mathrm{RoPE}(W^{KR}{\mathbf{h}}_t),{\mathbf{k}}_{t,i}=[{\mathbf{k}}_{t,i}^C;{\mathbf{k}}_t^R]$$

Durante la inferencia, el almacenamiento en caché se restringe únicamente a ${\mathbf{c}}_t^{KV}$ y ${\mathbf{k}}_t^R$, reduciendo drásticamente la huella de memoria.

2. DeepSeekMoE con equilibrio sin pérdida auxiliar

Las salidas de la red feed-forward combinan $N_s$ expertos compartidos y $N_r$ expertos enrutados:

$${\mathbf{h}}_t^{\prime }={\mathbf{u}}_t+\sum _{i=1}^{N_s}{\mathrm{FFN}}_i^{(s)}({\mathbf{u}}_t)+\sum _{i=1}^{N_r}{g}_{i,t}{\mathrm{FFN}}_i^{(r)}({\mathbf{u}}_t)$$

Las afinidades de los expertos se calculan como $s_{i,t}=\mathrm{Sigmoid}({\mathbf{u}}_t^T{\mathbf{e}}_i)$. Los valores de compuerta $g_{i,t}$ se obtienen normalizando $g_{i,t}^{\prime }$, donde las decisiones de enrutamiento incorporan un término de sesgo dinámico $b_i$:

$$g_{i,t}^{\prime }=\{\begin{array}{ll}{s}_{i,t},& s_{i,t}+b_i\in \mathrm{Topk}(\{s_{j,t}+b_j\mid 1\le j\le N_r\},K_r)\\ 0,& \text{en cualquier otro caso}\end{array}$$

Si el experto $i$ se sobrecarga al final de un paso, $b_i\leftarrow b_i-\gamma$; si está infracargado, $b_i\leftarrow b_i+\gamma$ (con $\gamma =0.001$). Como complemento, se utiliza una minúscula pérdida de equilibrio por secuencia ($\alpha =0.0001$).

3. Multi-Token Prediction (MTP)

Para una profundidad de predicción $k\in [1,D]$ (con $D=1$), la representación ${\mathbf{h}}_i^{k-1}$ se combina con el embedding del token desplazado:

$${\mathbf{h}}_i^{\prime k}=M_k[\mathrm{RMSNorm}({\mathbf{h}}_i^{k-1});\mathrm{RMSNorm}(\mathrm{Emb}(t_{i+k}))]$$ $${\mathbf{h}}_{1:T-k}^k={\mathrm{TRM}}_k({\mathbf{h}}_{1:T-k}^{\prime k}),P_{i+k+1}^k=\mathrm{OutHead}({\mathbf{h}}_i^k)$$

La pérdida total de entrenamiento añade ${\mathcal{L}}_{\text{MTP}}=\frac{\lambda }{D}{\sum }_{k=1}^D{\mathcal{L}}_{\text{MTP}}^k$.

Resultados

• Presupuesto de preentrenamiento: Preentrenado sobre 14.8T de tokens con solo 2.664M de horas de GPU H800 (3.7 días por cada 1T de tokens en 2048 GPUs). El entrenamiento completo consumió 2.788M de horas de GPU (~$5.576M a $2/hora).
• Estabilidad: Cero rollbacks y cero picos de pérdida irrecuperables en los 14.8T de tokens.
• Benchmarks del modelo base:
  • Supera a LLaMA-3.1 405B Base en MMLU (87.1 frente a 84.4), BBH (87.5 frente a 82.9), HumanEval (65.2 frente a 54.9) y MATH (61.6 frente a 49.0).
  • Supera a Qwen2.5 72B Base en C-Eval (90.1 frente a 89.2) y GSM8K (89.3 frente a 88.3).
• Benchmarks del modelo chat:
  • Matemáticas y código: Establece nuevos récords entre modelos no-o1: MATH-500 (90.2), AIME 2024 (39.2), LiveCodeBench CoT (40.5).
  • Conocimiento general: MMLU (88.5), MMLU-Pro (75.9), GPQA-Diamond (59.1).
  • Preguntas abiertas: Supera el 85% de tasa de victorias en Arena-Hard (85.5%) y logra un 70.0% en AlpacaEval 2.0 con control de longitud.

Limitaciones y preguntas abiertas

• Requisitos mínimos de hardware para inferencia: Un despliegue eficiente requiere unidades grandes (32 GPUs para la unidad de prefilling, 320 GPUs para la de decodificación), lo que impone barreras de infraestructura para organizaciones pequeñas.
• Asignación de SMs entre nodos: Se dedicaron 20 SMs por GPU estrictamente a gestionar las rutinas de comunicación all-to-all entre nodos en lugar de al cálculo matricial.
• Discrepancias factuales: Queda por detrás de modelos comerciales de frontera (p. ej., GPT-4o, Claude-3.5-Sonnet) en tareas fácticas en inglés como SimpleQA (24.9% frente a 38.2%), a pesar de liderar en SimpleQA en chino (64.8%).