DeepSeek-V3 Technical Report

Guia de leitura

Problema e motivação

Grandes modelos de linguagem (LLMs) de fronteira continuam reduzindo a distância em direção à AGI, mas escalar modelos de código aberto normalmente exige orçamentos computacionais e infraestrutura proibitivos. Além disso, escalar arquiteturas Mixture-of-Experts (MoE) introduz desafios específicos de engenharia:

1. Degradação por Perda Auxiliar: As perdas tradicionais de balanceamento de carga auxiliar restringem fortemente a flexibilidade de roteamento e prejudicam a capacidade de modelagem de linguagem.
2. Gargalos de Comunicação: O roteamento refinado entre múltiplos nós causa sobrecargas severas de comunicação all-to-all, muitas vezes atingindo uma proporção de computação para comunicação de 1:1.
3. Precisão Numérica e Memória: O treinamento padrão em 16 bits consome muita memória, enquanto o treinamento ingênuo em FP8 sofre com instabilidade numérica e underflow devido a outliers de ativação e à precisão limitada de acumulação dos Tensor Cores.

O DeepSeek-V3 aborda esses desafios por meio de estratégias algorítmicas projetadas em conjunto com otimizações de infraestrutura em nível de hardware para alcançar desempenho de ponta com custo mínimo de treinamento.

Ideias centrais

• Eficiência de Arquitetura: Combina a compressão de Key-Value de baixo posto via Multi-head Latent Attention (MLA) com especialistas roteados de granularidade fina via DeepSeekMoE (1 especialista compartilhado + 256 especialistas roteados, 8 ativados).
• Balanceamento de Carga sem Perda Auxiliar: Substitui as perdas auxiliares que degradam o desempenho por termos de viés de especialistas atualizados dinamicamente, permitindo especialização distinta de domínio sem colapso de roteamento.
• Multi-Token Prediction (MTP): Prevê múltiplos tokens futuros sequencialmente em cada posição ao longo de uma cadeia causal preservada para enriquecer os sinais de treinamento e suportar decodificação especulativa (1,8× TPS).
• Paralelismo DualPipe: Um escalonamento bidirecional de pipeline que sobrepõe completamente a computação forward e backward com comunicações PP e MoE all-to-all entre nós.
• Treinamento em Precisão Mista FP8: Usa E4M3 em todos os tensores, aplicando escalonamento de ativação por tile ($1\times 128$) e de pesos por bloco ($128\times 128$), acompanhado por acumulação transferida para registradores dos CUDA Cores em FP32 a cada $N_c=128$ passos.
• Destilação de Raciocínio: Destila padrões de raciocínio long-CoT de verificação e reflexão da série DeepSeek-R1 diretamente nas etapas de pós-treinamento com SFT e RL.

Método

1. Multi-head Latent Attention (MLA)

Para o estado oculto do token ${\mathbf{h}}_t$, o MLA comprime o KV cache em um vetor latente compartilhado ${\mathbf{c}}_t^{KV}\in {\mathbb{R}}^{d_c}$ e os estados de consulta em ${\mathbf{c}}_t^Q\in {\mathbb{R}}^{d_c^{\prime }}$:

$${\mathbf{c}}_t^{KV}=W^{DKV}{\mathbf{h}}_t,{\mathbf{k}}_t^C=W^{UK}{\mathbf{c}}_t^{KV},{\mathbf{v}}_t^C=W^{UV}{\mathbf{c}}_t^{KV}$$ $${\mathbf{k}}_t^R=\mathrm{RoPE}(W^{KR}{\mathbf{h}}_t),{\mathbf{k}}_{t,i}=[{\mathbf{k}}_{t,i}^C;{\mathbf{k}}_t^R]$$

Durante a inferência, o caching é restrito apenas a ${\mathbf{c}}_t^{KV}$ e ${\mathbf{k}}_t^R$, reduzindo drasticamente o consumo de memória.

2. DeepSeekMoE com Balanceamento sem Perda Auxiliar

As saídas da rede feed-forward combinam $N_s$ especialistas compartilhados e $N_r$ especialistas roteados:

$${\mathbf{h}}_t^{\prime }={\mathbf{u}}_t+\sum _{i=1}^{N_s}{\mathrm{FFN}}_i^{(s)}({\mathbf{u}}_t)+\sum _{i=1}^{N_r}{g}_{i,t}{\mathrm{FFN}}_i^{(r)}({\mathbf{u}}_t)$$

As afinidades dos especialistas são calculadas como $s_{i,t}=\mathrm{Sigmoid}({\mathbf{u}}_t^T{\mathbf{e}}_i)$. Os valores de gating $g_{i,t}$ são calculados normalizando $g_{i,t}^{\prime }$, onde as decisões de roteamento incorporam um termo de viés dinâmico $b_i$:

$$g_{i,t}^{\prime }=\{\begin{array}{ll}{s}_{i,t},& s_{i,t}+b_i\in \mathrm{Topk}(\{s_{j,t}+b_j\mid 1\le j\le N_r\},K_r)\\ 0,& \text{caso contraˊrio}\end{array}$$

Se o especialista $i$ estiver sobrecarregado ao final do passo, $b_i\leftarrow b_i-\gamma$; se estiver subcarregado, $b_i\leftarrow b_i+\gamma$ (com $\gamma =0.001$). Uma perda de balanceamento mínima por sequência ($\alpha =0.0001$) é usada como complemento.

3. Multi-Token Prediction (MTP)

Para a profundidade de previsão $k\in [1,D]$ (com $D=1$), a representação ${\mathbf{h}}_i^{k-1}$ é combinada com o embedding de token deslocado:

$${\mathbf{h}}_i^{\prime k}=M_k[\mathrm{RMSNorm}({\mathbf{h}}_i^{k-1});\mathrm{RMSNorm}(\mathrm{Emb}(t_{i+k}))]$$ $${\mathbf{h}}_{1:T-k}^k={\mathrm{TRM}}_k({\mathbf{h}}_{1:T-k}^{\prime k}),P_{i+k+1}^k=\mathrm{OutHead}({\mathbf{h}}_i^k)$$

A perda total de treinamento adiciona ${\mathcal{L}}_{\text{MTP}}=\frac{\lambda }{D}{\sum }_{k=1}^D{\mathcal{L}}_{\text{MTP}}^k$.

Resultados

• Orçamento de Pré-treinamento: Pré-treinado em 14,8T tokens por apenas 2,664M de horas de GPU H800 (3,7 dias por 1T tokens em 2048 GPUs). O treinamento completo consumiu 2,788M de horas de GPU (~US$ 5,576M a US$ 2/hora).
• Estabilidade: Zero rollbacks e zero picos de perda irrecuperáveis ao longo de todos os 14,8T tokens.
• Benchmarks do Modelo Base:
  • Supera o LLaMA-3.1 405B Base em MMLU (87,1 vs. 84,4), BBH (87,5 vs. 82,9), HumanEval (65,2 vs. 54,9) e MATH (61,6 vs. 49,0).
  • Supera o Qwen2.5 72B Base em C-Eval (90,1 vs. 89,2) e GSM8K (89,3 vs. 88,3).
• Benchmarks do Modelo Chat:
  • Matemática e Código: Estabelece as melhores pontuações (não-o1): MATH-500 (90,2), AIME 2024 (39,2), LiveCodeBench CoT (40,5).
  • Conhecimento Amplo: MMLU (88,5), MMLU-Pro (75,9), GPQA-Diamond (59,1).
  • Respostas Abertas: Ultrapassa 85% de taxa de vitória no Arena-Hard (85,5%) e alcança 70,0% no AlpacaEval 2.0 com controle de comprimento.

Limitações e questões em aberto

• Requisitos Mínimos de Hardware para Inferência: O atendimento eficiente exige grandes unidades de implantação (32 GPUs para a unidade de prefilling, 320 GPUs para a unidade de decodificação), apresentando barreiras de infraestrutura para organizações menores.
• Alocação de SMs entre Nós: 20 SMs por GPU foram dedicados estritamente ao gerenciamento de rotinas de comunicação all-to-all entre nós, em vez de cálculos matriciais.
• Discrepâncias Factuais: Fica atrás de modelos proprietários de ponta (ex.: GPT-4o, Claude-3.5-Sonnet) em tarefas factuais em inglês como SimpleQA (24,9% vs. 38,2%), apesar de liderar no SimpleQA em chinês (64,8%).