A Família de Modelos Llama 3

Guia de leitura

Problema e motivação

Os sistemas modernos de inteligência artificial dependem fortemente de modelos de fundação massivos, mas os modelos mais capazes (como o GPT-4) permaneceram fechados. Desenvolver um modelo de fronteira e de acesso aberto exige superar gargalos substanciais de engenharia em três pilares: curadoria de dados, escala de computação e gerenciamento de complexidade.

Os autores desenvolveram o Llama 3, uma família de modelos de linguagem multilíngues que abrange 8B, 70B e 405B de parâmetros, suportando janelas de contexto de até 128K, uso de ferramentas zero-shot e multi-step, raciocínio avançado e geração de código.

Ideias-chave

• Gerenciando a complexidade com arquitetura densa: Em vez de migrar para arquiteturas Mixture-of-Experts (MoE), os autores mantiveram um Transformer denso padrão (126 camadas, dimensão 16.384, 128 cabeças de atenção para o 405B) com Grouped-Query Attention (GQA) e RoPE com frequência base $\theta =500.000$ para maximizar a estabilidade do pré-treinamento.
• Escalonamento de dados e filtragem rigorosa: O pré-treinamento expandiu de 1,8T de tokens no Llama 2 para cerca de 15,6T de tokens em diversos domínios (~50% conhecimento geral, 25% matemática/raciocínio, 17% código, 8% multilíngue).
• Leis de escala previsíveis: Uma estrutura de leis de escala em dois estágios conecta a computação ao desempenho em tarefas downstream (como ARC Challenge) ao longo de quatro ordens de magnitude antes do início do treinamento.
• Pós-treinamento iterativo: Seis rodadas de alinhamento combinando Supervised Fine-Tuning (SFT), Rejection Sampling (RS) e Direct Preference Optimization (DPO) com geração direcionada de dados sintéticos.
• Paralelismo 4D e infraestrutura: Pré-treinamento do modelo de 405B em até 16K GPUs H100 usando uma combinação de Tensor Parallelism (TP), Context Parallelism (CP), Pipeline Parallelism (PP) e Fully Sharded Data Parallelism (FSDP/DP).

Método (com as equações principais)

1. Formulação da lei de escala

A alocação de tokens compute-optimal é modelada como uma função de lei de potência do orçamento de computação $C$:

$$N^{\star }(C)=A{C}^{\alpha }$$

Ajustes empíricos em orçamentos computacionais entre $6\times 10^{18}$ e $10^{22}$ FLOPs identificaram $(\alpha ,A)=(0,53;0,29)$. A extrapolação para o orçamento-alvo de $3,8\times 10^{25}$ FLOPs sugeriu o treinamento de um modelo de 402B de parâmetros em 16,55T de tokens, guiando a arquitetura final de 405B de parâmetros.

2. Extensão da janela de contexto e mascaramento de atenção

O escalonamento do contexto de 8K para 128K tokens ocorre em seis estágios contínuos de pré-treinamento ao longo de ~800B de tokens. Para evitar contaminação cruzada entre documentos empacotados dentro da mesma sequência de contexto longo, uma máscara de atenção de documento personalizada é aplicada.

O Context Parallelism (CP) divide as sequências de entrada em $2\times \text{CP}$ blocos, executando um padrão de comunicação all-gather sobre as representações de chave ($K$) e valor ($V$). Como a GQA reduz o tamanho de $K$ e $V$ em relação à consulta ($Q$), a sobrecarga de comunicação do all-gather $O(S)$ é insignificante em comparação com a computação da atenção $O(S^2)$.

3. Adaptações da Direct Preference Optimization (DPO)

Na otimização de preferências, tokens de formatação (cabeçalhos e marcadores de término) são explicitamente mascarados na perda da DPO para evitar caudas repetitivas ou paradas prematuras. Além disso, um termo de regularização auxiliar de log-verossimilhança negativa (NLL) é adicionado à sequência escolhida:

$${\mathcal{L}}_{\text{reg}}=0,2\cdot {\mathcal{L}}_{\text{NLL}}(\text{chosen})$$

Resultados (com os números mais importantes)

• Benchmarks do modelo principal de 405B:
  • MMLU (5-shot): 87,3% (0-shot CoT: 88,6%)
  • GSM8K (8-shot, CoT): 96,8%
  • MATH (0-shot, CoT): 73,8%
  • HumanEval (0-shot): 89,0%
  • ARC Challenge (0-shot): 96,9%
  • IFEval: 88,6%
• Modelos menores (8B e 70B): Ambos os modelos superam concorrentes de código aberto comparáveis (ex.: Gemma 2 9B, Mistral 7B, Mixtral 8x22B). Por exemplo, o Llama 3 8B atinge 73,0% em MMLU 0-shot CoT e 84,5% no GSM8K.
• Contexto longo: Recuperação perfeita de 100% no teste Needle-In-A-Haystack simples de até 128K tokens e 98,1% na recuperação multi-needle para o modelo de 405B.
• Eficiência de pré-treinamento: O Model FLOPs Utilization (MFU) em BF16 atingiu 38–43% entre as configurações em 16.384 GPUs H100, mantendo mais de 90% de tempo de treinamento efetivo em uma janela observada de 54 dias, apesar de 466 interrupções.

Limitações e questões em aberto

• Confiabilidade do hardware e flutuações de escala: Na escala de 16K GPUs, as interrupções de hardware ocorreram, em média, várias vezes ao dia (78% das interrupções inesperadas decorreram de problemas de hardware/GPU). Flutuações simultâneas de energia de dezenas de megawatts durante o checkpointing ou etapas coletivas sobrecarregam as redes elétricas dos datacenters.
• Lacuna de robustez adversária: Embora resiliente em benchmarks de paráfrase (PAWS), benchmarks adversários de raciocínio matemático e QA (GSM-Plus, Adv SQuAD) demonstram degradação significativa em comparação com benchmarks não adversários.
• Disponibilidade multimodal: Adaptadores de visão e fala demonstraram capacidades competitivas em ambientes de pesquisa, mas foram mantidos sob desenvolvimento ativo e excluídos do lançamento público inicial.