Llama 2: Modelos Fundacionais e de Chat Ajustados Abertos

Guia de leitura

Problema e motivação

Embora modelos fundacionais pré-treinados de acesso aberto como LLaMA-1, BLOOM e Falcon tenham igualado o desempenho bruto de base de modelos como o GPT-3, assistentes de chat comerciais fechados (por exemplo, ChatGPT, Claude) mantiveram uma liderança significativa. Essa vantagem de desempenho originou-se do intenso alinhamento pós-pré-treinamento via ajuste de instruções e Aprendizado por Reforço com Feedback Humano (RLHF), o qual requer computação massiva, pipelines de anotação proprietários e red-teaming. A Meta desenvolveu e lançou publicamente o Llama 2 e o Llama 2-Chat (parâmetros de 7B, 13B e 70B, além de uma variante de 34B não lançada) para democratizar modelos de diálogo alinhados e fornecer metodologias transparentes de alinhamento e segurança.

Ideias centrais

• Pré-treinamento expandido: Pré-treinado em 2,0 trilhões de tokens (um aumento de 40% em relação ao Llama 1) com contexto duplicado para 4.096 tokens, além da introdução da Grouped-Query Attention (GQA) para os modelos de 34B e 70B a fim de acelerar a decodificação autorregressiva.
• SFT focado em qualidade: Demonstra que dezenas de milhares de anotações de alta qualidade de fornecedores superam milhões de exemplos ruidosos de terceiros, limitando o SFT a 27.540 demonstrações curadas.
• Modelagem de recompensa dupla: Treina dois modelos de recompensa distintos — um para Prestatividade (Helpfulness) e outro para Segurança (Safety) — para evitar o conflito em que restrições de segurança degradam a utilidade.
• Alinhamento RLHF em dois estágios: Combina o ajuste fino iterativo por Amostragem de Rejeição (Rejection Sampling, destilado do modelo de 70B) com a subsequente Otimização de Política Proximal (PPO).
• Ghost Attention (GAtt): Uma técnica de destilação de contexto aplicada em diálogos de múltiplos turnos para preservar instruções de sistema persistentes ao longo de mais de 20 turnos de conversação sem atenuação de instruções.

Método

Arquitetura de pré-treinamento

O Llama 2 utiliza uma arquitetura transformer autorregressiva com pré-normalização RMSNorm, ativações SwiGLU e embeddings posicionais rotativos (RoPE), com GQA adicionada para escalas maiores (34B e 70B). Os modelos foram treinados com AdamW (${\beta }_1=0,9,{\beta }_2=0,95$), decaimento de taxa de aprendizado por cosseno até 10%, decaimento de peso de 0,1 e recorte de gradiente (gradient clipping) de 1,0.

Modelagem de recompensa

Anotadores humanos fornecem preferências comparativas em uma escala de 4 pontos entre duas respostas amostradas. Os modelos de recompensa são inicializados a partir de checkpoints pré-treinados de chat e otimizados com uma perda de ranqueamento binária aumentada por margem: $${\mathcal{L}}_{\text{ranking}}=-\log \left(\sigma \left(r_{\theta }(x,y_c)-r_{\theta }(x,y_r)-m(r)\right)\right)$$ onde $x$ é o contexto do prompt, $y_c$ é a resposta preferida, $y_r$ é a resposta rejeitada e $m(r)$ é uma margem discreta dependente da intensidade de preferência do anotador.

Objetivos de RLHF

A otimização é realizada por meio de Amostragem de Rejeição (amostrando $K$ continuações a partir da política mais recente e escolhendo a continuação com maior recompensa) e PPO. O objetivo do PPO maximiza a recompensa esperada enquanto penaliza o desvio de política via divergência KL em relação à política inicial ${\pi }_0$: $$R(g\mid p)={\tilde{R}}_c(g\mid p)-\beta D_{\text{KL}}({\pi }_{\theta }(g\mid p)\parallel {\pi }_0(g\mid p))$$ onde ${\tilde{R}}_c(g\mid p)$ é uma combinação por partes, branqueada e transformada por logit, dos modelos de recompensa de segurança ($R_s$) e prestatividade ($R_h$): $$R_c(g\mid p)=\{\begin{array}{ll}{R}_s(g\mid p)& \text{se }\text{textsc}is\_safety(p)\text{ ou }{R}_s(g\mid p)<0,15\\ R_h(g\mid p)& \text{caso contraˊrio}\end{array}$$

Ghost Attention (GAtt)

Para forçar a consistência multiturno, a instrução $inst$ é anexada sinteticamente a cada prompt de usuário em um diálogo existente. As respostas são amostradas a partir da política mais recente, mas a perda é calculada exclusivamente nos tokens do turno-alvo (zerando a perda em turnos anteriores), mantendo $inst$ apenas no primeiro turno durante a inferência.

Resultados

• Benchmarks de modelos base: O Llama 2 70B supera todos os modelos base de código aberto, atingindo 68,9 no MMLU (5-shot), 56,8 no GSM8K (8-shot) e 51,2 no Big-Bench Hard (3-shot), rivalizando com o GPT-3.5 e o PaLM-540B.
• Avaliações humanas de diálogo: Em avaliações humanas abrangendo cerca de 4.000 prompts, o Llama 2-Chat 70B obteve uma taxa de vitória de 36% e uma taxa de empate de 31,5% contra o ChatGPT (gpt-3.5-turbo-0301). O Llama 2-Chat 34B venceu mais de 75% das comparações diretas contra o Vicuna-33B e o Falcon 40B.
• Segurança e toxicidade: O Llama 2-Chat alinhado para segurança reduziu as taxas de geração tóxica no ToxiGen de 24,60% (base 70B) para 0,01%, exibindo percentuais menores de violação de segurança do que o ChatGPT e o Falcon em benchmarks humanos de red-team.

Limitações e questões em aberto

• Codificação e raciocínio complexo: O Llama 2 70B fica substancialmente atrás do GPT-4 e do PaLM-2-L em benchmarks de código (HumanEval pass@1 de 29,9% contra 67,0% do GPT-4).
• Cobertura de idiomas: Aproximadamente 89,7% dos dados de pré-treinamento estão em inglês, tornando o desempenho do modelo e o alinhamento de segurança frágeis em outros idiomas.
• Recusas falsas e conservadorismo excessivo: O ajuste rigoroso de segurança introduz recusas falsas em prompts limítrofes (por exemplo, recusar consultas benignas que mencionam termos como 'bomba' ou 'Christmas Crack').
• Atraso no lançamento do 34B: A variante de 34B do modelo não foi disponibilizada publicamente devido ao tempo insuficiente para red-teaming antes da publicação.