Llama 2: Modelos base y de chat abiertos y ajustados

Guía de lectura

Problema y motivación

Aunque los modelos fundacionales preentrenados de acceso abierto como LLaMA-1, BLOOM y Falcon igualaban el rendimiento base sin procesar de modelos como GPT-3, los asistentes de chat comerciales cerrados (p. ej., ChatGPT, Claude) mantenían una ventaja significativa. Esta ventaja de rendimiento se derivaba de una intensa alineación posterior al preentrenamiento mediante ajuste por instrucciones y aprendizaje por refuerzo con retroalimentación humana (Reinforcement Learning with Human Feedback, RLHF), lo que requiere una enorme capacidad de cómputo, pipelines de anotación propietarios y ejercicios de red-teaming. Meta desarrolló y publicó abiertamente Llama 2 y Llama 2-Chat (parámetros de 7B, 13B y 70B, además de una variante de 34B no publicada) para democratizar los modelos de diálogo alineados y ofrecer metodologías transparentes de alineación y seguridad.

Ideas clave

• Preentrenamiento ampliado: Preentrenado con 2.0 billones de tokens (un incremento del 40% respecto a Llama 1) con un contexto duplicado a 4,096 tokens, e introducción de Grouped-Query Attention (GQA) para los modelos de 34B y 70B con el fin de acelerar la decodificación autorregresiva.
• SFT centrado en la calidad: Demuestra que decenas de miles de anotaciones de proveedores de alta calidad superan a millones de ejemplos ruidosos de terceros, limitando el SFT a 27,540 demostraciones rigurosamente seleccionadas.
• Modelado de recompensa dual: Entrena dos modelos de recompensa distintos (uno para utilidad y otro para seguridad) para evitar tensiones en las que las restricciones de seguridad degraden la utilidad.
• Alineación RLHF en dos etapas: Combina el ajuste fino iterativo por muestreo de rechazo (destilado a partir del modelo de 70B) con una optimización posterior mediante Proximal Policy Optimization (PPO).
• Ghost Attention (GAtt): Una técnica de destilación de contexto aplicada en diálogos de múltiples turnos para preservar instrucciones del sistema persistentes a lo largo de más de 20 turnos de conversación sin desvanecimiento de las instrucciones.

Método

Arquitectura de preentrenamiento

Llama 2 utiliza una arquitectura transformer autorregresiva con prenormalización RMSNorm, activaciones SwiGLU e incrustaciones posicionales rotatorias (RoPE), agregando GQA en las escalas más grandes (34B y 70B). Los modelos se entrenaron con AdamW (${\beta }_1=0.9,{\beta }_2=0.95$), decaimiento de tasa de aprendizaje por coseno hasta el 10%, decaimiento de pesos de 0.1 y recorte de gradientes (gradient clipping) de 1.0.

Modelado de recompensa

Los anotadores humanos proporcionan preferencias comparativas en una escala de 4 puntos entre dos respuestas muestreadas. Los modelos de recompensa se inicializan a partir de checkpoints de chat preentrenados y se optimizan con una pérdida de clasificación binaria aumentada con margen: $${\mathcal{L}}_{\text{ranking}}=-\log \left(\sigma \left(r_{\theta }(x,y_c)-r_{\theta }(x,y_r)-m(r)\right)\right)$$ donde $x$ es el contexto del prompt, $y_c$ es la respuesta preferida, $y_r$ es la respuesta rechazada y $m(r)$ es un margen discreto que depende de la intensidad de preferencia del anotador.

Objetivos de RLHF

La optimización se realiza mediante muestreo de rechazo (muestreando $K$ completados a partir de la política más reciente y seleccionando la salida de mayor recompensa) y PPO. El objetivo de PPO maximiza la recompensa esperada al tiempo que penaliza la deriva de la política mediante la divergencia KL frente a la política inicial ${\pi }_0$: $$R(g\mid p)={\tilde{R}}_c(g\mid p)-\beta D_{\text{KL}}({\pi }_{\theta }(g\mid p)\parallel {\pi }_0(g\mid p))$$ donde ${\tilde{R}}_c(g\mid p)$ es una combinación por tramos blanqueada y transformada por logit de los modelos de recompensa de seguridad ($R_s$) y utilidad ($R_h$): $$R_c(g\mid p)=\{\begin{array}{ll}{R}_s(g\mid p)& \text{si }\text{textsc}is\_safety(p)\text{ o }{R}_s(g\mid p)<0.15\\ R_h(g\mid p)& \text{en caso contrario}\end{array}$$

Ghost Attention (GAtt)

Para forzar la coherencia en múltiples turnos, la instrucción $inst$ se añade sintéticamente a cada prompt de usuario en un diálogo existente. Las respuestas se muestrean a partir de la política más reciente, pero la pérdida se calcula exclusivamente sobre los tokens del turno objetivo (anulando la pérdida en turnos anteriores) mientras se conserva $inst$ únicamente en el primer turno durante la inferencia.

Resultados

• Benchmarks de modelos base: Llama 2 70B supera a todos los modelos base de código abierto, alcanzando 68.9 en MMLU (5-shot), 56.8 en GSM8K (8-shot) y 51.2 en Big-Bench Hard (3-shot), rivalizando con GPT-3.5 y PaLM-540B.
• Evaluaciones humanas de diálogo: En evaluaciones humanas que abarcaron ~4,000 prompts, Llama 2-Chat 70B obtuvo una tasa de victorias del 36% y de empate del 31.5% frente a ChatGPT (gpt-3.5-turbo-0301). Llama 2-Chat 34B ganó más del 75% de las comparaciones directas contra Vicuna-33B y Falcon 40B.
• Seguridad y toxicidad: Llama 2-Chat alineado con seguridad redujo las tasas de generación tóxica en ToxiGen del 24.60% (base 70B) al 0.01%, mostrando porcentajes de infracción de seguridad más bajos que ChatGPT y Falcon en benchmarks de red-teaming humano.

Limitaciones y preguntas abiertas

• Código y razonamiento complejo: Llama 2 70B se sitúa sustancialmente por detrás de GPT-4 y PaLM-2-L en benchmarks de programación (pass@1 en HumanEval del 29.9% frente al 67.0% de GPT-4).
• Cobertura lingüística: Aproximadamente el 89.7% de los datos de preentrenamiento está en inglés, lo que vuelve frágil el rendimiento y la alineación de seguridad del modelo en otros idiomas.
• Falsos rechazos y conservadurismo excesivo: El riguroso ajuste de seguridad introduce falsos rechazos en prompts límite (p. ej., negarse a responder consultas benignas que mencionan palabras como 'bomba' o 'Christmas Crack').
• Retención del lanzamiento de 34B: La variante del modelo de 34B no se publicó de forma abierta debido a la falta de tiempo suficiente para realizar ejercicios de red-teaming antes de la publicación.