LLaMA: Modelos de Lenguaje Fundacionales Abiertos y Eficientes

Guía de lectura

Problema y motivación

Las leyes de escala estándar (como Chinchilla) calculan el compromiso óptimo entre el tamaño de los parámetros y el volumen del conjunto de datos para un presupuesto computacional de entrenamiento fijo. Sin embargo, este planteamiento pasa por alto el presupuesto de inferencia, el cual domina el coste operativo a lo largo del ciclo de vida del despliegue de los modelos de lenguaje. Para la eficiencia en inferencia, son preferibles los modelos más pequeños entrenados con una cantidad de datos significativamente superior a la recomendada por las directrices de óptimo computacional, ya que son sustancialmente más económicos de alojar y ejecutar.

Además, los modelos en el estado del arte más destacados (como GPT-3, Chinchilla y PaLM) dependen de conjuntos de datos privados y no reproducibles o de arquitecturas prohibitivamente grandes. LLaMA demuestra que se pueden entrenar modelos fundacionales competitivos utilizando exclusivamente datos disponibles de forma pública, permitiendo su distribución abierta a los investigadores.

Ideas clave

• Entrenamiento centrado en la inferencia: En lugar de detener el entrenamiento en tamaños de datos de óptimo computacional (p. ej., ~200B de tokens para un modelo de 10B), LLaMA entrena modelos de 7B y 13B con 1.0T de tokens, y modelos de 33B y 65B con 1.4T de tokens.
• Solo conjuntos de datos abiertos: Todos los datos de preentrenamiento se extraen de fuentes públicas: CommonCrawl (67%), C4 (15%), GitHub (4.5%), Wikipedia (4.5%), Books (4.5%), ArXiv (2.5%) y Stack Exchange (2%).
• Arquitectura Transformer modernizada: Incorpora pre-normalización con RMSNorm para mayor estabilidad, activaciones SwiGLU y Rotary Positional Embeddings (RoPE) en lugar de posiciones absolutas.
• Eficiencia de ingeniería: Emplea atención con uso eficiente de memoria (vía xformers), checkpointing de activaciones personalizado y paralelismo de secuencias y modelos.

Método

LLaMA utiliza un decodificador Transformer autorregresivo con modificaciones:

1. Pre-normalización: Normalización de la entrada mediante RMSNorm antes de cada subcapa: $${\bar{a}}_i=\frac{a_i}{\text{RMS}(\mathbf{a})}{g}_i,\text{donde }\text{RMS}(\mathbf{a})=\sqrt{\frac{1}{d}\sum _{i=1}^d{a}_i^2}$$
2. Activación SwiGLU: Reemplaza las activaciones estándar ReLU/GELU con SwiGLU, dimensionando la capa intermedia a $\frac{2}{3}4d$ en lugar de $4d$.
3. Rotary Embeddings (RoPE): Se aplica en cada capa para codificar posiciones relativas sin necesidad de incrustaciones posicionales absolutas.
4. Optimización: AdamW con ${\beta }_1=0.9,{\beta }_2=0.95$, decaimiento de pesos (weight decay) de $0.1$, recorte de gradientes (gradient clipping) de $1.0$, $2\text{,}000$ pasos de calentamiento (warmup), y un esquema de tasa de aprendizaje por coseno que decae hasta el 10% de la tasa máxima. El tamaño de lote (batch size) es de 4M de tokens en todas las escalas de modelo.

La estimación del consumo energético y de la huella de carbono a lo largo de las sesiones de entrenamiento sigue: $$\text{Wh}=\text{GPU-h}\times (\text{consumo de energıˊa de la GPU})\times \text{PUE}$$ $${\text{tCO}}_2\text{eq}=\text{MWh}\times 0.385$$

Resultados

• Razonamiento de sentido común: LLaMA-13B supera a GPT-3 (175B) en múltiples benchmarks (p. ej., 78.1% vs 60.5% en BoolQ; 73.0% vs 70.2% en WinoGrande). LLaMA-65B iguala o supera a PaLM-540B en PIQA (82.8% vs 82.3%) y HellaSwag (84.2% vs 83.4%).
• QA de libro cerrado: En TriviaQA (0-shot), LLaMA-65B alcanza el 68.2% y LLaMA-13B alcanza el 56.6% (superando el rendimiento comparable de GPT-3 mientras se ejecuta en una sola GPU V100).
• Generación de código: En HumanEval (pass@1), LLaMA-65B logra un 23.7%, superando a PaLM-62B (15.9%) e igualando a PaLM-cont 62B (23.7%).
• MMLU y ajuste por instrucciones: LLaMA-65B base alcanza una precisión de 63.4% en 5-shot en MMLU (por detrás del 69.3% de PaLM-540B, probablemente debido a corpus de libros de preentrenamiento más reducidos). Sin embargo, el ajuste fino por instrucciones en prompts básicos (LLaMA-I 65B) eleva el rendimiento al 68.9%.

Limitaciones y preguntas abiertas

• Alucinación y veracidad: Las puntuaciones en TruthfulQA continúan siendo modestas (LLaMA-65B obtiene 0.57 en Truthful y 0.53 en Truthful*Informative), mostrando una propensión persistente a alucinar.
• Escalado de toxicidad: En RealToxicityPrompts, la toxicidad aumenta con el tamaño del modelo, especialmente en prompts respetuosos (0.141 para 65B vs 0.081 para 7B).
• Brecha de conocimiento académico: El rendimiento en MMLU quedó rezagado respecto a Chinchilla-70B y PaLM-540B, lo cual los autores atribuyen a haber entrenado con solo ~177GB de libros y artículos académicos frente a los ~2TB de los conjuntos propietarios.