Llama 2: Open Foundation and Fine-Tuned Chat Models

Guide de lecture

Problème et motivation

Alors que les modèles de fondation pré-entraînés en libre accès comme LLaMA-1, BLOOM et Falcon égalaient les performances brutes de modèles comme GPT-3, les assistants conversationnels commerciaux propriétaires (ex. ChatGPT, Claude) conservaient une avance considérable. Cet avantage découlait d'un alignement post-pré-entraînement intensif reposant sur l'instruction tuning et le Reinforcement Learning with Human Feedback (RLHF), qui requiert d'immenses ressources de calcul, des pipelines d'annotation propriétaires et du red-teaming. Meta a développé et rendu publics Llama 2 et Llama 2-Chat (en versions 7B, 13B et 70B paramètres, plus une variante 34B non diffusée) afin de démocratiser les modèles dialogiques alignés et d'offrir des méthodologies transparentes pour l'alignement et la sécurité.

Idées clés

• Pré-entraînement élargi : Pré-entraînement sur 2,0 billions de tokens (+40 % par rapport à Llama 1) avec un contexte doublé à 4 096 tokens, et intégration de la Grouped-Query Attention (GQA) pour les modèles 34B et 70B afin d'accélérer le décodage autorégressif.
• SFT axé sur la qualité : Démonstration que quelques dizaines de milliers d'annotations hautement qualitatives surpassent des millions d'exemples tiers bruités, limitant le SFT à 27 540 démonstrations rigoureusement sélectionnées.
• Double modèle de récompense (Dual Reward Modeling) : Entraînement de deux modèles de récompense distincts — l'un pour l'utilité (Helpfulness) et l'autre pour la sécurité (Safety) — pour éviter les tensions où les contraintes sécuritaires dégradent la pertinence des réponses.
• Alignement RLHF en deux étapes : Combinaison d'un ajustement itératif par Rejection Sampling (distillé à partir du 70B) suivi d'une optimisation par Proximal Policy Optimization (PPO).
• Ghost Attention (GAtt) : Technique de distillation de contexte appliquée aux dialogues multi-tours pour préserver les instructions système initiales sur plus de 20 tours de conversation sans dérive attentionnelle.

Méthode

Architecture de pré-entraînement

Llama 2 utilise une architecture Transformer autorégressive dotée de la pré-normalisation RMSNorm, des activations SwiGLU et des plongements positionnels rotatifs (RoPE), complétée par la GQA sur les modèles les plus imposants (34B et 70B). Les modèles ont été entraînés avec AdamW (${\beta }_1=0,9,{\beta }_2=0,95$), une décroissance du taux d'apprentissage en cosinus jusqu'à 10 %, un weight decay de 0,1 et un écrêtage des gradients (gradient clipping) de 1,0.

Modélisation de la récompense (Reward Modeling)

Des annotateurs humains expriment des préférences relatives sur une échelle à 4 points entre deux réponses échantillonnées. Les modèles de récompense sont initialisés à partir de checkpoints de chat pré-entraînés et optimisés via une perte de classement binaire augmentée d'une marge : $${\mathcal{L}}_{\text{ranking}}=-\log \left(\sigma \left(r_{\theta }(x,y_c)-r_{\theta }(x,y_r)-m(r)\right)\right)$$ où $x$ est le contexte du prompt, $y_c$ la réponse préférée, $y_r$ la réponse rejetée, et $m(r)$ une marge discrète proportionnelle à l'intensité de la préférence de l'annotateur.

Objectifs RLHF

L'optimisation s'effectue par Rejection Sampling (échantillonnage de $K$ complétions issues de la dernière politique et sélection de la réponse ayant la meilleure récompense) puis par PPO. L'objectif PPO maximise la récompense espérée tout en pénalisant la dérive de la politique via la divergence KL par rapport à la politique initiale ${\pi }_0$ : $$R(g\mid p)={\tilde{R}}_c(g\mid p)-\beta D_{\text{KL}}({\pi }_{\theta }(g\mid p)\parallel {\pi }_0(g\mid p))$$ où ${\tilde{R}}_c(g\mid p)$ est une combinaison par morceaux, blanchie et transformée en logits, des modèles de récompense de sécurité ($R_s$) et d'utilité ($R_h$) : $$R_c(g\mid p)=\{\begin{array}{ll}{R}_s(g\mid p)& \text{si }\text{textsc}is\_safety(p)\text{ ou }{R}_s(g\mid p)<0,15\\ R_h(g\mid p)& \text{sinon}\end{array}$$

Ghost Attention (GAtt)

Pour garantir la cohérence multi-tours, une instruction $inst$ est ajoutée artificiellement à chaque prompt utilisateur d'un dialogue existant. Les réponses sont générées avec la politique la plus récente, mais la perte est calculée exclusivement sur les tokens du tour visé (avec masquage de la perte sur les tours précédents), tout en ne conservant $inst$ qu'au tout premier tour lors de l'inférence.

Résultats

• Benchmarks des modèles de base : Llama 2 70B surpasse tous les modèles de base open-source, atteignant 68,9 sur MMLU (5-shot), 56,8 sur GSM8K (8-shot) et 51,2 sur Big-Bench Hard (3-shot), rivalisant directement avec GPT-3.5 et PaLM-540B.
• Évaluations humaines de dialogue : Lors d'évaluations humaines portant sur environ 4 000 requêtes, Llama 2-Chat 70B enregistre 36 % de victoires et 31,5 % d'égalités contre ChatGPT (gpt-3.5-turbo-0301). Llama 2-Chat 34B remporte plus de 75 % des confrontations directes face à Vicuna-33B et Falcon 40B.
• Sécurité et toxicité : L'alignement de sécurité de Llama 2-Chat réduit le taux de génération toxique sur ToxiGen de 24,60 % (pour le modèle de base 70B) à seulement 0,01 %, affichant des taux d'infraction aux consignes de sécurité inférieurs à ceux de ChatGPT et Falcon lors d'exercices de red-teaming humain.

Limites et questions ouvertes

• Programmation et raisonnement complexe : Llama 2 70B reste nettement en retrait par rapport à GPT-4 et PaLM-2-L sur les benchmarks de code (HumanEval pass@1 de 29,9 % contre 67,0 % pour GPT-4).
• Diversité linguistique : Environ 89,7 % des données de pré-entraînement sont en anglais, ce qui rend les performances du modèle et son alignement sécuritaire fragiles dans d'autres langues.
• Refus injustifiés (False Refusals) et sur-conservatisme : Le réglage poussé de la sécurité induit des refus erronés sur des requêtes inoffensives contenant des termes sensibles (par exemple des requêtes bénignes évoquant « bomb » ou « Christmas Crack »).
• Report de la publication du modèle 34B : La variante 34B n'a pas été diffusée publiquement en raison de délais insuffisants pour finaliser son red-teaming avant la publication.