LLaMA: Open and Efficient Foundation Language Models

Hugo Touvron; Thibaut Lavril; Gautier Izacard; Xavier Martinet; Marie-Anne Lachaux; Timothée Lacroix; Baptiste Rozière; Naman Goyal; Eric Hambro; Faisal Azhar; Aurelien Rodriguez; Armand Joulin; Edouard Grave; Guillaume Lample

Articles · arXiv 2302.13971

LLaMA : Modèles de langage fondationnels ouverts et efficaces

LLaMA: Open and Efficient Foundation Language Models

Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin et al.

Publié le 2023-02-27cs.CL arXiv PDF

Lire avec traduction et IA

Résumé en trois lignes

🎯 La plupart des LLM de pointe reposent sur un nombre massif de paramètres ou des jeux de données propriétaires, engendrant des coûts d'inférence élevés et des barrières d'accès pour la recherche.
🔧 Entraînement de modèles Transformer compacts (7B à 65B) sur 1,0T à 1,4T de tokens en utilisant uniquement des données open source, RMSNorm, SwiGLU et RoPE.
📈 LLaMA-13B surpasse GPT-3 (175B) sur la plupart des benchmarks, tandis que LLaMA-65B atteint 68,9 % sur MMLU après un simple fine-tuning d'instructions.

Résumé

Nous présentons LLaMA, une collection de modèles de langage fondationnels allant de 7B à 65B paramètres. Nous entraînons nos modèles sur des milliers de milliards de tokens et montrons qu'il est possible d'entraîner des modèles à l'état de l'art en utilisant exclusivement des jeux de données publiquement disponibles, sans recourir à des données propriétaires et inaccessibles. En particulier, LLaMA-13B surpasse GPT-3 (175B) sur la plupart des benchmarks, et LLaMA-65B est compétitif avec les meilleurs modèles, Chinchilla-70B et PaLM-540B. Nous mettons l'ensemble de nos modèles à disposition de la communauté de recherche.

Résumé original (anglais)

We introduce LLaMA, a collection of foundation language models ranging from 7B to 65B parameters. We train our models on trillions of tokens, and show that it is possible to train state-of-the-art models using publicly available datasets exclusively, without resorting to proprietary and inaccessible datasets. In particular, LLaMA-13B outperforms GPT-3 (175B) on most benchmarks, and LLaMA-65B is competitive with the best models, Chinchilla-70B and PaLM-540B. We release all our models to the research community.

Guide de lecture

Problème et motivation

Les lois d'échelle standards (telles que Chinchilla) calculent le compromis optimal entre le nombre de paramètres et la taille du jeu de données pour un budget de calcul d'entraînement fixe. Cependant, cette approche néglige le budget d'inférence, qui domine le coût opérationnel global du déploiement des modèles de langage en production. Pour optimiser l'efficacité lors de l'inférence, les modèles plus petits entraînés sur beaucoup plus de données que ce que recommandent les directives compute-optimal sont préférables, car ils sont nettement moins coûteux à héberger et à exécuter.

De plus, les modèles phares à l'état de l'art (comme GPT-3, Chinchilla et PaLM) dépendent de jeux de données privés et non reproductibles ou d'architectures excessivement volumineuses. LLaMA démontre que des modèles fondationnels compétitifs peuvent être entraînés exclusivement sur des données publiques, permettant ainsi une distribution ouverte aux chercheurs.

Idées clés

Entraînement axé sur l'inférence : Plutôt que d'arrêter l'entraînement aux tailles de données optimales en calcul (par exemple, ~200B de tokens pour un modèle 10B), LLaMA entraîne les modèles 7B et 13B sur 1,0T de tokens, et les modèles 33B et 65B sur 1,4T de tokens.
Uniquement des jeux de données ouverts : Toutes les données de pré-entraînement proviennent de sources publiques : CommonCrawl (67 %), C4 (15 %), GitHub (4,5 %), Wikipedia (4,5 %), Books (4,5 %), ArXiv (2,5 %) et Stack Exchange (2 %).
Architecture Transformer modernisée : Intègre une pré-normalisation avec RMSNorm pour la stabilité, des activations SwiGLU, et des plongements positionnels rotatifs (Rotary Positional Embeddings, RoPE) à la place des positions absolues.
Efficacité d'ingénierie : Utilise une attention efficace en mémoire (via xformers), du checkpointing d'activation personnalisé, ainsi qu'un parallélisme de modèle et de séquence.

Méthode

LLaMA utilise un décodeur Transformer autorégressif avec plusieurs modifications :

Pré-normalisation : Normalisation des entrées avec RMSNorm avant chaque sous-couche : $\overset{a}{ˉ}_{i} = \frac{a _{i}}{RMS ( a )} g_{i}, o \overset{u}{ˋ} RMS (a) = \frac{1}{d} i = 1 \sum d a_{i}^{2}$
Activation SwiGLU : Remplace les activations standard ReLU/GELU par SwiGLU, en dimensionnant la couche intermédiaire à $\frac{2}{3} 4 d$ au lieu de $4 d$ .
Plongements rotatifs (RoPE) : Appliqués à chaque couche pour encoder les positions relatives sans utiliser de plongements positionnels absolus.
Optimisation : AdamW avec $β_{1} = 0, 9, β_{2} = 0, 95$ , un weight decay de $0, 1$ , un écrêtage du gradient (gradient clipping) de $1, 0$ , $2, 000$ étapes de warmup, et un ordonnancement de taux d'apprentissage en cosinus décroissant jusqu'à 10 % du taux d'apprentissage maximal. La taille de lot (batch size) est de 4M de tokens pour toutes les échelles de modèles.

L'estimation de l'empreinte énergétique et carbone tout au long des entraînements suit la formule : $Wh = GPU-h \times (consommation \overset{e}{ˊ} lectrique du GPU) \times PUE$ $tCO_{2} eq = MWh \times 0, 385$

Résultats

Raisonnement de sens commun : LLaMA-13B dépasse GPT-3 (175B) sur plusieurs benchmarks (ex. 78,1 % contre 60,5 % sur BoolQ ; 73,0 % contre 70,2 % sur WinoGrande). LLaMA-65B égale ou surpasse PaLM-540B sur PIQA (82,8 % contre 82,3 %) et HellaSwag (84,2 % contre 83,4 %).
QA en livre fermé (Closed-book QA) : Sur TriviaQA (0-shot), LLaMA-65B atteint 68,2 %, et LLaMA-13B atteint 56,6 % (surpassant les performances comparables de GPT-3 tout en fonctionnant sur un seul GPU V100).
Génération de code : Sur HumanEval (pass@1), LLaMA-65B atteint 23,7 %, surpassant PaLM-62B (15,9 %) et égalant PaLM-cont 62B (23,7 %).
MMLU et instruction finetuning : La version de base de LLaMA-65B atteint une précision 5-shot de 63,4 % sur MMLU (derrière les 69,3 % de PaLM-540B, probablement en raison d'un corpus de livres plus restreint lors du pré-entraînement). Cependant, le réglage fin par instructions sur des prompts basiques (LLaMA-I 65B) fait grimper la performance à 68,9 %.

Limites et questions ouvertes

Hallucination et véracité : Les résultats sur TruthfulQA restent modestes (LLaMA-65B obtient 0,57 sur Truthful et 0,53 sur Truthful*Informative), montrant une tendance continue aux hallucinations.
Évolution de la toxicité : Sur RealToxicityPrompts, la toxicité augmente avec la taille du modèle, particulièrement sur les prompts respectueux (0,141 pour 65B contre 0,081 pour 7B).
Écart de connaissances académiques : Les performances sur MMLU sont en retrait par rapport à Chinchilla-70B et PaLM-540B, ce que les auteurs attribuent à un entraînement portant seulement sur ~177 Go de livres et d'articles académiques, contre ~2 To pour les jeux de données propriétaires.

Termes clés

LLaMA: Une collection de modèles de langage fondationnels allant de 7B à 65B paramètres entraînés sur un maximum de 1,4 billion de tokens en utilisant exclusivement des jeux de données publics.
Inference Budget: Le coût de calcul et la latence induits lors du déploiement d'un modèle entraîné, optimisés en entraînant des modèles plus petits sur davantage de tokens.
RMSNorm: Normalisation de couche par racine de la moyenne des carrés (Root Mean Square Layer Normalization), utilisée pour normaliser les entrées des sous-couches du Transformer afin de stabiliser l'entraînement.
SwiGLU: Une variante d'unité linéaire à porte (Gated Linear Unit) utilisant la fonction d'activation Swish, dimensionnée avec une taille cachée de 2/3 * 4d.
Rotary Positional Embeddings (RoPE): Une technique qui injecte des informations de position relative dans les couches d'attention du Transformer en appliquant une rotation aux représentations des requêtes (queries) et des clés (keys).
xformers: Une bibliothèque open source fournissant une implémentation efficace de l'attention multi-têtes causale qui évite de stocker de grandes matrices de poids d'attention.
LLaMA-I: La version ajustée sur des instructions (instruction-finetuned) de LLaMA-65B entraînée selon le protocole Flan pour améliorer le suivi d'instructions et les performances sur MMLU.
TruthfulQA: Un benchmark mesurant la propension d'un LLM à imiter les faussetés humaines et les hallucinations sur un ensemble de questions factuelles adverses.

Questions

Quels jeux de données ont été utilisés pour pré-entraîner LLaMA ?

Le pré-entraînement a utilisé exclusivement des données publiques : CommonCrawl en anglais (67 %), C4 (15 %), GitHub (4,5 %), Wikipedia en 20 langues (4,5 %), Gutenberg et Books3 (4,5 %), ArXiv (2,5 %) et Stack Exchange (2 %).

Comment LLaMA-13B se compare-t-il à GPT-3 (175B) ?

LLaMA-13B surpasse GPT-3 sur la plupart des benchmarks standards — notamment BoolQ, PIQA et WinoGrande — tout en étant plus de 10 fois plus petit et capable de tourner en inférence sur un seul GPU grand public ou de centre de données.

Combien de temps a duré l'entraînement de LLaMA-65B ?

L'entraînement de LLaMA-65B sur 1,4 billion de tokens a traité environ 380 tokens/sec/GPU sur 2 048 GPU A100 de 80 Go, s'achevant en environ 21 jours.

Quelles modifications architecturales LLaMA apporte-t-il par rapport au Transformer d'origine ?

LLaMA applique une pré-normalisation RMSNorm aux entrées des sous-couches, remplace ReLU par des activations SwiGLU (dimension 2/3 * 4d) et substitue les plongements positionnels absolus par des plongements de position rotatifs (RoPE).

La présentation de cette page a été rédigée par une IA à partir de l'article et peut contenir des erreurs. Consultez l'article pour les détails.

Lire avec traduction et IA