The Llama 3 Herd of Models

Leseleitfaden

Problem und Motivation

Moderne Systeme der künstlichen Intelligenz stützen sich stark auf massive Basismodelle, doch die leistungsfähigsten Modelle (wie GPT-4) blieben bislang proprietär und geschlossen. Der Aufbau eines frei zugänglichen Modells der Spitzenklasse erfordert die Überwindung enormer technischer Engpässe über drei Grundpfeiler hinweg: Datenkuration, Rechenskalierung und Beherrschung der Systemkomplexität.

Die Autoren entwickeln Llama 3, eine Familie mehrsprachiger Sprachmodelle mit 8B, 70B und 405B Parametern, die Kontextfenster von bis zu 128K Tokens, Zero-Shot- und mehrschrittigen Tool Use, fortgeschrittenes logisches Schließen (Reasoning) sowie Codegenerierung unterstützen.

Zentrale Ideen

• Beherrschung der Komplexität mit dichter Architektur: Anstatt auf Mixture-of-Experts (MoE)-Architekturen umzusteigen, bleiben die Autoren bei einem standardmäßigen dichten Transformer (126 Schichten, Dimension 16.384, 128 Attention Heads für 405B) mit Grouped-Query Attention (GQA) und RoPE mit einer Basisfrequenz von $\theta =500.000$, um die Stabilität des Vortrainings zu maximieren.
• Datenskalierung und rigide Filterung: Das Pre-Training expandiert von 1,8T Tokens bei Llama 2 auf rund 15,6T Tokens über diverse Domänen hinweg (~50 % Allgemeinwissen, 25 % Mathematik/Reasoning, 17 % Code, 8 % Mehrsprachigkeit).
• Vorhersagbare Skalierungsgesetze (Scaling Laws): Ein zweistufiges Skalierungsgesetz-Framework verknüpft die Rechenleistung über vier Größenordnungen hinweg mit der Leistung bei nachgelagerten Aufgaben (wie dem ARC Challenge), noch bevor das eigentliche Training beginnt.
• Iteratives Post-Training: Sechs Alignment-Runden, die Supervised Fine-Tuning (SFT), Rejection Sampling (RS) und Direct Preference Optimization (DPO) mit gezielter Generierung synthetischer Daten kombinieren.
• 4D-Parallelität & Infrastruktur: Vortraining des 405B-Modells auf bis zu 16K H100-GPUs unter Verwendung einer Kombination aus Tensor Parallelism (TP), Context Parallelism (CP), Pipeline Parallelism (PP) und Fully Sharded Data Parallelism (FSDP/DP).

Methode (mit den wichtigsten Gleichungen)

1. Formulierung der Skalierungsgesetze

Die rechenoptimale Token-Zuweisung wird als Potenzgesetz-Funktion des Rechenbudgets $C$ modelliert:

$$N^{\star }(C)=A{C}^{\alpha }$$

Empirische Anpassungen über Rechenbudgets zwischen $6\times 10^{18}$ und $10^{22}$ FLOPs ergaben $(\alpha ,A)=(0,53;0,29)$. Die Extrapolation auf das Zielbudget von $3,8\times 10^{25}$ FLOPs legte das Training eines Modells mit 402B Parametern auf 16,55T Tokens nahe, was die finale Architektur von 405B Parametern leitete.

2. Kontextfenster-Erweiterung und Attention-Maskierung

Die Skalierung des Kontexts von 8K auf 128K Tokens erfolgt in sechs kontinuierlichen Pre-Training-Stufen über rund 800B Tokens. Um eine gegenseitige Verfälschung (Cross-Contamination) zwischen Dokumenten zu verhindern, die in denselben langen Kontext gepackt sind, wird eine benutzerdefinierte Dokument-Attention-Maske angewendet.

Context Parallelism (CP) teilt Eingabesequenzen in $2\times \text{CP}$ Abschnitte und führt ein All-Gather-Kommunikationsmuster über Key ($K$)- und Value ($V$)-Repräsentationen aus. Da GQA die Größe von $K$ und $V$ im Vergleich zu den Queries ($Q$) reduziert, ist der Kommunikationsaufwand des All-Gather $O(S)$ im Vergleich zur Attention-Berechnung $O(S^2)$ vernachlässigbar gering.

3. Anpassungen der Direct Preference Optimization (DPO)

Bei der Präferenzoptimierung werden Formatierungs-Tokens (Header und Abbruchmarkierungen) explizit von der DPO-Loss-Funktion maskiert, um repetitive Ausgaben am Ende oder vorzeitige Abbrüche zu verhindern. Zudem wird der gewählten Sequenz ein zusätzlicher Regularisierungsterm auf Basis der negativen Log-Likelihood (NLL) hinzugefügt:

$${\mathcal{L}}_{\text{reg}}=0,2\cdot {\mathcal{L}}_{\text{NLL}}(\text{chosen})$$

Ergebnisse (mit den wichtigsten Zahlen)

• Benchmarks des Flaggschiffmodells 405B:
  • MMLU (5-shot): 87,3 % (0-shot CoT: 88,6 %)
  • GSM8K (8-shot, CoT): 96,8 %
  • MATH (0-shot, CoT): 73,8 %
  • HumanEval (0-shot): 89,0 %
  • ARC Challenge (0-shot): 96,9 %
  • IFEval: 88,6 %
• Kleinere Modelle (8B und 70B): Beide Modelle übertreffen vergleichbare Open-Source-Konkurrenten (z. B. Gemma 2 9B, Mistral 7B, Mixtral 8x22B). Beispielsweise erreicht Llama 3 8B 73,0 % bei 0-shot CoT MMLU und 84,5 % auf GSM8K.
• Langer Kontext: Perfekter 100%-Retrieval beim Einzel-Needle-In-A-Haystack bis zu 128K Tokens und 98,1 % beim Multi-Needle-Recall für das 405B-Modell.
• Pre-Training-Effizienz: Die BF16 Model FLOPs Utilization (MFU) erreichte über verschiedene Konfigurationen hinweg 38–43 % auf 16.384 H100-GPUs, wobei über einen 54-Tage-Ausschnitt trotz 466 Unterbrechungen eine effektive Trainingszeit von über 90 % aufrechterhalten wurde.

Grenzen und offene Fragen

• Hardware-Zuverlässigkeit und Skalierungsfluktuationen: Bei einer Größenordnung von 16K GPUs traten Hardware-Unterbrechungen im Schnitt mehrmals täglich auf (78 % der unerwarteten Unterbrechungen waren auf Hardware-/GPU-Probleme zurückzuführen). Gleichzeitige Leistungsschwankungen von mehreren Dutzend Megawatt während des Checkpointings oder kollektiver Schritte stellen Rechenzentren vor große elektrotechnische Herausforderungen.
• Lücke bei der adversariellen Robustheit: Während die Modelle bei Paraphrasierungs-Benchmarks (PAWS) widerstandsfähig sind, zeigen adversarielle Benchmarks für mathematisches Schließen und QA (GSM-Plus, Adv SQuAD) signifikante Leistungseinbußen im Vergleich zu nicht-adversariellen Tests.
• Multimodale Verfügbarkeit: Vision- und Sprach-Adapter demonstrierten in Forschungsumgebungen wettbewerbsfähige Fähigkeiten, verblieben jedoch in der aktiven Entwicklung und wurden nicht in die anfängliche öffentliche Veröffentlichung aufgenommen.