Llama 2: Open Foundation and Fine-Tuned Chat Models

Leseleitfaden

Problem und Motivation

Während frei zugängliche, vortrainierte Basismodelle wie LLaMA-1, BLOOM und Falcon die reine Basiskapazität von Modellen wie GPT-3 erreichten, behielten kommerzielle Closed-Source-Chat-Assistenten (z. B. ChatGPT, Claude) einen deutlichen Vorsprung. Dieser Leistungsvorteil beruhte auf intensivem Post-Pretraining-Alignment mittels Instruction Tuning und Reinforcement Learning with Human Feedback (RLHF) – Methoden, die enorme Rechenkapazitäten, proprietäre Annotations-Pipelines und Red-Teaming erfordern. Meta hat Llama 2 und Llama 2-Chat (7B, 13B und 70B Parameter sowie eine unveröffentlichte 34B-Variante) entwickelt und offen bereitgestellt, um aligned Dialogmodelle zu demokratisieren und transparente Methoden für Alignment und Sicherheit zur Verfügung zu stellen.

Kernideen

• Erweitertes Pretraining: Vortraining auf 2,0 Billionen Tokens (40 % mehr als Llama 1) bei verdoppeltem Kontextfenster von 4.096 Tokens sowie Einführung von Grouped-Query Attention (GQA) für die 34B- und 70B-Modelle zur Beschleunigung des autoregressiven Decodings.
• Qualitätsorientiertes SFT: Nachweis, dass einige zehntausend qualitativ hochwertige Annotationen professioneller Anbieter Millionen verrauschter Drittanbieterbeispiele übertreffen; die SFT-Daten wurden auf 27.540 kuratierte Demonstrationen begrenzt.
• Duale Belohnungsmodellierung (Dual Reward Modeling): Training zweier getrennter Reward-Modelle – eines für Nützlichkeit (Helpfulness) und eines für Sicherheit (Safety) –, um den Zielkonflikt zu umgehen, bei dem Sicherheitsrestriktionen die Nützlichkeit mindern.
• Zweistufiges RLHF-Alignment: Kombination aus iterativem Rejection Sampling Fine-Tuning (destilliert aus dem 70B-Modell) und anschließendem Proximal Policy Optimization (PPO).
• Ghost Attention (GAtt): Eine Technik zur Kontextdestillation über Mehr-Runden-Dialoge, um persistente Systemanweisungen über 20+ Konversationsrunden hinweg ohne Instruction Fading aufrechtzuerhalten.

Methode

Pretraining-Architektur

Llama 2 verwendet eine autoregressive Transformer-Architektur mit RMSNorm-Pre-Normalisierung, SwiGLU-Aktivierungen und Rotary Positional Embeddings (RoPE), ergänzt durch GQA bei den größeren Modellen (34B und 70B). Die Modelle wurden mit AdamW (${\beta }_1=0,9,{\beta }_2=0,95$), Cosine-Learning-Rate-Decay auf bis zu 10 %, einem Weight Decay von 0,1 und einem Gradient Clipping von 1,0 trainiert.

Belohnungsmodellierung (Reward Modeling)

Menschliche Annotatoren vergeben paarweise Präferenzen auf einer 4-Punkte-Skala zwischen zwei generierten Antworten. Die Reward-Modelle werden aus vortrainierten Chat-Checkpoints initialisiert und über einen margin-erweiterten binären Ranking-Verlust optimiert: $${\mathcal{L}}_{\text{ranking}}=-\log \left(\sigma \left(r_{\theta }(x,y_c)-r_{\theta }(x,y_r)-m(r)\right)\right)$$ wobei $x$ der Prompt-Kontext ist, $y_c$ die bevorzugte Antwort, $y_r$ die abgelehnte Antwort und $m(r)$ eine diskrete Marge, die von der Präferenzstärke des Annotators abhängt.

RLHF-Ziele

Die Optimierung erfolgt über Rejection Sampling (Ziehen von $K$ Vervollständigungen aus der aktuellen Policy und Auswahl der Sequenz mit der höchsten Belohnung) sowie PPO. Das PPO-Ziel maximiert die erwartete Belohnung bei gleichzeitiger Bestrafung von Policy-Drift mittels KL-Divergenz gegenüber der Ausgangs-Policy ${\pi }_0$: $$R(g\mid p)={\tilde{R}}_c(g\mid p)-\beta D_{\text{KL}}({\pi }_{\theta }(g\mid p)\parallel {\pi }_0(g\mid p))$$ wobei ${\tilde{R}}_c(g\mid p)$ eine geweißte, Logit-transformierte stückweise Verknüpfung aus Sicherheits- ($R_s$) und Nützlichkeits-Reward-Modellen ($R_h$) darstellt: $$R_c(g\mid p)=\{\begin{array}{ll}{R}_s(g\mid p)& \text{falls }\text{textsc}is\_safety(p)\text{ oder }{R}_s(g\mid p)<0,15\\ R_h(g\mid p)& \text{andernfalls}\end{array}$$

Ghost Attention (GAtt)

Um Konsistenz über mehrere Dialogrunden zu erzwingen, wird die Instruktion $inst$ synthetisch an jeden Benutzer-Prompt eines bestehenden Dialogs angehängt. Antworten werden aus der neuesten Policy gesampelt, der Verlust wird jedoch ausschließlich auf den Tokens der Zielrunde berechnet (Maskierung früherer Runden), während zur Inferenzzeit $inst$ nur in der allerersten Runde erhalten bleibt.

Ergebnisse

• Basismodell-Benchmarks: Llama 2 70B übertrifft alle quelloffenen Basismodelle und erzielt 68,9 auf MMLU (5-shot), 56,8 auf GSM8K (8-shot) und 51,2 auf Big-Bench Hard (3-shot), womit es mit GPT-3.5 und PaLM-540B konkurriert.
• Menschliche Dialogevaluationen: In manuellen Bewertungen über rund 4.000 Prompts erreichte Llama 2-Chat 70B eine Win-Rate von 36 % und eine Unentschieden-Rate von 31,5 % gegenüber ChatGPT (gpt-3.5-turbo-0301). Llama 2-Chat 34B gewann mehr als 75 % der direkten Vergleiche gegen Vicuna-33B und Falcon 40B.
• Sicherheit & Toxizität: Das sicherheitsorientierte Llama 2-Chat reduzierte die Toxizitätsrate auf ToxiGen von 24,60 % (Base 70B) auf 0,01 % und wies in menschlichen Red-Teaming-Benchmarks geringere Sicherheitsverletzungsraten als ChatGPT und Falcon auf.

Grenzen und offene Fragen

• Coding & komplexes logisches Schließen: Llama 2 70B liegt auf Programmier-Benchmarks deutlich hinter GPT-4 und PaLM-2-L zurück (HumanEval pass@1 von 29,9 % ggü. 67,0 % bei GPT-4).
• Sprachabdeckung: Rund 89,7 % der Pretraining-Daten sind englischsprachig, weshalb Leistungsfähigkeit und Sicherheits-Alignment in anderen Sprachen weniger stabil sind.
• Ungerechtfertigte Verweigerungen (False Refusals) & Überkonservatismus: Das rigorose Sicherheitstuning führt zu falsch-positiven Verweigerungen bei Grenzfällen (z. B. bei harmlosen Prompts mit Begriffen wie „bomb“ oder „Christmas Crack“).
• Verzögerung des 34B-Releases: Die 34B-Modellvariante wurde vor der Veröffentlichung aus Zeitmangel für abschließendes Red-Teaming nicht freigegeben.