GPT-4 Technical Report

Leseleitfaden

Problem und Motivation

Große Sprachmodelle (LLMs) haben sich in der gesamten Verarbeitung natürlicher Sprache als vielversprechend erwiesen, frühere Iterationen (wie GPT-3.5) zeigten jedoch deutliche Schwächen bei komplexem logischem Schließen, Zuverlässigkeit, faktischer Präzision und Sicherheit. Zudem erfordert das Training hochmoderner Frontier-Modelle enorme Rechenbudgets, bei denen ein standardmäßiges Hyperparameter-Tuning auf der finalen Skala undurchführbar ist. Das Ziel von GPT-4 ist der Aufbau eines großskaligen, multimodalen Modells, das beliebige Mischungen aus Bild- und Texteingaben verarbeiten kann und dabei ein vorhersagbares Skalierungsverhalten sowie drastisch verbesserte Sicherheit und Ausrichtung (Alignment) aufweist.

Kernideen

• Vorhersagbare Skalierung (Predictable Scaling): Optimierungs-Pipelines und Architekturen können so stabilisiert werden, dass der finale Test-Loss und nachgelagerte Programmier-Benchmarks (wie HumanEval-Pass-Rates) verlässlich anhand kleinerer Modelle extrapoliert werden können, die mit $1.000\times$ bis $10.000\times$ weniger Rechenaufwand trainiert wurden.
• Multimodales Verständnis: GPT-4 akzeptiert beliebig verschränkte Bilder und Texte und führt komplexe logische Schlüsse über Diagramme, Schaubilder, Prüfungsfragen und visuellen Humor hinweg aus, ohne reine Sprach-Benchmarks zu verschlechtern.
• Dominanz des Vortrainings mit gezieltem Post-Training: Das Pre-Training des Basismodells liefert die zentralen Fähigkeiten zum logischen Schließen und Prüfungswissen (die Multiple-Choice-Durchschnitte von Basis- und RLHF-Modell sind mit 73,7 % gegenüber 74,0 % praktisch identisch), während RLHF und regelbasierte Prüfungen die Sicherheit, Formatierung und Faktentreue steuern.
• Rule-Based Reward Models (RBRMs): Das Alignment stützt sich auf modellgestützte Sicherheitsklassifikatoren, die während des RLHF gezielte Hilfsbelohnungen liefern, um angemessene Verweigerungen unzulässiger Prompts zu steuern und unnötiges Absichern (Over-Hedging) bei sicheren Prompts zu reduzieren.

Methode (mit den wichtigsten Gleichungen)

GPT-4 ist ein Transformer-basiertes autoregressives Modell, das darauf vortrainiert wurde, den nächsten Token auf öffentlich zugänglichen Webdaten und lizenzierten Daten vorherzusagen, gefolgt von Reinforcement Learning from Human Feedback (RLHF).

1. Extrapolation von Skalierungsgesetzen

Um die Vorhersagbarkeit der Infrastruktur ohne empirisches Tuning auf dem primären Trainingslauf zu gewährleisten, wurde der finale Verlust auf internen Code-Tokens mithilfe einer Formulierung für irreduziblen Verlust vorhergesagt: $$L(C)=a{C}^b+c$$ wobei $C$ den normalisierten Rechenaufwand bezeichnet und $a,b,c$ angepasste Parameter aus Läufen mit bis zu $10.000\times$ weniger Rechenaufwand sind.

Für die Skalierung nachgelagerter Fähigkeiten auf HumanEval wurde die mittlere logarithmische Pass-Rate über Teilmengen von Aufgaben $P$ modelliert über: $$-{\mathbb{E}}_P[\log (pass\_rate(C))]=\alpha \cdot C^{-k}$$ was eine Registrierung der funktionalen Programmierleistung bereits vor dem Training ermöglichte.

2. Modellgestützte Sicherheits-Pipeline

Neben menschlichem Feedback integriert die RLHF-Optimierung Rule-Based Reward Models (RBRMs). Ein RBRM ist ein Zero-Shot-GPT-4-Klassifikator, der Folgendes akzeptiert:

• Den Prompt des Nutzers (optional),
• Die Vervollständigung des Policy-Modells,
• Ein von Menschen verfasstes Bewertungsschema (eine mehrklassige Rubrik, die Antworten in Kategorien wie gewünschte Verweigerung, ausweichende/weitschweifige Verweigerung, sichere Antwort oder unzulässigen Inhalt einteilt).

Optimale RBRM-Gewichte liefern ein automatisiertes Belohnungssignal, um das Policy-Modell darauf zu trainieren, schädliche Anfragen (z. B. CBRN-Bedrohungen, Cyberangriffe) abzulehnen und gleichzeitig gutartige Anfragen zu angrenzenden sensiblen Themen zuverlässig zu bedienen.

Ergebnisse (mit den wichtigsten Zahlen)

• Professionelle und akademische Prüfungen: GPT-4 erzielte 298/400 (90. Perzentil) beim Uniform Bar Examination (im Vergleich zu 213/400, ~10. Perzentil für GPT-3.5). Beim LSAT erreichte es 163 (88. Perzentil) und erzielte eine 5 in AP Biology, AP Calculus BC (4), AP Chemistry (4) und AP Art History (5).
• Akademische NLP-Benchmarks: GPT-4 setzte neue State-of-the-Art-Werte bei 5-Shot MMLU (86,4 % vs. 70,0 % für GPT-3.5), 10-Shot HellaSwag (95,3 %), 25-Shot ARC Challenge (96,3 %) und 0-Shot HumanEval (67,0 %). Bei 5-Shot Chain-of-Thought GSM-8K erreichte es 92,0 %.
• Mehrsprachigkeit: Übersetzte Versionen von MMLU in 26 Sprachen zeigten, dass GPT-4 die englischsprachige Baseline von GPT-3.5 und PaLM in 24 Sprachen übertraf, darunter auch ressourcenarme Sprachen wie Lettisch (85,5 %), Walisisch (71,4 %) und Swahili (82,6 %).
• Sicherheit und Faktentreue: GPT-4 schnitt bei internen Faktentreue-Evaluationen um 19 Prozentpunkte besser ab als die neueste Version von GPT-3.5. Die Rate unzulässiger Antworten sank um 82 %, die Einhaltung von Vorgaben bei sensiblen Anfragen verbesserte sich um 29 %, und die Generierung toxischer Inhalte auf RealToxicityPrompts fiel von 6,48 % (GPT-3.5) auf 0,73 %.

Grenzen und offene Fragen

• Halluzinationen und Kalibrierung: Trotz Rückgängen bei faktischen Fehlern halluziniert GPT-4 weiterhin Fakten und begeht elementare logische Fehler. Während das vortrainierte Basismodell eine nahezu perfekte Kalibrierung aufweist, verschlechtert das RLHF-Post-Training die Kalibrierung erheblich, sodass das ausgerichtete Modell bei Fehlern oft übermäßiges Vertrauen zeigt.
• Zeitlicher Wissens-Cutoff: Der überwiegende Teil der Pre-Training-Daten endete im September 2021; das Modell aktualisiert seinen Weltzustand nicht kontinuierlich und lernt nicht aus fortlaufenden Interaktionen im Produktiveinsatz.
• Inverse Scaling und Jailbreaks: Bestimmte kontraintuitive Muster kehren sich erst mit der Skalierung um (z. B. Hindsight Neglect), aber Anfälligkeiten für adversarielle Prompts, System-Message-Manipulationen und mehrstufige Jailbreaks bleiben bestehen.
• Fehlende Transparenz über die Architektur: Aufgrund von Wettbewerbs- und Sicherheitsbedenken werden architektonische Spezifikationen (Parameteranzahl, MoE-Design, Datensatzgrößen, Hardware und exakter Rechenaufwand) nicht offengelegt.