Training language models to follow instructions with human feedback

Long Ouyang; Jeff Wu; Xu Jiang; Diogo Almeida; Carroll L. Wainwright; Pamela Mishkin; Chong Zhang; Sandhini Agarwal; Katarina Slama; Alex Ray; John Schulman; Jacob Hilton; Fraser Kelton; Luke Miller; Maddie Simens; Amanda Askell; Peter Welinder; Paul Christiano; Jan Leike; Ryan Lowe

Paper · arXiv 2203.02155

Training language models to follow instructions with human feedback

Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton et al.

Veröffentlicht 2022-03-04cs.CLcs.AIcs.LG arXiv PDF

Mit Übersetzung und KI lesen

Zusammenfassung in drei Zeilen

Rein auf Next-Token-Prediction trainierte große Sprachmodelle verfehlen oft die Absicht der Nutzer und liefern toxische, falsche oder unhilfreiche Antworten.
Das Verfahren passt GPT-3 über überwachte menschliche Demonstrationen an, trainiert ein 6B-Reward-Modell auf gerankten Ausgaben und optimiert die Policy via PPO mit Pretraining-Mischung.
Ausgaben des 1,3B InstructGPT werden gegenüber 175B GPT-3 bevorzugt; 175B InstructGPT schlägt 175B GPT-3 in 85 % der Fälle und senkt Halluzinationen von 41 % auf 21 %.

Abstract

Die Vergrößerung von Sprachmodellen führt nicht per se dazu, dass sie die Absichten der Nutzer besser befolgen. Große Sprachmodelle können beispielsweise Ausgaben erzeugen, die unwahr, toxisch oder für den Nutzer schlicht nicht hilfreich sind. Mit anderen Worten: Diese Modelle sind nicht auf ihre Nutzer abgestimmt (nicht „aligned“). In dieser Arbeit zeigen wir einen Weg auf, wie Sprachmodelle für ein breites Spektrum von Aufgaben durch Fine-Tuning mit menschlichem Feedback auf die Nutzerabsicht ausgerichtet werden können. Ausgehend von einem Datensatz aus von Annotatoren verfassten Prompts sowie über die OpenAI API eingereichten Prompts erstellen wir einen Datensatz mit Demonstrationen des gewünschten Modellverhaltens. Mit diesem Datensatz unterziehen wir GPT-3 einem überwachten Fine-Tuning (Supervised Fine-Tuning). Anschließend erfassen wir ein Ranking von Modellausgaben, mit dem wir dieses überwachte Modell mittels Reinforcement Learning from Human Feedback weiter anpassen. Die resultierenden Modelle nennen wir InstructGPT. Bei menschlichen Evaluationen auf unserer Prompt-Verteilung werden die Ausgaben des 1,3B-Parameter-InstructGPT-Modells gegenüber jenen des 175B-GPT-3 bevorzugt – trotz einer um das Hundertfache geringeren Parameteranzahl. Darüber hinaus erzielen InstructGPT-Modelle Verbesserungen bei der Faktentreue und erzeugen weniger toxische Inhalte, während Leistungseinbußen auf öffentlichen NLP-Benchmarks minimal bleiben. Obwohl InstructGPT nach wie vor einfache Fehler unterlaufen, zeigen unsere Ergebnisse, dass Fine-Tuning mit menschlichem Feedback eine vielversprechende Richtung ist, um Sprachmodelle an menschliche Absichten anzupassen.

Original-Abstract (Englisch)

Making language models bigger does not inherently make them better at following a user's intent. For example, large language models can generate outputs that are untruthful, toxic, or simply not helpful to the user. In other words, these models are not aligned with their users. In this paper, we show an avenue for aligning language models with user intent on a wide range of tasks by fine-tuning with human feedback. Starting with a set of labeler-written prompts and prompts submitted through the OpenAI API, we collect a dataset of labeler demonstrations of the desired model behavior, which we use to fine-tune GPT-3 using supervised learning. We then collect a dataset of rankings of model outputs, which we use to further fine-tune this supervised model using reinforcement learning from human feedback. We call the resulting models InstructGPT. In human evaluations on our prompt distribution, outputs from the 1.3B parameter InstructGPT model are preferred to outputs from the 175B GPT-3, despite having 100x fewer parameters. Moreover, InstructGPT models show improvements in truthfulness and reductions in toxic output generation while having minimal performance regressions on public NLP datasets. Even though InstructGPT still makes simple mistakes, our results show that fine-tuning with human feedback is a promising direction for aligning language models with human intent.

Leseleitfaden

Problem und Motivation

Standardmäßige große Sprachmodelle (LLMs) optimieren die Vorhersage des nächsten Tokens auf Webkorpora. Dieses Pretraining-Ziel stimmt nicht mit dem Ziel der Nutzer überein, einen Assistenten zu haben, der Anweisungen hilfreich, wahrheitsgetreu und harmlos ausführt. Infolgedessen halluzinieren Basismodelle wie GPT-3 häufig Fakten, erfinden Kontexte, geben toxische Texte wieder oder ignorieren explizite Vorgaben des Nutzers. Eine bloße Erhöhung der Modellparameter behebt diese Probleme nicht.

Zentrale Ideen

Alignment durch Reinforcement Learning from Human Feedback (RLHF): Nutzung menschlicher Bewertungen, um die Modellausgaben auf Nutzerabsichten auszurichten, anstatt nur die reine Fortsetzungswahrscheinlichkeit zu maximieren.
Dreistufige Trainings-Pipeline: (1) Supervised Fine-Tuning (SFT) auf Prompt-Demonstrations-Paaren, (2) Training eines Reward Models (RM) auf paarweisen Vergleichen über gerankte Modellausgaben und (3) Policy-Optimierung mittels Proximal Policy Optimization (PPO).
Minderung der Alignment Tax: Standardmäßiges PPO-Fine-Tuning führt zu Leistungseinbußen auf klassischen NLP-Benchmarks (z. B. SQuADv2, DROP). Das Einmischen von Gradienten der Pretraining-Verteilung in die PPO-Aktualisierungen (PPO-ptx) mildert diese Fähigkeitsverluste ab, ohne die Gewinne bei den menschlichen Präferenzen zu beeinträchtigen.

Methode (mit den wichtigsten Gleichungen)

Supervised Fine-Tuning (SFT): Fine-Tuning der GPT-3-Basismodelle auf rund 13.000 Prompt-Demonstrationen, die von Annotatoren erstellt und über den OpenAI-API-Playground eingereicht wurden.
Training des Reward Models: Für jeden Prompt $x$ bewerten Annotatoren $K$ Vervollständigungen ( $K \in [4, 9]$ ) in einer Rangfolge, woraus $(2 K)$ Vergleiche resultieren. Das 6B-Reward-Modell $r_{θ} (x, y)$ wird mit einem paarweisen Cross-Entropy-Loss über alle Paare eines Batch-Elements trainiert: $loss (θ) = - \frac{1}{( 2 K )} E_{(x, y_{w}, y_{l}) \sim D} [lo g σ (r_{θ} (x, y_{w}) - r_{θ} (x, y_{l}))]$ wobei $y_{w}$ die gegenüber $y_{l}$ bevorzugte Vervollständigung ist.
RL-Policy-Optimierung (PPO-ptx): Optimierung der Policy $π_{ϕ}^{RL}$ gegen skalare Belohnungen, wobei Abweichungen vom SFT-Modell über die Token-basierte KL-Divergenz penalisiert werden und optional die Pretraining-Log-Likelihood beibehalten wird: $objective (ϕ) = E_{(x, y) \sim D_{π_{ϕ}^{RL}}} [r_{θ} (x, y) - β lo g (\frac{π _{ϕ}^{RL} ( y ∣ x )}{π ^{SFT} ( y ∣ x )})] + γ E_{x \sim D_{pretrain}} [lo g π_{ϕ}^{RL} (x)]$ Hierbei ist $β$ der KL-Penalty-Koeffizient und $γ$ steuert die Mischung der Pretraining-Gradienten.

Ergebnisse (mit den wichtigsten Zahlen)

Menschliche Präferenzen: Annotatoren bevorzugen Ausgaben des InstructGPT-Modells mit 1,3B Parametern gegenüber jenen des Basismodells GPT-3 mit 175B Parametern (ein Faktor von 100 bei den Parametern). Ausgaben von 175B InstructGPT werden in $85 \pm 3 %$ der Fälle gegenüber 175B GPT-3 bevorzugt und in $71 \pm 4 %$ gegenüber 175B GPT-3 mit Few-Shot-Prompting.
Faktentreue und Halluzinationen: Auf TruthfulQA erzeugt InstructGPT etwa doppelt so häufig wahrheitsgemäße und informative Antworten wie GPT-3. Bei Closed-Domain-Aufgaben über die API sinkt die Halluzinationsrate von 41 % (GPT-3) auf 21 % (InstructGPT).
Toxizität: InstructGPT erzeugt auf RealToxicityPrompts rund 25 % weniger toxische Ausgaben als GPT-3, wenn das Modell angewiesen wird, respektvoll zu antworten.
Generalisierung: InstructGPT generalisiert zuverlässig auf ungesehene Annotatoren ( $77, 3 %$ Übereinstimmung) sowie Out-of-Distribution-Instruktionen wie Code-QA/Summarization und nicht-englische Anweisungen, obwohl Englisch mehr als 96 % der Trainingsdaten ausmachte.

Grenzen und offene Fragen

Sicherheits- und Alignment-Trade-offs: InstructGPT priorisiert während des Trainings primär das Befolgen von Nutzeranweisungen; wird es zu schädlichen oder voreingenommenen Ausgaben aufgefordert, folgt es der Anweisung effektiv.
Einfache Fehler: Das Modell halluziniert weiterhin, neigt aufgrund konditionierter epistemischer Bescheidenheit zu übertriebenen Relativierungen („Hedging“) und hat Schwierigkeiten mit falschen Prämissen oder komplexen Mehrfachbedingungen.
Repräsentativität: Das Fine-Tuning stützt sich auf das Feedback von Auftragnehmern (rund 40 angestellte Annotatoren) und Anfragen von API-Playground-Kunden, die das breite Spektrum aller Endnutzer nicht vollständig abbilden.

Schlüsselbegriffe

RLHF: Reinforcement Learning from Human Feedback; eine Methode, die ein Reward-Modell aus menschlichen Präferenzen trainiert und eine Policy mittels Reinforcement Learning optimiert.
InstructGPT: Die Familie von GPT-3-Modellen, die mittels überwachter Demonstrationen und RLHF feinabgestimmt wurde, um natürlichsprachlichen Anweisungen zu folgen.
Alignment tax: Der Leistungsabfall auf Standard-NLP-Benchmarks (wie DROP oder SQuAD), der beobachtet wird, wenn ein Sprachmodell an menschliche Präferenzen angepasst wird.
PPO-ptx: Eine PPO-Variante, die Gradienten aus Pretraining-Daten in das RL-Fine-Tuning-Ziel einmischt, um Benchmark-Fähigkeiten zu erhalten.
Reward Model (RM): Ein Modell, das darauf trainiert ist, einem Prompt-Vervollständigungs-Paar einen skalaren Wert zuzuweisen, der die menschliche Präferenz gegenüber alternativen Antworten vorhersagt.
Supervised fine-tuning (SFT): Der erste Schritt der Alignment-Pipeline, bei dem ein Basis-Sprachmodell auf von Menschen verfassten Prompt-Demonstrations-Paaren überwacht trainiert wird.
Hallucination: Das Erfinden unbelegter oder falscher Informationen durch ein Sprachmodell bei Closed-Domain-Aufgaben wie Textzusammenfassung oder Frage-Antwort-Systemen.

Fragen

Warum übertrifft ein 1,3B InstructGPT das 175B GPT-3 in menschlichen Bewertungen?

Das Basismodell GPT-3 optimiert die Vorhersage des nächsten Tokens auf ungefilterten Webtexten und ignoriert daher häufig Instruktionen oder wiederholt den Kontext. InstructGPT wird explizit auf menschliche Präferenzsignale optimiert, um hilfreiche und direkte Antworten zu generieren, wodurch die Lücke zwischen reiner Parameterkapazität und der Aufgabenabsicht geschlossen wird.

Wie löst die Arbeit das Problem der Alignment Tax?

Indem ein Pretraining-Aktualisierungsterm in das PPO-Trainingsziel integriert wird (PPO-ptx), der Pretraining-Gradienten mit einem Koeffizienten $γ = 27, 8$ einmischt. Dies verhindert Leistungseinbußen auf öffentlichen Datensätzen wie SQuAD und DROP, ohne die Gewinne bei den menschlichen Präferenzen zu mindern.

Wie wurde das Reward-Modell auf gerankten Ausgaben trainiert?

Annotatoren ordneten $K$ Vervollständigungen ( $K$ zwischen 4 und 9) pro Prompt in einer Rangliste an. Das 6B-Reward-Modell wurde auf allen $(2 K)$ Paaren gleichzeitig innerhalb eines einzelnen Batch-Elements trainiert, was Vorwärtsdurchläufe reduzierte und Overfitting verhinderte.

Reduziert InstructGPT demografische Vorurteile (Bias)?

Nein. Bei Messungen auf Winogender und CrowS-Pairs zeigte InstructGPT keine signifikanten Verzerrungsreduzierungen im Vergleich zum Basismodell GPT-3; Aufforderungen zu respektvoller Sprache verringerten mitunter die Entropie (was den gemessenen Bias erhöhte).

Die Übersicht auf dieser Seite wurde von einer KI aus dem Paper erstellt und kann Fehler enthalten. Details stehen im Paper.

Mit Übersetzung und KI lesen