Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Rafael Rafailov; Archit Sharma; Eric Mitchell; Stefano Ermon; Christopher D. Manning; Chelsea Finn

Paper · arXiv 2305.18290

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning, Chelsea Finn

Veröffentlicht 2023-05-29cs.LGcs.AIcs.CL arXiv PDF

Mit Übersetzung und KI lesen

Zusammenfassung in drei Zeilen

📌 Standardmäßige RLHF-Pipelines sind komplex, rechenintensiv und instabil, da sie das Training eines separaten Belohnungsmodells und Reinforcement Learning (z. B. PPO) mit Online-Policy-Sampling erfordern.
📌 DPO reparametrisiert das Bradley-Terry-Präferenzmodell analytisch über die geschlossene Form der optimalen Policy des KL-beschränkten RL-Ziels und optimiert die Policy direkt mit einem binären Kreuzentropie-Loss.
📌 Bei der Reddit TL;DR-Zusammenfassung erreicht DPO eine Win-Rate von ca. 61 % gegenüber Referenzvervollständigungen (ggü. 57 % bei PPO) und dominiert PPO entlang der gesamten Reward-KL-Frontier bei der Sentiment-Steuerung.

Abstract

Während große unüberwachte Sprachmodelle (LMs) breites Weltwissen und gewisse Argumentationsfähigkeiten erlernen, ist eine präzise Steuerung ihres Verhaltens aufgrund des rein unüberwachten Charakters ihres Trainings schwierig. Bestehende Methoden zur Erzielung einer solchen Steuerbarkeit sammeln menschliche Bewertungen zur relativen Qualität von Modellgenerierungen und optimieren das unüberwachte LM mittels Feintuning auf diese Präferenzen, häufig durch Reinforcement Learning from Human Feedback (RLHF). RLHF ist jedoch ein komplexes und oft instabiles Verfahren: Zunächst wird ein Belohnungsmodell trainiert, das die menschlichen Präferenzen widerspiegelt; anschließend wird das große unüberwachte LM mithilfe von Reinforcement Learning feingetunt, um diese geschätzte Belohnung zu maximieren, ohne zu weit vom ursprünglichen Modell abzuweichen. In dieser Arbeit stellen wir eine neue Parametrisierung des Belohnungsmodells in RLHF vor, die es ermöglicht, die zugehörige optimale Policy in geschlossener Form zu extrahieren. Dadurch können wir das standardmäßige RLHF-Problem mit einer einfachen Klassifikations-Loss-Funktion lösen. Der resultierende Algorithmus, den wir Direct Preference Optimization (DPO) nennen, ist stabil, leistungsfähig und rechentechnisch leichtgewichtig. Er macht das Sampling aus dem LM während des Feintunings sowie ein aufwendiges Hyperparameter-Tuning überflüssig. Unsere Experimente zeigen, dass DPO LMs ebenso gut oder besser an menschliche Präferenzen anpassen kann wie bestehende Methoden. Bemerkenswerterweise übertrifft das Feintuning mit DPO PPO-basiertes RLHF bei der Steuerung des Sentiments von Generierungen und erreicht oder verbessert die Antwortqualität bei der Textzusammenfassung sowie im Single-Turn-Dialog, während es wesentlich einfacher zu implementieren und zu trainieren ist.

Original-Abstract (Englisch)

While large-scale unsupervised language models (LMs) learn broad world knowledge and some reasoning skills, achieving precise control of their behavior is difficult due to the completely unsupervised nature of their training. Existing methods for gaining such steerability collect human labels of the relative quality of model generations and fine-tune the unsupervised LM to align with these preferences, often with reinforcement learning from human feedback (RLHF). However, RLHF is a complex and often unstable procedure, first fitting a reward model that reflects the human preferences, and then fine-tuning the large unsupervised LM using reinforcement learning to maximize this estimated reward without drifting too far from the original model. In this paper we introduce a new parameterization of the reward model in RLHF that enables extraction of the corresponding optimal policy in closed form, allowing us to solve the standard RLHF problem with only a simple classification loss. The resulting algorithm, which we call Direct Preference Optimization (DPO), is stable, performant, and computationally lightweight, eliminating the need for sampling from the LM during fine-tuning or performing significant hyperparameter tuning. Our experiments show that DPO can fine-tune LMs to align with human preferences as well as or better than existing methods. Notably, fine-tuning with DPO exceeds PPO-based RLHF in ability to control sentiment of generations, and matches or improves response quality in summarization and single-turn dialogue while being substantially simpler to implement and train.

Leseleitfaden

Problem und Motivation

Große Sprachmodelle (LMs) erwerben während des unüberwachten Vortrainings enormes Weltwissen, doch die Steuerung ihrer Ausgaben hin zu hilfreichen und sicheren Verhaltensweisen bleibt anspruchsvoll. Standardmäßige Pipelines für Reinforcement Learning from Human Feedback (RLHF) bewältigen dies in drei Stufen: Supervised Fine-Tuning (SFT), das Anpassen eines Belohnungsmodells auf paarweisen Präferenzen via Maximum-Likelihood unter einem Bradley-Terry-Modell sowie Policy-Optimierung über Reinforcement Learning (typischerweise PPO), um die geschätzte Belohnung zu maximieren und gleichzeitig eine Strafe für die Kullback-Leibler-Divergenz (KL) relativ zu einer Referenz-Policy $π_{ref}$ durchzusetzen.

Allerdings ist RLHF mit Actor-Critic-RL-Algorithmen notorisch komplex, fragil, empfindlich gegenüber Hyperparametern und rechenintensiv, da mehrere Modelle (Actor, Critic, Referenz, Belohnungsmodell) trainiert und während der Trainingsschleife Generierungen gesampelt werden müssen.

Kernideen

Analytische Abbildung zwischen Policy und Belohnung: Die optimale Lösung für das KL-beschränkte Belohnungsmaximierungsziel $max_{π_{θ}} E [r (x, y)] - β D_{KL} (π_{θ} ∥ π_{ref})$ besitzt eine bekannte geschlossene Darstellung: $π_{r} (y ∣ x) = \frac{1}{Z ( x )} π_{ref} (y ∣ x) exp (\frac{1}{β} r (x, y))$ .
Reparametrisierung der Belohnung: Durch Umstellen dieser Identität lässt sich die tatsächliche Belohnung über die optimale Policy ausdrücken: $r (x, y) = β lo g \frac{π ( y ∣ x )}{π _{ref} ( y ∣ x )} + β lo g Z (x)$ .
Kürzung der Zustandssumme (Partition Function): Bei paarweisen Vergleichsmodellen wie Bradley-Terry hängen die Präferenzwahrscheinlichkeiten nur von der Differenz der Belohnungen $r (x, y_{w}) - r (x, y_{l})$ ab. Die unbekannte, prompt-abhängige Zustandssumme $β lo g Z (x)$ kürzt sich vollständig heraus.
Implizite Belohnungsmodellierung: Anstatt ein explizites skalares Belohnungsnetzwerk zu optimieren und RL auszuführen, passt DPO die Policy direkt mittels Maximum-Likelihood auf statischen Präferenzpaaren $D = {(x, y_{w}, y_{l})}$ an.

Methode (mit den wichtigsten Gleichungen)

Unter dem Bradley-Terry-Präferenzmodell ist die Wahrscheinlichkeit, dass Vervollständigung $y_{w}$ gegenüber $y_{l}$ bei gegebenem Prompt $x$ bevorzugt wird: $p^{*} (y_{w} ≻ y_{l} ∣ x) = σ (r^{*} (x, y_{w}) - r^{*} (x, y_{l}))$

Das Einsetzen der durch die Policy implizierten Belohnung $\overset{r}{^}_{θ} (x, y) = β lo g \frac{π _{θ} ( y ∣ x )}{π _{ref} ( y ∣ x )}$ liefert das Optimierungsziel der Direct Preference Optimization (DPO): $L_{DPO} (π_{θ}; π_{ref}) = - E_{(x, y_{w}, y_{l}) \sim D} [lo g σ (β lo g \frac{π _{θ} ( y _{w} ∣ x )}{π _{ref} ( y _{w} ∣ x )} - β lo g \frac{π _{θ} ( y _{l} ∣ x )}{π _{ref} ( y _{l} ∣ x )})]$

Der Gradient bezüglich der Policy-Parameter $θ$ lautet: $\nabla_{θ} L_{DPO} (π_{θ}; π_{ref}) = - β E_{(x, y_{w}, y_{l}) \sim D} [σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w})) [\nabla_{θ} lo g π_{θ} (y_{w} ∣ x) - \nabla_{θ} lo g π_{θ} (y_{l} ∣ x)]]$

Hierbei erhöht der Gradient die Likelihood von $y_{w}$ und verringert die von $y_{l}$ . Das dynamische skalare Gewicht $σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w}))$ skaliert das Update basierend darauf, wie falsch die implizite Belohnung das Paar aktuell einstuft, was eine Degeneration des Modells verhindert, wie sie bei ungewichteten Likelihood-Zielen auftritt.

Ergebnisse (mit den wichtigsten Kennzahlen)

Kontrollierte Sentiment-Generierung (IMDb + GPT-2-large): DPO dominiert PPO über die gesamte Reward-KL-Frontier hinweg strikt und erzielt bei jedem Niveau der Sequenz-KL-Divergenz zu $π_{ref}$ höhere Belohnungen – es übertrifft sogar PPO mit perfekten Oracle-Belohnungen (PPO-GT).
TL;DR-Zusammenfassung (GPT-J 6B):
- Bei Temperatur 0,0 erreicht DPO eine von GPT-4 bewertete Win-Rate von ca. 61 % gegenüber Referenzvervollständigungen, verglichen mit 57 % bei PPO (bei dessen optimaler Temperatur 0,0).
- In einer Human-Evaluation von direkten Vergleichen auf TL;DR wurden DPO-Generierungen bei Temperatur 0,25 in 58 % der Fälle gegenüber PPO-Generierungen bei Temperatur 0,0 bevorzugt.
- DPO bleibt über verschiedene Temperaturen hinweg stabil, während PPO bei Temperatur 1,0 stark in Richtung des Basismodells degradiert.
Out-of-Distribution-Generalisierung (CNN/DailyMail): Bei einer Zero-Shot-Evaluierung auf CNN/DailyMail-Nachrichtenartikeln ohne weiteres Feintuning erzielt DPO eine Win-Rate von 0,36 gegenüber Ground-Truth-Zusammenfassungen bei Temperatur 0 (ggü. 0,26 für PPO) und 0,31 bei Temperatur 0,25 (ggü. 0,23 für PPO).
Single-Turn-Dialog (Anthropic HH + Pythia-2.8B): DPO ist die einzige getestete rechentechnisch leichtgewichtige Methode, die die bevorzugten Vervollständigungen des Testsets übertrifft, und reicht an eine rechenintensive Best-of-128-Sampling-Baseline heran bzw. übertrifft diese leicht.

Limitationen und offene Fragen

Out-of-Distribution-Generalisierung: Obwohl anfängliche Tests auf CNN/DailyMail einen starken Transfer zeigen, betont die Arbeit, dass weitere Untersuchungen nötig sind, um zu verstehen, wie direkte Policy-Optimierung im Vergleich zum Erlernen eines expliziten, generalisierbaren Belohnungsmodells bei größeren Verteilungsverschiebungen abschneidet.
Überoptimierung der Belohnung (Reward Over-Optimization): Die Autoren beobachten leichte Leistungsabfälle im späten Trainingsverlauf bei Dialog-Experimenten. Es bleibt offen, ob und wie klassisches „Reward Hacking“ oder Überoptimierung innerhalb impliziter Belohnungsmodelle auftritt.
Nutzung unbeschrifteter Daten: Im Gegensatz zu PPO, das während der RL-Rollouts auf beliebigen unbeschrifteten Prompts generieren kann, ist Standard-DPO ein Offline-Algorithmus, der auf paarweisen Vergleichen trainiert wird; eine Erweiterung durch Self-Labeling oder iterative Datensammlung ist ein offenes Forschungsfeld.
Evaluierungsabhängigkeiten: Die automatisierte Auswertung hing stark von der Formulierung des GPT-4-Prompts ab (prägnanter vs. einfacher Prompt), was die Sensitivität von LLM-as-a-Judge-Methoden unterstreicht.

Schlüsselbegriffe

Direct Preference Optimization (DPO): Ein Algorithmus, der Sprachmodelle an Präferenzen anpasst, indem ein binärer Kreuzentropie-Loss direkt über Policy-Log-Verhältnisse optimiert wird – ganz ohne explizite Belohnungsmodellierung und Reinforcement Learning.
Bradley-Terry model: Ein probabilistisches Modell für Paarvergleiche, das besagt, dass die Wahrscheinlichkeit, Vervollständigung $y_{1}$ gegenüber $y_{2}$ zu bevorzugen, von der logistischen Sigmoidfunktion ihrer Belohnungsdifferenz abhängt.
KL-constrained reward maximization: Das standardmäßige RLHF-Optimierungsziel, das die Maximierung der erwarteten Belohnung mit einer Strafe für die Kullback-Leibler-Divergenz zwischen der gelernten Policy und einer Referenz-Policy ausbalanciert.
implicit reward: Die Belohnungsfunktion $\overset{r}{^}_{θ} (x, y) = β lo g (π_{θ} (y ∣ x) / π_{ref} (y ∣ x))$ , die mathematisch durch die Policy des Sprachmodells im Verhältnis zu einem Referenzmodell impliziert wird.
reference policy (\pi_{\text{ref}}): Das Baseline-Sprachmodell – typischerweise das per Supervised Fine-Tuning (SFT) trainierte Modell –, das verwendet wird, um das Abdriften der Policy zu begrenzen und die implizite Belohnung zu definieren.
Best of N: Eine Decoding-Baseline zur Testzeit, die $N$ Vervollständigungen aus einer Policy sampelt und den Kandidaten mit der höchsten Bewertung durch ein trainiertes Belohnungsmodell auswählt.
Plackett-Luce model: Ein verallgemeinertes Ranking-Modell für Mengen von mehr als zwei Elementen, aus dem das Bradley-Terry-Modell als paarweiser Spezialfall hervorgeht.
unlikelihood training: Eine Baseline-Trainingsmethode, die die Likelihood bevorzugter Vervollständigungen maximiert und gleichzeitig die Token-Likelihood nicht bevorzugter Vervollständigungen direkt penalisiert.

Fragen

Warum muss bei DPO die Zustandssumme Z(x) nicht geschätzt werden?

Die Zustandssumme (Partition Function) $Z (x)$ hängt ausschließlich vom Prompt $x$ und der Referenz-Policy ab, nicht jedoch von der Vervollständigung $y$ . Da paarweise Präferenzmodelle (wie Bradley-Terry) nur von der Differenz zwischen den Belohnungen zweier Vervollständigungen für denselben Prompt abhängen, kürzt sich $Z (x)$ algebraisch heraus.

Wie verhindert DPO eine Policy-Degeneration im Vergleich zu naivem Unlikelihood-Training?

Der Gradient von DPO enthält einen dynamischen Gewichtungsterm, $σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w}))$ , der das Gradientenupdate abhängig davon skaliert, wie falsch die implizite Belohnung das Paar ordnet. Bewertet das Modell $y_{w}$ bereits viel höher als $y_{l}$ , geht der Gradient gegen null, was eine unkontrollierte Zerstörung von Wahrscheinlichkeitsmassen verhindert.

Schränkt DPO die Ausdrucksstärke gelernter Belohnungsfunktionen ein?

Nein. Theorem 1 beweist unter milden Annahmen, dass jede Belohnungs-Äquivalenzklasse, die gültige Präferenzverteilungen unter Bradley-Terry- oder Plackett-Luce-Modellen induziert, eindeutig in der Form $r (x, y) = β lo g (π (y ∣ x) / π_{ref} (y ∣ x))$ reparametrisiert werden kann.

Wie wird die Referenz-Policy initialisiert, wenn das ursprüngliche SFT-Modell nicht verfügbar ist?

Ist der ursprüngliche SFT-Checkpoint nicht verfügbar, initialisieren die Autoren $π_{ref}$ , indem sie ein Standard-LM darauf trainieren, die Likelihood der bevorzugten Vervollständigungen $y_{w}$ im Präferenzdatensatz zu maximieren (Preferred-FT), was Verteilungsverschiebungen abmildert.

Die Übersicht auf dieser Seite wurde von einer KI aus dem Paper erstellt und kann Fehler enthalten. Details stehen im Paper.

Mit Übersetzung und KI lesen