Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Rafael Rafailov; Archit Sharma; Eric Mitchell; Stefano Ermon; Christopher D. Manning; Chelsea Finn

Articles · arXiv 2305.18290

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning, Chelsea Finn

Publié le 2023-05-29cs.LGcs.AIcs.CL arXiv PDF

Lire avec traduction et IA

Résumé en trois lignes

Les pipelines RLHF standards sont complexes, coûteux en calculs et instables car ils nécessitent l'entraînement d'un modèle de récompense distinct et l'exécution d'un apprentissage par renforcement (par ex. PPO) avec un échantillonnage en ligne de la politique.
DPO reparamétrise analytiquement le modèle de préférences de Bradley-Terry en utilisant la forme fermée de la politique optimale sous contrainte de divergence KL, optimisant la politique directement via une perte d'entropie croisée binaire.
Sur la tâche de résumé Reddit TL;DR, DPO atteint un taux de victoire d'environ 61 % face aux complétions de référence (contre 57 % pour PPO) et domine PPO sur toute la frontière récompense-KL pour le contrôle du sentiment.

Résumé

Bien que les modèles de langage (LM) non supervisés à grande échelle acquièrent de vastes connaissances sur le monde et certaines compétences de raisonnement, il reste difficile de contrôler précisément leur comportement en raison de la nature entièrement non supervisée de leur entraînement. Les méthodes actuelles pour obtenir une telle contrôlabilité collectent des annotations humaines sur la qualité relative des générations du modèle et affinent le LM non supervisé pour l'aligner sur ces préférences, souvent à l'aide de l'apprentissage par renforcement à partir de rétroaction humaine (RLHF). Cependant, le RLHF est une procédure complexe et souvent instable, qui consiste d'abord à ajuster un modèle de récompense reflétant les préférences humaines, puis à affiner le grand LM non supervisé par apprentissage par renforcement afin de maximiser cette récompense estimée sans trop s'éloigner du modèle initial. Dans cet article, nous introduisons une nouvelle paramétrisation du modèle de récompense dans le RLHF qui permet d'extraire la politique optimale correspondante sous forme fermée, nous permettant ainsi de résoudre le problème RLHF standard avec une simple perte de classification. L'algorithme qui en résulte, que nous nommons Direct Preference Optimization (DPO), est stable, performant et peu coûteux en calculs, éliminant le besoin d'échantillonner à partir du LM durant le réglage fin ou de procéder à un ajustement important des hyperparamètres. Nos expériences montrent que DPO peut affiner les LM pour les aligner sur les préférences humaines aussi bien, voire mieux, que les méthodes existantes. Notamment, le réglage fin avec DPO surpasse le RLHF basé sur PPO dans sa capacité à contrôler le sentiment des générations, et égale ou améliore la qualité des réponses dans les tâches de résumé et de dialogue à un seul tour, tout en étant nettement plus simple à implémenter et à entraîner.

Résumé original (anglais)

While large-scale unsupervised language models (LMs) learn broad world knowledge and some reasoning skills, achieving precise control of their behavior is difficult due to the completely unsupervised nature of their training. Existing methods for gaining such steerability collect human labels of the relative quality of model generations and fine-tune the unsupervised LM to align with these preferences, often with reinforcement learning from human feedback (RLHF). However, RLHF is a complex and often unstable procedure, first fitting a reward model that reflects the human preferences, and then fine-tuning the large unsupervised LM using reinforcement learning to maximize this estimated reward without drifting too far from the original model. In this paper we introduce a new parameterization of the reward model in RLHF that enables extraction of the corresponding optimal policy in closed form, allowing us to solve the standard RLHF problem with only a simple classification loss. The resulting algorithm, which we call Direct Preference Optimization (DPO), is stable, performant, and computationally lightweight, eliminating the need for sampling from the LM during fine-tuning or performing significant hyperparameter tuning. Our experiments show that DPO can fine-tune LMs to align with human preferences as well as or better than existing methods. Notably, fine-tuning with DPO exceeds PPO-based RLHF in ability to control sentiment of generations, and matches or improves response quality in summarization and single-turn dialogue while being substantially simpler to implement and train.

Guide de lecture

Problème et motivation

Les grands modèles de langage (LM) acquièrent d'immenses connaissances sur le monde lors du pré-entraînement non supervisé, mais orienter leurs sorties vers des comportements utiles et sûrs reste difficile. Les pipelines classiques d'apprentissage par renforcement à partir de rétroaction humaine (RLHF) abordent ce problème en trois étapes : le réglage fin supervisé (SFT), l'ajustement d'un modèle de récompense sur des préférences par paires par maximum de vraisemblance selon un modèle de Bradley-Terry, et l'optimisation de politique par apprentissage par renforcement (généralement PPO) afin de maximiser la récompense estimée tout en appliquant une pénalité de divergence de Kullback-Leibler (KL) par rapport à une politique de référence $π_{ref}$ .

Cependant, le RLHF avec des algorithmes d'apprentissage par renforcement acteur-critique est notoirement complexe, instable, sensible aux hyperparamètres et coûteux en calculs, car il nécessite d'entraîner plusieurs modèles (acteur, critique, référence, modèle de récompense) et d'échantillonner des générations au sein de la boucle d'entraînement.

Idées clés

Correspondance analytique entre politique et récompense : La solution optimale à l'objectif de maximisation de récompense sous contrainte KL $max_{π_{θ}} E [r (x, y)] - β D_{KL} (π_{θ} ∥ π_{ref})$ possède une représentation en forme fermée connue : $π_{r} (y ∣ x) = \frac{1}{Z ( x )} π_{ref} (y ∣ x) exp (\frac{1}{β} r (x, y))$ .
Reparamétrisation de la récompense : Réarranger cette identité permet d'exprimer la récompense réelle à travers la politique optimale : $r (x, y) = β lo g \frac{π ( y ∣ x )}{π _{ref} ( y ∣ x )} + β lo g Z (x)$ .
Annulation de la fonction de partition : Dans les modèles de comparaison par paires comme Bradley-Terry, les probabilités de préférence ne dépendent que de la différence des récompenses $r (x, y_{w}) - r (x, y_{l})$ . La fonction de partition inconnue dépendante du prompt $β lo g Z (x)$ s'annule complètement.
Modélisation de récompense implicite : Au lieu d'optimiser un réseau de récompense scalaire explicite puis d'exécuter un algorithme de RL, DPO ajuste directement la politique par maximum de vraisemblance sur des paires statiques de préférences $D = {(x, y_{w}, y_{l})}$ .

Méthode (avec les équations clés)

Sous le modèle de préférence de Bradley-Terry, la probabilité que la complétion $y_{w}$ soit préférée à $y_{l}$ étant donné le prompt $x$ est : $p^{*} (y_{w} ≻ y_{l} ∣ x) = σ (r^{*} (x, y_{w}) - r^{*} (x, y_{l}))$

En substituant la récompense implicite induite par la politique $\overset{r}{^}_{θ} (x, y) = β lo g \frac{π _{θ} ( y ∣ x )}{π _{ref} ( y ∣ x )}$ , on obtient l'objectif de la Direct Preference Optimization (DPO) : $L_{DPO} (π_{θ}; π_{ref}) = - E_{(x, y_{w}, y_{l}) \sim D} [lo g σ (β lo g \frac{π _{θ} ( y _{w} ∣ x )}{π _{ref} ( y _{w} ∣ x )} - β lo g \frac{π _{θ} ( y _{l} ∣ x )}{π _{ref} ( y _{l} ∣ x )})]$

Le gradient par rapport aux paramètres $θ$ de la politique est : $\nabla_{θ} L_{DPO} (π_{θ}; π_{ref}) = - β E_{(x, y_{w}, y_{l}) \sim D} [σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w})) [\nabla_{θ} lo g π_{θ} (y_{w} ∣ x) - \nabla_{θ} lo g π_{θ} (y_{l} ∣ x)]]$

Ici, le gradient augmente la vraisemblance de $y_{w}$ et diminue celle de $y_{l}$ . Le poids scalaire dynamique $σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w}))$ ajuste l'amplitude de la mise à jour selon le degré d'erreur actuel de la récompense implicite sur la paire, évitant ainsi la dégénérescence du modèle observée avec des objectifs de vraisemblance non pondérés.

Résultats (avec les chiffres les plus importants)

Génération contrôlée de sentiment (IMDb + GPT-2-large) : DPO domine strictement PPO sur l'ensemble de la frontière récompense-KL, obtenant une récompense plus élevée pour chaque niveau de divergence KL au niveau de la séquence par rapport à $π_{ref}$ , surpassant même PPO alimenté par les récompenses oracles réelles (PPO-GT).
Résumé TL;DR (GPT-J 6B) :
- À une température de 0,0, DPO atteint un taux de victoire d'environ 61 % par rapport aux complétions de référence évaluées par GPT-4, contre 57 % pour PPO (à sa température optimale de 0,0).
- Dans une étude humaine évaluant directement les résumés générés sur TL;DR, les complétions de DPO à température 0,25 ont été préférées 58 % du temps face à celles de PPO à température 0,0.
- DPO conserve sa stabilité à différentes températures, tandis que les performances de PPO se dégradent fortement vers celles du modèle de base à une température de 1,0.
Généralisation hors distribution (CNN/DailyMail) : Évalué en zero-shot sur les articles de presse CNN/DailyMail sans réglage fin supplémentaire, DPO atteint un taux de victoire de 0,36 face aux résumés de référence à température 0 (contre 0,26 pour PPO), et de 0,31 à température 0,25 (contre 0,23 pour PPO).
Dialogue à un seul tour (Anthropic HH + Pythia-2.8B) : DPO est la seule méthode peu coûteuse en calculs testée qui surpasse les complétions préférées de l'ensemble de test, égalant ou dépassant légèrement une baseline Best-of-128 coûteuse en calculs.

Limites et questions ouvertes

Généralisation hors distribution : Bien que les premiers tests sur CNN/DailyMail montrent un transfert solide, l'article souligne que des recherches supplémentaires sont nécessaires pour comprendre comment l'optimisation directe de politique se compare à l'apprentissage d'un modèle de récompense explicite généralisable face à des dérives plus larges.
Sur-optimisation de la récompense : Les auteurs observent de légères baisses de performances en fin d'entraînement sur les expériences de dialogue, laissant ouverte la question de l'existence et des mécanismes du « reward hacking » ou de la sur-optimisation dans les modèles de récompense implicites.
Utilisation des données non étiquetées : Contrairement à PPO, qui peut générer des trajectoires sur n'importe quel prompt non étiqueté lors des rollouts de RL, DPO standard est un algorithme hors ligne (offline) entraîné sur des comparaisons par paires ; son extension par auto-étiquetage ou collecte itérative constitue un domaine de recherche ouvert.
Dépendance à l'évaluation : L'évaluation automatisée dépendait fortement de la formulation des prompts donnés à GPT-4 (prompt concis vs prompt simple), soulignant la sensibilité des méthodologies basées sur un LLM en tant que juge (LLM-as-a-judge).

Termes clés

Direct Preference Optimization (DPO): Un algorithme qui aligne les modèles de langage sur les préférences à l'aide d'une perte d'entropie croisée binaire appliquée directement sur les ratios de log-vraisemblance de la politique, éliminant la modélisation explicite de la récompense et l'apprentissage par renforcement.
Bradley-Terry model: Un modèle probabiliste de comparaisons par paires stipulant que la probabilité de préférer la complétion $y_{1}$ à $y_{2}$ dépend de la sigmoïde logistique de leur différence de récompense.
KL-constrained reward maximization: L'objectif d'optimisation classique du RLHF qui équilibre la maximisation de la récompense attendue et la pénalisation de la divergence de Kullback-Leibler entre la politique apprise et une politique de référence.
implicit reward: La fonction de récompense $\overset{r}{^}_{θ} (x, y) = β lo g (π_{θ} (y ∣ x) / π_{ref} (y ∣ x))$ mathématiquement induite par la politique du modèle de langage par rapport à un modèle de référence.
reference policy (\pi_{\text{ref}}): Le modèle de langage de référence — généralement le modèle issu du réglage fin supervisé (SFT) — utilisé pour restreindre la dérive de la politique et définir la récompense implicite.
Best of N: Une méthode de décodage à l'inférence qui échantillonne $N$ complétions à partir d'une politique et sélectionne le candidat ayant obtenu le score le plus élevé selon un modèle de récompense entraîné.
Plackett-Luce model: Un modèle de classement généralisé pour des ensembles de plus de deux éléments, dont le modèle de Bradley-Terry découle comme un cas particulier pour les comparaisons par paires.
unlikelihood training: Une technique d'entraînement de référence qui maximise la vraisemblance des complétions préférées tout en pénalisant directement la vraisemblance token par token des complétions non préférées.

Questions

Pourquoi DPO n'a-t-il pas besoin d'estimer la fonction de partition Z(x) ?

La fonction de partition $Z (x)$ dépend uniquement du prompt $x$ et de la politique de référence, et non de la complétion $y$ . Étant donné que les modèles de préférences par paires (comme Bradley-Terry) ne dépendent que de la différence entre les récompenses de deux complétions pour un même prompt, $Z (x)$ s'annule algébriquement.

Comment DPO évite-t-il la dégénérescence de la politique par rapport aux objectifs naïfs d'unlikelihood ?

Le gradient de DPO contient un terme de pondération dynamique, $σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w}))$ , qui ajuste l'amplitude de la mise à jour du gradient selon l'erreur de classement actuelle de la paire par la récompense implicite. Si le modèle attribue déjà une valeur bien plus élevée à $y_{w}$ qu'à $y_{l}$ , le gradient devient nul, empêchant une destruction incontrôlée des probabilités.

DPO restreint-il la capacité d'expression des fonctions de récompense apprises ?

Non. Le Théorème 1 démontre que, sous des hypothèses faibles, toute classe d'équivalence de récompense induisant des distributions de préférences valides selon les modèles de Bradley-Terry ou Plackett-Luce peut être reparamétrisée de manière unique sous la forme $r (x, y) = β lo g (π (y ∣ x) / π_{ref} (y ∣ x))$ .

Comment la politique de référence est-elle initialisée si le modèle SFT d'origine n'est pas disponible ?

Lorsque le point de contrôle (checkpoint) SFT initial n'est pas disponible, les auteurs initialisent $π_{ref}$ en entraînant un LM générique à maximiser la vraisemblance des complétions préférées $y_{w}$ du jeu de données de préférences (Preferred-FT), ce qui atténue le décalage de distribution.

La présentation de cette page a été rédigée par une IA à partir de l'article et peut contenir des erreurs. Consultez l'article pour les détails.

Lire avec traduction et IA