Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Rafael Rafailov; Archit Sharma; Eric Mitchell; Stefano Ermon; Christopher D. Manning; Chelsea Finn

Artículos · arXiv 2305.18290

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning, Chelsea Finn

Publicado 2023-05-29cs.LGcs.AIcs.CL arXiv PDF

Leer con traducción e IA

Resumen en tres líneas

📌 Los pipelines estándar de RLHF son complejos, computacionalmente costosos e inestables porque requieren entrenar un modelo de recompensa separado y ejecutar aprendizaje por refuerzo (p. ej., PPO) con muestreo de políticas en línea.
📌 DPO reparametriza analíticamente el modelo de preferencias de Bradley-Terry utilizando la forma cerrada de la política óptima del objetivo de RL con restricción KL, optimizando la política directamente con una pérdida de entropía cruzada binaria.
📌 En la tarea de resumido TL;DR de Reddit, DPO alcanza una tasa de victorias de ~61% frente a las respuestas de referencia (frente al 57% de PPO) y domina a PPO a lo largo de toda la frontera recompensa-KL en el control de sentimiento.

Resumen

Aunque los modelos de lenguaje (LM) no supervisados a gran escala adquieren un amplio conocimiento del mundo y ciertas habilidades de razonamiento, lograr un control preciso de su comportamiento resulta difícil debido a la naturaleza completamente no supervisada de su entrenamiento. Los métodos existentes para obtener dicho control recopilan etiquetas humanas sobre la calidad relativa de las generaciones del modelo y ajustan el LM no supervisado para alinearlo con estas preferencias, a menudo mediante aprendizaje por refuerzo a partir de retroalimentación humana (RLHF). Sin embargo, el RLHF es un procedimiento complejo y frecuentemente inestable: primero ajusta un modelo de recompensa que refleja las preferencias humanas y luego afina el LM no supervisado mediante aprendizaje por refuerzo para maximizar esta recompensa estimada sin alejarse demasiado del modelo original. En este artículo presentamos una nueva parametrización del modelo de recompensa en RLHF que permite extraer la política óptima correspondiente en forma cerrada, lo que nos permite resolver el problema estándar de RLHF únicamente con una pérdida de clasificación simple. El algoritmo resultante, al que denominamos Direct Preference Optimization (DPO), es estable, eficaz y computacionalmente ligero, eliminando la necesidad de muestrear del LM durante el ajuste fino o de realizar un ajuste exhaustivo de hiperparámetros. Nuestros experimentos demuestran que DPO puede ajustar LM para alinearlos con las preferencias humanas tan bien o mejor que los métodos existentes. En particular, el ajuste fino con DPO supera al RLHF basado en PPO en la capacidad de controlar el sentimiento de las generaciones, e iguala o mejora la calidad de respuesta en resumido y diálogo de un solo turno, siendo sustancialmente más simple de implementar y entrenar.

Resumen original (inglés)

While large-scale unsupervised language models (LMs) learn broad world knowledge and some reasoning skills, achieving precise control of their behavior is difficult due to the completely unsupervised nature of their training. Existing methods for gaining such steerability collect human labels of the relative quality of model generations and fine-tune the unsupervised LM to align with these preferences, often with reinforcement learning from human feedback (RLHF). However, RLHF is a complex and often unstable procedure, first fitting a reward model that reflects the human preferences, and then fine-tuning the large unsupervised LM using reinforcement learning to maximize this estimated reward without drifting too far from the original model. In this paper we introduce a new parameterization of the reward model in RLHF that enables extraction of the corresponding optimal policy in closed form, allowing us to solve the standard RLHF problem with only a simple classification loss. The resulting algorithm, which we call Direct Preference Optimization (DPO), is stable, performant, and computationally lightweight, eliminating the need for sampling from the LM during fine-tuning or performing significant hyperparameter tuning. Our experiments show that DPO can fine-tune LMs to align with human preferences as well as or better than existing methods. Notably, fine-tuning with DPO exceeds PPO-based RLHF in ability to control sentiment of generations, and matches or improves response quality in summarization and single-turn dialogue while being substantially simpler to implement and train.

Guía de lectura

Problema y motivación

Los modelos de lenguaje grandes (LM) adquieren un vasto conocimiento del mundo durante el preentrenamiento no supervisado, pero guiar sus salidas hacia comportamientos útiles y seguros sigue siendo un desafío. Los pipelines estándar de Reinforcement Learning from Human Feedback (RLHF) abordan esto en tres etapas: Supervised Fine-Tuning (SFT), ajuste de un modelo de recompensa sobre preferencias por pares mediante máxima verosimilitud bajo un modelo Bradley-Terry, y optimización de políticas mediante aprendizaje por refuerzo (típicamente PPO) para maximizar la recompensa estimada imponiendo al mismo tiempo una penalización por divergencia de Kullback-Leibler (KL) relativa a una política de referencia $π_{ref}$ .

Sin embargo, el RLHF con algoritmos de RL actor-crítico es notoriamente complejo, inestable, sensible a los hiperparámetros y computacionalmente costoso, ya que requiere entrenar múltiples modelos (actor, crítico, referencia, modelo de recompensa) y generar muestras durante el bucle de entrenamiento.

Ideas clave

Mapeo analítico entre política y recompensa: La solución óptima al objetivo de maximización de recompensa restringido por KL $max_{π_{θ}} E [r (x, y)] - β D_{KL} (π_{θ} ∥ π_{ref})$ tiene una representación conocida en forma cerrada: $π_{r} (y ∣ x) = \frac{1}{Z ( x )} π_{ref} (y ∣ x) exp (\frac{1}{β} r (x, y))$ .
Reparametrización de la recompensa: Reorganizar esta identidad permite expresar la recompensa real (ground-truth) a través de la política óptima: $r (x, y) = β lo g \frac{π ( y ∣ x )}{π _{ref} ( y ∣ x )} + β lo g Z (x)$ .
Cancelación de la función de partición: Bajo modelos de comparación por pares como Bradley-Terry, las probabilidades de preferencia dependen únicamente de la diferencia en las recompensas $r (x, y_{w}) - r (x, y_{l})$ . La función de partición desconocida dependiente del prompt $β lo g Z (x)$ se cancela por completo.
Modelado implícito de la recompensa: En lugar de optimizar una red de recompensa escalar explícita y ejecutar RL, DPO ajusta la política directamente mediante máxima verosimilitud en pares estáticos de preferencias $D = {(x, y_{w}, y_{l})}$ .

Método (con las ecuaciones clave)

Bajo el modelo de preferencias de Bradley-Terry, la probabilidad de que la respuesta $y_{w}$ sea preferida sobre $y_{l}$ dado el prompt $x$ es: $p^{*} (y_{w} ≻ y_{l} ∣ x) = σ (r^{*} (x, y_{w}) - r^{*} (x, y_{l}))$

Sustituyendo la recompensa implícita de la política $\overset{r}{^}_{θ} (x, y) = β lo g \frac{π _{θ} ( y ∣ x )}{π _{ref} ( y ∣ x )}$ se obtiene el objetivo de Direct Preference Optimization (DPO): $L_{DPO} (π_{θ}; π_{ref}) = - E_{(x, y_{w}, y_{l}) \sim D} [lo g σ (β lo g \frac{π _{θ} ( y _{w} ∣ x )}{π _{ref} ( y _{w} ∣ x )} - β lo g \frac{π _{θ} ( y _{l} ∣ x )}{π _{ref} ( y _{l} ∣ x )})]$

El gradiente con respecto a los parámetros de la política $θ$ es: $\nabla_{θ} L_{DPO} (π_{θ}; π_{ref}) = - β E_{(x, y_{w}, y_{l}) \sim D} [σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w})) [\nabla_{θ} lo g π_{θ} (y_{w} ∣ x) - \nabla_{θ} lo g π_{θ} (y_{l} ∣ x)]]$

Aquí, el gradiente incrementa la verosimilitud de $y_{w}$ y disminuye la verosimilitud de $y_{l}$ . El peso escalar dinámico $σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w}))$ escala la actualización en función de qué tan erróneamente califica el par la recompensa implícita actual, evitando la degeneración del modelo que ocurre con objetivos de verosimilitud no ponderados.

Resultados (con los números más importantes)

Generación de sentimiento controlado (IMDb + GPT-2-large): DPO domina estrictamente a PPO en toda la frontera recompensa-KL, logrando una recompensa más alta en cada nivel de divergencia KL a nivel de secuencia con respecto a $π_{ref}$ , superando incluso a PPO cuando cuenta con recompensas de oráculo reales (PPO-GT).
Resumido en TL;DR (GPT-J 6B):
- A temperatura 0.0, DPO logra una tasa de victorias aproximada del 61% frente a las terminaciones de referencia evaluadas por GPT-4, en comparación con el 57% de PPO (en su temperatura óptima de 0.0).
- En un estudio humano que comparó resúmenes cara a cara en TL;DR, las respuestas de DPO a temperatura 0.25 fueron preferidas el 58% de las veces sobre las respuestas de PPO a temperatura 0.0.
- DPO mantiene la estabilidad a través de diferentes temperaturas, mientras que PPO se degrada drásticamente hacia el modelo base a temperatura 1.0.
Generalización fuera de distribución (CNN/DailyMail): Evaluado zero-shot en artículos de noticias de CNN/DailyMail sin ajuste adicional, DPO logra una tasa de victorias de 0.36 frente a los resúmenes reales a temperatura 0 (frente a 0.26 de PPO), y de 0.31 a temperatura 0.25 (frente a 0.23 de PPO).
Diálogo de un solo turno (Anthropic HH + Pythia-2.8B): DPO es el único método computacionalmente ligero evaluado que supera a las respuestas preferidas del conjunto de prueba, igualando o superando ligeramente a la costosa línea base de muestreo Best-of-128.

Limitaciones y preguntas abiertas

Generalización fuera de distribución: Aunque las pruebas iniciales en CNN/DailyMail muestran una sólida transferencia, el artículo señala que se necesitan más estudios para comprender cómo se compara la optimización directa de políticas con el aprendizaje de un modelo de recompensa explícito y generalizable bajo cambios de distribución más amplios.
Sobreoptimización de la recompensa: Los autores observan ligeras caídas de rendimiento en fases avanzadas del entrenamiento durante los experimentos de diálogo, dejando abierto el interrogante de si ocurre y cómo se manifiesta el clásico "hackeo de recompensas" (reward hacking) o sobreoptimización dentro de los modelos de recompensa implícitos.
Utilización de datos no etiquetados: A diferencia de PPO, que puede generar sobre prompts arbitrarios no etiquetados durante los despliegues de RL, el DPO estándar es un algoritmo offline entrenado en comparaciones por pares; extenderlo mediante autoetiquetado o recolección iterativa sigue siendo un área abierta.
Dependencias de la evaluación: La evaluación automatizada dependió en gran medida de la formulación del prompt en GPT-4 (prompt conciso vs. prompt simple), lo que resalta la sensibilidad inherente a las metodologías de LLM-as-a-judge.

Términos clave

Direct Preference Optimization (DPO): Un algoritmo que alinea modelos de lenguaje con preferencias utilizando una pérdida de entropía cruzada binaria directamente sobre las razones logarítmicas de la política, prescindiendo del modelado explícito de recompensas y del aprendizaje por refuerzo.
Bradley-Terry model: Un modelo probabilístico para comparaciones por pares que estipula que la probabilidad de preferir la respuesta $y_{1}$ sobre $y_{2}$ depende de la función sigmoide logística de la diferencia de sus recompensas.
KL-constrained reward maximization: El objetivo estándar de optimización en RLHF que busca equilibrar la maximización de la recompensa esperada penalizando al mismo tiempo la divergencia de Kullback-Leibler entre la política aprendida y una política de referencia.
implicit reward: La función de recompensa $\overset{r}{^}_{θ} (x, y) = β lo g (π_{θ} (y ∣ x) / π_{ref} (y ∣ x))$ deducida matemáticamente por la política del modelo de lenguaje en relación con un modelo de referencia.
reference policy (\pi_{\text{ref}}): El modelo de lenguaje base —típicamente el modelo con ajuste fino supervisado (SFT)— utilizado para restringir la desviación de la política y definir la recompensa implícita.
Best of N: Una línea base de decodificación en tiempo de inferencia que muestrea $N$ respuestas de una política y selecciona el candidato con la puntuación más alta asignada por un modelo de recompensa aprendido.
Plackett-Luce model: Un modelo de ordenamiento generalizado para conjuntos de más de dos elementos, a partir del cual el modelo Bradley-Terry surge como un caso especial por pares.
unlikelihood training: Una técnica de entrenamiento de referencia que maximiza la verosimilitud de las respuestas preferidas al tiempo que penaliza directamente la probabilidad de los tokens de las respuestas no preferidas.

Preguntas

¿Por qué DPO no requiere estimar la función de partición Z(x)?

La función de partición $Z (x)$ depende únicamente del prompt $x$ y de la política de referencia, no de la respuesta $y$ . Dado que los modelos de preferencias por pares (como Bradley-Terry) dependen solo de la diferencia entre las recompensas de dos respuestas para un mismo prompt, $Z (x)$ se cancela algebraicamente.

¿Cómo evita DPO la degeneración de la política en comparación con los objetivos ingenuos de no verosimilitud (unlikelihood)?

El gradiente de DPO incluye un término de ponderación dinámica, $σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w}))$ , que escala la actualización del gradiente en función de qué tan incorrectamente ordena el par la recompensa implícita. Si el modelo ya clasifica $y_{w}$ con una puntuación mucho mayor que $y_{l}$ , el gradiente se anula, impidiendo la reducción descontrolada de probabilidades.

¿Restringe DPO la capacidad expresiva de las funciones de recompensa aprendidas?

No. El Teorema 1 demuestra que, bajo supuestos leves, toda clase de equivalencia de recompensas que induce distribuciones de preferencia válidas bajo modelos Bradley-Terry o Plackett-Luce puede reparametrizarse unívocamente en la forma $r (x, y) = β lo g (π (y ∣ x) / π_{ref} (y ∣ x))$ .

¿Cómo se inicializa la política de referencia si el modelo SFT original no está disponible?

Cuando el checkpoint del SFT original no se encuentra disponible, los autores inicializan $π_{ref}$ entrenando un LM estándar para maximizar la verosimilitud de las respuestas preferidas $y_{w}$ en el conjunto de datos de preferencias (Preferred-FT), mitigando así el desfase de distribución.

La explicación de esta página la escribió una IA a partir del artículo y puede contener errores. Consulte el artículo para los detalles.

Leer con traducción e IA