Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Rafael Rafailov; Archit Sharma; Eric Mitchell; Stefano Ermon; Christopher D. Manning; Chelsea Finn

Artigos · arXiv 2305.18290

Direct Preference Optimization: Seu Modelo de Linguagem é Secretamente um Modelo de Recompensa

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning, Chelsea Finn

Publicado em 2023-05-29cs.LGcs.AIcs.CL arXiv PDF

Ler com tradução e IA

Resumo em três linhas

📌 Os pipelines padrão de RLHF são complexos, computacionalmente pesados e instáveis por exigirem o treinamento de um modelo de recompensa separado e a execução de aprendizado por reforço (ex.: PPO) com amostragem online da política.
📌 O DPO reparametriza o modelo de preferências de Bradley-Terry analiticamente usando a política ótima em forma fechada do objetivo de RL com restrição de KL, otimizando a política diretamente com uma perda de entropia cruzada binária.
📌 Na sumarização de TL;DR do Reddit, o DPO alcança ~61% de taxa de vitórias contra conclusões de referência (vs. 57% do PPO) e domina o PPO ao longo de toda a fronteira recompensa-KL no controle de sentimento.

Resumo

Embora modelos de linguagem (LMs) não supervisionados em larga escala adquiram amplo conhecimento de mundo e certas habilidades de raciocínio, obter controle preciso sobre seu comportamento é difícil devido à natureza completamente não supervisionada de seu treinamento. Os métodos existentes para alcançar essa controlabilidade coletam rótulos humanos sobre a qualidade relativa das gerações do modelo e realizam o ajuste fino do LM não supervisionado para alinhá-lo a essas preferências, frequentemente utilizando aprendizado por reforço com feedback humano (RLHF). No entanto, o RLHF é um procedimento complexo e muitas vezes instável: primeiro ajusta-se um modelo de recompensa que reflete as preferências humanas e, em seguida, realiza-se o ajuste fino do grande LM não supervisionado por meio de aprendizado por reforço para maximizar essa recompensa estimada sem se afastar demasiadamente do modelo original. Neste artigo, introduzimos uma nova parametrização do modelo de recompensa no RLHF que permite extrair a política ótima correspondente em forma fechada, possibilitando-nos resolver o problema padrão de RLHF utilizando apenas uma perda de classificação simples. O algoritmo resultante, denominado Direct Preference Optimization (DPO), é estável, eficiente e computacionalmente leve, eliminando a necessidade de amostrar do LM durante o ajuste fino ou realizar buscas exaustivas de hiperparâmetros. Nossos experimentos mostram que o DPO pode ajustar LMs para alinhamento com preferências humanas tão bem quanto ou melhor do que os métodos existentes. Notavelmente, o ajuste fino com DPO supera o RLHF baseado em PPO na capacidade de controlar o sentimento das gerações, além de igualar ou melhorar a qualidade das respostas em sumarização e diálogo de turno único, sendo substancialmente mais simples de implementar e treinar.

Resumo original (inglês)

While large-scale unsupervised language models (LMs) learn broad world knowledge and some reasoning skills, achieving precise control of their behavior is difficult due to the completely unsupervised nature of their training. Existing methods for gaining such steerability collect human labels of the relative quality of model generations and fine-tune the unsupervised LM to align with these preferences, often with reinforcement learning from human feedback (RLHF). However, RLHF is a complex and often unstable procedure, first fitting a reward model that reflects the human preferences, and then fine-tuning the large unsupervised LM using reinforcement learning to maximize this estimated reward without drifting too far from the original model. In this paper we introduce a new parameterization of the reward model in RLHF that enables extraction of the corresponding optimal policy in closed form, allowing us to solve the standard RLHF problem with only a simple classification loss. The resulting algorithm, which we call Direct Preference Optimization (DPO), is stable, performant, and computationally lightweight, eliminating the need for sampling from the LM during fine-tuning or performing significant hyperparameter tuning. Our experiments show that DPO can fine-tune LMs to align with human preferences as well as or better than existing methods. Notably, fine-tuning with DPO exceeds PPO-based RLHF in ability to control sentiment of generations, and matches or improves response quality in summarization and single-turn dialogue while being substantially simpler to implement and train.

Guia de leitura

Problema e motivação

Grandes modelos de linguagem (LMs) adquirem vasto conhecimento de mundo durante o pré-treinamento não supervisionado, mas direcionar suas saídas para comportamentos úteis e seguros continua sendo um desafio. Os pipelines padrão de Aprendizado por Reforço com Feedback Humano (RLHF) lidam com isso em três etapas: Ajuste Fino Supervisionado (SFT), ajuste de um modelo de recompensa sobre preferências pareadas via máxima verossimilhança sob um modelo de Bradley-Terry, e otimização da política por meio de aprendizado por reforço (tipicamente PPO) para maximizar a recompensa estimada, aplicando uma penalidade de divergência de Kullback-Leibler (KL) em relação a uma política de referência $π_{ref}$ .

No entanto, o RLHF com algoritmos de RL do tipo ator-crítico é notoriamente complexo, instável, sensível a hiperparâmetros e computacionalmente dispendioso, pois requer o treinamento de múltiplos modelos (ator, crítico, referência, modelo de recompensa) e a amostragem de gerações dentro do loop de treinamento.

Ideias centrais

Mapeamento analítico entre política e recompensa: A solução ótima para o objetivo de maximização de recompensa restrito por KL $max_{π_{θ}} E [r (x, y)] - β D_{KL} (π_{θ} ∥ π_{ref})$ possui uma representação conhecida em forma fechada: $π_{r} (y ∣ x) = \frac{1}{Z ( x )} π_{ref} (y ∣ x) exp (\frac{1}{β} r (x, y))$ .
Reparametrização da recompensa: Ao reorganizar essa identidade, a recompensa real (ground-truth) pode ser expressa por meio da política ótima: $r (x, y) = β lo g \frac{π ( y ∣ x )}{π _{ref} ( y ∣ x )} + β lo g Z (x)$ .
Cancelamento da função de partição: Sob modelos de comparação pareada como o de Bradley-Terry, as probabilidades de preferência dependem unicamente da diferença entre as recompensas $r (x, y_{w}) - r (x, y_{l})$ . A função de partição desconhecida $β lo g Z (x)$ , dependente do prompt, cancela-se completamente.
Modelagem de recompensa implícita: Em vez de otimizar uma rede de recompensa escalar explícita e executar RL, o DPO ajusta a política diretamente por máxima verossimilhança em pares estáticos de preferências $D = {(x, y_{w}, y_{l})}$ .

Método (com as equações fundamentais)

Sob o modelo de preferência de Bradley-Terry, a probabilidade de que a conclusão $y_{w}$ seja preferida em relação a $y_{l}$ dado o prompt $x$ é: $p^{*} (y_{w} ≻ y_{l} ∣ x) = σ (r^{*} (x, y_{w}) - r^{*} (x, y_{l}))$

Substituindo a recompensa implícita da política $\overset{r}{^}_{θ} (x, y) = β lo g \frac{π _{θ} ( y ∣ x )}{π _{ref} ( y ∣ x )}$ , obtém-se o objetivo do Direct Preference Optimization (DPO): $L_{DPO} (π_{θ}; π_{ref}) = - E_{(x, y_{w}, y_{l}) \sim D} [lo g σ (β lo g \frac{π _{θ} ( y _{w} ∣ x )}{π _{ref} ( y _{w} ∣ x )} - β lo g \frac{π _{θ} ( y _{l} ∣ x )}{π _{ref} ( y _{l} ∣ x )})]$

O gradiente em relação aos parâmetros da política $θ$ é: $\nabla_{θ} L_{DPO} (π_{θ}; π_{ref}) = - β E_{(x, y_{w}, y_{l}) \sim D} [σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w})) [\nabla_{θ} lo g π_{θ} (y_{w} ∣ x) - \nabla_{θ} lo g π_{θ} (y_{l} ∣ x)]]$

Aqui, o gradiente aumenta a verossimilhança de $y_{w}$ e diminui a de $y_{l}$ . O peso escalar dinâmico $σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w}))$ pondera a atualização com base em quão incorretamente a recompensa implícita pontua o par no momento, evitando a degeneração do modelo observada em objetivos de verossimilhança não ponderados.

Resultados (com os números mais importantes)

Geração de Sentimento Controlado (IMDb + GPT-2-large): O DPO domina estritamente o PPO em toda a fronteira recompensa-KL, alcançando maior recompensa para qualquer nível de divergência KL no nível de sequência em relação a $π_{ref}$ , superando inclusive o PPO alimentado com recompensas de um oráculo (ground-truth, PPO-GT).
Sumarização em TL;DR (GPT-J 6B):
- Na temperatura 0.0, o DPO atinge aproximadamente 61% de taxa de vitórias contra conclusões de referência avaliadas pelo GPT-4, em comparação com 57% do PPO (em sua temperatura ideal de 0.0).
- Em um estudo humano comparando sumários lado a lado no TL;DR, as gerações do DPO na temperatura 0.25 foram preferidas em 58% das vezes em relação às do PPO na temperatura 0.0.
- O DPO mantém a estabilidade entre diferentes temperaturas, enquanto o PPO degrada bruscamente em direção ao modelo base na temperatura 1.0.
Generalização Fora da Distribuição (CNN/DailyMail): Avaliado em regime zero-shot em notícias do CNN/DailyMail sem nenhum ajuste fino adicional, o DPO obtém uma taxa de vitórias de 0.36 contra os resumos de referência na temperatura 0 (vs. 0.26 do PPO) e 0.31 na temperatura 0.25 (vs. 0.23 do PPO).
Diálogo de Turno Único (Anthropic HH + Pythia-2.8B): O DPO é o único método computacionalmente leve avaliado que supera as respostas preferidas do conjunto de teste, igualando ou superando ligeiramente a dispendiosa linha de base de amostragem Best-of-128.

Limitações e questões em aberto

Generalização fora da distribuição: Embora os testes iniciais no CNN/DailyMail mostrem forte transferência, os autores apontam que mais estudos são necessários para compreender como a otimização direta da política se compara ao aprendizado de um modelo de recompensa explícito e generalizável sob distribuições com desvios maiores.
Sobreotimização da recompensa (reward over-optimization): Os autores observaram pequenas quedas de desempenho em fases avançadas do treinamento nos experimentos de diálogo, deixando em aberto se e como o clássico "reward hacking" ou sobreotimização ocorre dentro de modelos de recompensa implícitos.
Utilização de dados não rotulados: Ao contrário do PPO, que pode gerar rollouts sobre prompts arbitrários não rotulados durante o RL, o DPO padrão é um algoritmo offline treinado sobre comparações pareadas; estendê-lo via autorrotulagem ou coleta iterativa permanece uma área em aberto.
Dependência da metodologia de avaliação: A avaliação automatizada mostrou-se sensível ao fraseamento do prompt do GPT-4 (prompt conciso vs. prompt simples), evidenciando a sensibilidade das abordagens de LLM-as-a-judge.

Termos-chave

Direct Preference Optimization (DPO): Um algoritmo que alinha modelos de linguagem a preferências usando uma perda de entropia cruzada binária aplicada diretamente sobre as razões logarítmicas da política, contornando a modelagem explícita de recompensa e o aprendizado por reforço.
Bradley-Terry model (modelo de Bradley-Terry): Um modelo probabilístico para comparações pareadas que estabelece que a probabilidade de preferir a conclusão $y_{1}$ em relação a $y_{2}$ depende da função sigmoide logística da diferença entre suas recompensas.
KL-constrained reward maximization (maximização de recompensa restrita por KL): O objetivo padrão de otimização em RLHF, que equilibra a maximização da recompensa esperada enquanto penaliza a divergência de Kullback-Leibler entre a política aprendida e uma política de referência.
implicit reward (recompensa implícita): A função de recompensa $\overset{r}{^}_{θ} (x, y) = β lo g (π_{θ} (y ∣ x) / π_{ref} (y ∣ x))$ deduzida matematicamente a partir da política do modelo de linguagem em relação a um modelo de referência.
reference policy (\pi_{\text{ref}}) (política de referência): O modelo de linguagem base — tipicamente o modelo com ajuste fino supervisionado (SFT) — usado para restringir o desvio da política e definir a recompensa implícita.
Best of N: Uma linha de base de decodificação em tempo de teste que amostra $N$ conclusões de uma política e seleciona o candidato com a pontuação mais alta atribuída por um modelo de recompensa treinado.
Plackett-Luce model (modelo de Plackett-Luce): Um modelo generalizado de ranqueamento para conjuntos de mais de dois itens, do qual o modelo de Bradley-Terry decorre como um caso especial pareado.
unlikelihood training (treinamento por desverossimilhança): Uma técnica de treinamento de linha de base que maximiza a verossimilhança de conclusões preferidas enquanto penaliza diretamente a verossimilhança de tokens em conclusões rejeitadas.

Perguntas

Por que o DPO não precisa estimar a função de partição Z(x)?

A função de partição $Z (x)$ depende unicamente do prompt $x$ e da política de referência, e não da conclusão $y$ . Como os modelos de preferência pareada (como o de Bradley-Terry) dependem unicamente da diferença entre as recompensas de duas conclusões para o mesmo prompt, $Z (x)$ se cancela algebricamente.

Como o DPO evita a degeneração da política em comparação com abordagens ingênuas de unlikelihood?

O gradiente do DPO contém um termo de ponderação dinâmico, $σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w}))$ , que ajusta a escala do gradiente com base no quão incorretamente a recompensa implícita ordena o par. Se o modelo já avalia $y_{w}$ com valor muito superior a $y_{l}$ , o gradiente tende a zero, prevenindo a destruição descontrolada de probabilidades.

O DPO restringe a capacidade expressiva das funções de recompensa aprendidas?

Não. O Teorema 1 prova que, sob hipóteses suaves, toda classe de equivalência de recompensas que induz distribuições de preferência válidas sob os modelos de Bradley-Terry ou Plackett-Luce pode ser reparametrizada de forma única na forma $r (x, y) = β lo g (π (y ∣ x) / π_{ref} (y ∣ x))$ .

Como a política de referência é inicializada se o modelo SFT original não estiver disponível?

Quando o checkpoint original do SFT não está acessível, os autores inicializam $π_{ref}$ treinando um LM pré-existente para maximizar a verossimilhança das conclusões preferidas $y_{w}$ contidas no próprio conjunto de dados de preferências (Preferred-FT), mitigando o desvio de distribuição.

A explicação desta página foi escrita por IA a partir do artigo e pode conter erros. Consulte o artigo para os detalhes.

Ler com tradução e IA