Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Rafael Rafailov; Archit Sharma; Eric Mitchell; Stefano Ermon; Christopher D. Manning; Chelsea Finn

Статьи · arXiv 2305.18290

Direct Preference Optimization: Ваша языковая модель на самом деле является моделью вознаграждения

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning, Chelsea Finn

Опубликовано 2023-05-29cs.LGcs.AIcs.CL arXiv PDF

Читать с переводом и ИИ

Кратко в трёх строках

📌 Стандартные пайплайны RLHF сложны, вычислительно затратны и нестабильны, поскольку требуют обучения отдельной модели вознаграждения и запуска обучения с подкреплением (например, PPO) со сэмплированием из политики в процессе обучения.
🚀 DPO аналитически репараметризует модель предпочтений Bradley-Terry с использованием замкнутой формы оптимальной политики задачи RL с ограничением по KL-дивергенции, оптимизируя политику напрямую через бинарную кросс-энтропию.
📊 В задаче суммаризации Reddit TL;DR метод DPO достигает винрейта ~61% относительно эталонных вариантов (против 57% у PPO) и доминирует над PPO на всей границе компромисса вознаграждения и KL-дивергенции при управлении тональностью.

Аннотация

Хотя масштабные предобученные языковые модели (LM) без учителя накапливают обширные знания о мире и некоторые способности к рассуждению, точный контроль их поведения затруднен из-за неконтролируемого характера их обучения. Существующие методы достижения подобной управляемости собирают экспертные оценки относительного качества генераций модели и дообучают LM в соответствии с этими предпочтениями, чаще всего с помощью обучения с подкреплением на основе отзывов человека (RLHF). Однако RLHF — это сложный и зачастую нестабильный процесс: сначала обучается модель вознаграждения, отражающая человеческие предпочтения, а затем большая языковая модель дообучается с помощью RL для максимизации этого оценочного вознаграждения без сильного отклонения от исходной модели. В данной статье мы представляем новую параметризацию модели вознаграждения в RLHF, которая позволяет аналитически вывести соответствующую оптимальную стратегию в замкнутом виде, решая стандартную задачу RLHF с помощью простой классификационной функции потерь. Полученный алгоритм, названный нами Direct Preference Optimization (DPO), является стабильным, эффективным и вычислительно легковесным; он устраняет необходимость в генерации сэмплов из LM в процессе дообучения и в тонкой настройке множества гиперпараметров. Наши эксперименты показывают, что DPO выравнивает LM в соответствии с предпочтениями человека не хуже или даже лучше существующих методов. В частности, файн-тюнинг с помощью DPO превосходит RLHF на основе PPO в задаче управления тональностью генераций, а также сопоставим с ним или превосходит по качеству ответов в задачах суммаризации и одношагового диалога, будучи при этом существенно проще в реализации и обучении.

Оригинальная аннотация (англ.)

While large-scale unsupervised language models (LMs) learn broad world knowledge and some reasoning skills, achieving precise control of their behavior is difficult due to the completely unsupervised nature of their training. Existing methods for gaining such steerability collect human labels of the relative quality of model generations and fine-tune the unsupervised LM to align with these preferences, often with reinforcement learning from human feedback (RLHF). However, RLHF is a complex and often unstable procedure, first fitting a reward model that reflects the human preferences, and then fine-tuning the large unsupervised LM using reinforcement learning to maximize this estimated reward without drifting too far from the original model. In this paper we introduce a new parameterization of the reward model in RLHF that enables extraction of the corresponding optimal policy in closed form, allowing us to solve the standard RLHF problem with only a simple classification loss. The resulting algorithm, which we call Direct Preference Optimization (DPO), is stable, performant, and computationally lightweight, eliminating the need for sampling from the LM during fine-tuning or performing significant hyperparameter tuning. Our experiments show that DPO can fine-tune LMs to align with human preferences as well as or better than existing methods. Notably, fine-tuning with DPO exceeds PPO-based RLHF in ability to control sentiment of generations, and matches or improves response quality in summarization and single-turn dialogue while being substantially simpler to implement and train.

Разбор статьи

Проблема и мотивация

Большие языковые модели (LM) приобретают колоссальные знания о мире во время предварительного обучения без учителя, однако направление их ответов в сторону полезного и безопасного поведения остается сложной задачей. Стандартные пайплайны обучения с подкреплением на основе отзывов человека (RLHF) решают это в три этапа: контролируемое дообучение (Supervised Fine-Tuning, SFT), обучение модели вознаграждения на парных предпочтениях методом максимального правдоподобия в рамках модели Bradley-Terry и оптимизация политики с помощью обучения с подкреплением (как правило, PPO) для максимизации расчетного вознаграждения со штрафом за дивергенцию Кульбака — Лейблера (KL) относительно опорной политики $π_{ref}$ .

Однако RLHF с актор-критическими алгоритмами обучения с подкреплением общеизвестно сложен, нестабилен, чувствителен к гиперпараметрам и вычислительно дорог, так как требует одновременной работы нескольких моделей (актор, критик, опорная модель, модель вознаграждения) и непрерывного сэмплирования генераций во время обучения.

Ключевые идеи

Аналитическое соответствие между политикой и вознаграждением: Оптимальное решение задачи максимизации вознаграждения с ограничением по KL-дивергенции $max_{π_{θ}} E [r (x, y)] - β D_{KL} (π_{θ} ∥ π_{ref})$ имеет известное представление в замкнутом виде: $π_{r} (y ∣ x) = \frac{1}{Z ( x )} π_{ref} (y ∣ x) exp (\frac{1}{β} r (x, y))$ .
Репараметризация вознаграждения: Преобразование этого равенства позволяет выразить истинное вознаграждение через оптимальную политику: $r (x, y) = β lo g \frac{π ( y ∣ x )}{π _{ref} ( y ∣ x )} + β lo g Z (x)$ .
Сокращение статистической суммы: В моделях парного сравнения, таких как Bradley-Terry, вероятности предпочтения зависят только от разности вознаграждений $r (x, y_{w}) - r (x, y_{l})$ . Неизвестная нормировочная константа (статистическая сумма) $β lo g Z (x)$ , зависящая от промпта, полностью взаимно уничтожается.
Неявное моделирование вознаграждения: Вместо оптимизации явной скалярной нейросети вознаграждения и запуска RL, DPO обучает политику напрямую с помощью метода максимального правдоподобия на статическом датасете пар предпочтений $D = {(x, y_{w}, y_{l})}$ .

Метод (с ключевыми формулами)

В рамках модели предпочтений Bradley-Terry вероятность того, что генерация $y_{w}$ будет предпочтительнее $y_{l}$ для промпта $x$ , выражается как: $p^{*} (y_{w} ≻ y_{l} ∣ x) = σ (r^{*} (x, y_{w}) - r^{*} (x, y_{l}))$

Подстановка определяемого политикой неявного вознаграждения $\overset{r}{^}_{θ} (x, y) = β lo g \frac{π _{θ} ( y ∣ x )}{π _{ref} ( y ∣ x )}$ приводит к целевой функции Direct Preference Optimization (DPO): $L_{DPO} (π_{θ}; π_{ref}) = - E_{(x, y_{w}, y_{l}) \sim D} [lo g σ (β lo g \frac{π _{θ} ( y _{w} ∣ x )}{π _{ref} ( y _{w} ∣ x )} - β lo g \frac{π _{θ} ( y _{l} ∣ x )}{π _{ref} ( y _{l} ∣ x )})]$

Градиент по параметрам политики $θ$ равен: $\nabla_{θ} L_{DPO} (π_{θ}; π_{ref}) = - β E_{(x, y_{w}, y_{l}) \sim D} [σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w})) [\nabla_{θ} lo g π_{θ} (y_{w} ∣ x) - \nabla_{θ} lo g π_{θ} (y_{l} ∣ x)]]$

Здесь градиент увеличивает правдоподобие $y_{w}$ и уменьшает правдоподобие $y_{l}$ . Динамический скалярный вес $σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w}))$ масштабирует шаг обновления в зависимости от того, насколько ошибочно неявное вознаграждение ранжирует данную пару в текущий момент, что предотвращает деградацию модели, характерную для невзвешенных лоссов правдоподобия.

Результаты (с главными цифрами)

Управляемая генерация тональности (IMDb + GPT-2-large): DPO полностью доминирует над PPO на всей границе компромисса между вознаграждением и KL-дивергенцией, обеспечивая более высокий reward при любом значении KL-дивергенции относительно $π_{ref}$ , даже обгоняя вариант PPO с доступом к оракулу истинных вознаграждений (PPO-GT).
Суммаризация TL;DR (GPT-J 6B):
- При температуре 0.0 DPO достигает приблизительно 61% винрейта против эталонных вариантов при оценке с помощью GPT-4 (по сравнению с 57% у PPO при его оптимальной температуре 0.0).
- В исследовании с участием людей-разметчиков на датасете TL;DR суммаризации DPO при температуре 0.25 предпочитались в 58% случаев по сравнению с суммаризациями PPO при температуре 0.0.
- DPO сохраняет стабильность при изменении температуры генерации, в то время как PPO резко деградирует до уровня базовой модели при температуре 1.0.
Генерализация вне распределения (Out-of-Distribution, CNN/DailyMail): При zero-shot оценке на новостных статьях CNN/DailyMail без дополнительного дообучения DPO демонстрирует винрейт 0.36 против эталонных суммаризаций при температуре 0 (против 0.26 у PPO) и 0.31 при температуре 0.25 (против 0.23 у PPO).
Одношаговый диалог (Anthropic HH + Pythia-2.8B): DPO оказался единственным вычислительно легковесным методом из протестированных, который превзошел предпочтительные ответы из тестового набора, сравнившись или незначительно обогнав ресурсоемкий бейзлайн со сэмплированием Best-of-128.

Ограничения и открытые вопросы

Генерализация вне обучающего распределения: Хотя начальные тесты на CNN/DailyMail показывают хорошую переносимость, авторы подчеркивают необходимость дальнейших исследований того, как прямая оптимизация политики соотносится с обучением явной генерализуемой модели вознаграждения при более существенных сдвигах данных.
Переоптимизация вознаграждения (reward over-optimization): На поздних этапах обучения в диалоговых экспериментах авторы зафиксировали небольшое снижение качества; остается открытым вопрос, как именно классический «reward hacking» проявляется внутри неявных моделей вознаграждения.
Использование неразмеченных данных: В отличие от PPO, который может генерировать ответы на произвольных неразмеченных промптах во время rollouts в процессе RL, стандартный DPO является офлайн-алгоритмом, обучающимся на парах сравнений; его расширение с помощью псевдоразметки или итеративного сбора данных остается открытым направлением.
Зависимость от метода оценки: Автоматическая оценка во многом зависела от формулировки промпта для GPT-4 (лаконичный промпт против простого), что подчеркивает чувствительность методологии LLM-as-a-judge.

Ключевые термины

Direct Preference Optimization (DPO): Алгоритм выравнивания языковых моделей под предпочтения с использованием функции потерь бинарной кросс-энтропии непосредственно над логарифмическими отношениями вероятностей политики, обходящийся без явной модели вознаграждения и обучения с подкреплением.
Bradley-Terry model: Вероятностная модель парных сравнений, постулирующая, что вероятность предпочтения варианта $y_{1}$ перед $y_{2}$ зависит от логистической сигмоиды разности их вознаграждений.
KL-constrained reward maximization: Стандартная целевая функция оптимизации в RLHF, балансирующая максимизацию ожидаемого вознаграждения со штрафом за дивергенцию Кульбака — Лейблера между обучаемой и опорной политиками.
implicit reward: Функция вознаграждения $\overset{r}{^}_{θ} (x, y) = β lo g (π_{θ} (y ∣ x) / π_{ref} (y ∣ x))$ , математически вытекающая из политики языковой модели относительно опорной модели.
reference policy (\pi_{\text{ref}}): Базовая языковая модель (как правило, модель после supervised fine-tuning, SFT), используемая для ограничения дрейфа политики и задания неявного вознаграждения.
Best of N: Метод декодирования во время инференса, при котором из политики сэмплируется $N$ вариантов ответов, после чего выбирается кандидат с наивысшим баллом согласно обученной модели вознаграждения.
Plackett-Luce model: Обобщенная модель ранжирования для множеств, содержащих более двух элементов; модель Bradley-Terry является ее частным случаем для парных сравнений.
unlikelihood training: Метод обучения, максимизирующий правдоподобие предпочтительных ответов и напрямую штрафующий пословную вероятность непредпочтительных вариантов генерации.

Вопросы

Почему DPO не требует оценки статистической суммы Z(x)?

Статистическая сумма (нормировочный множитель) $Z (x)$ зависит исключительно от промпта $x$ и опорной политики, но не зависит от конкретной генерации $y$ . Поскольку парные модели предпочтений (такие как Bradley-Terry) зависят только от разности вознаграждений двух генераций для одного и того же промпта, $Z (x)$ сокращается алгебраически.

Как DPO предотвращает деградацию политики по сравнению с наивными методами unlikelihood training?

Градиент DPO содержит динамический весовой коэффициент $σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w}))$ , который масштабирует величину шага оптимизации в зависимости от того, насколько ошибочно неявное вознаграждение оценивает данную пару. Если модель уже оценивает $y_{w}$ значительно выше, чем $y_{l}$ , градиент стремится к нулю, предотвращая неограниченное падение вероятностей токенов.

Ограничивает ли DPO выразительную способность изучаемых функций вознаграждения?

Нет. Теорема 1 доказывает, что при стандартных допущениях каждый класс эквивалентности функций вознаграждения, порождающий корректные распределения предпочтений в моделях Bradley-Terry или Plackett-Luce, может быть единственным образом репараметризован в виде $r (x, y) = β lo g (π (y ∣ x) / π_{ref} (y ∣ x))$ .

Как инициализируется опорная политика, если исходная SFT-модель недоступна?

Если исходный чекпоинт SFT недоступен, авторы инициализируют $π_{ref}$ , обучая базовую предобученную LM максимизировать правдоподобие предпочтительных ответов $y_{w}$ из датасета предпочтений (Preferred-FT), что минимизирует сдвиг распределения.

Обзор на этой странице написан ИИ по тексту статьи и может содержать ошибки. Подробности смотрите в самой статье.

Читать с переводом и ИИ