Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Rafael Rafailov; Archit Sharma; Eric Mitchell; Stefano Ermon; Christopher D. Manning; Chelsea Finn

论文 · arXiv 2305.18290

直接偏好优化：你的语言模型本质上就是奖励模型

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning, Chelsea Finn

发表于 2023-05-29cs.LGcs.AIcs.CL arXiv PDF

用 XYZNOT 阅读（全文翻译与 AI 讲解）

三句话总结

📌 标准的 RLHF 流程复杂、计算开销大且不稳定，因为它需要训练一个独立的奖励模型，并使用在线策略采样运行强化学习（如 PPO）。
📌 DPO 利用 KL 约束强化学习目标的闭式最优策略，对 Bradley-Terry 偏好模型进行解析重参数化，直接使用二元交叉熵损失优化策略。
📌 在 Reddit TL;DR 摘要任务中，DPO 相比参考生成取得了约 61% 的胜率（PPO 为 57%），并在情感控制的奖励-KL 前沿上全面超越 PPO。

摘要

尽管大规模无监督语言模型（LM）能够习得广泛的世界知识和一定的推理能力，但由于其训练完全采用无监督方式，精确控制它们的行为依然十分困难。现有的提升可控性的方法通常是收集人类对模型生成结果相对质量的标注，并通过对齐这些偏好来微调无监督语言模型，这往往通过人类反馈强化学习（RLHF）来实现。然而，RLHF 是一个复杂且常常不稳定的过程：它首先拟合一个反映人类偏好的奖励模型，然后使用强化学习微调庞大的无监督语言模型，以在不偏离原始模型太远的前提下最大化该预估奖励。在本文中，我们提出了 RLHF 中奖励模型的一种全新参数化方法，该方法能够以闭式解导出对应的最优策略，从而使我们仅需一个简单的分类损失即可解决标准的 RLHF 问题。由此诞生的算法被我们称为直接偏好优化（Direct Preference Optimization, DPO）。它稳定、高效且计算开销低，消除了在微调期间从语言模型中进行采样的需要，也无需进行大量的超参数调优。我们的实验表明，DPO 在使语言模型与人类偏好对齐方面的效果可以媲美甚至优于现有方法。值得注意的是，通过 DPO 进行微调在控制生成情感的能力上超过了基于 PPO 的 RLHF，在摘要生成和单轮对话任务中达到或提升了回答质量，同时实现和训练过程明显更为简单。

英文原文摘要

While large-scale unsupervised language models (LMs) learn broad world knowledge and some reasoning skills, achieving precise control of their behavior is difficult due to the completely unsupervised nature of their training. Existing methods for gaining such steerability collect human labels of the relative quality of model generations and fine-tune the unsupervised LM to align with these preferences, often with reinforcement learning from human feedback (RLHF). However, RLHF is a complex and often unstable procedure, first fitting a reward model that reflects the human preferences, and then fine-tuning the large unsupervised LM using reinforcement learning to maximize this estimated reward without drifting too far from the original model. In this paper we introduce a new parameterization of the reward model in RLHF that enables extraction of the corresponding optimal policy in closed form, allowing us to solve the standard RLHF problem with only a simple classification loss. The resulting algorithm, which we call Direct Preference Optimization (DPO), is stable, performant, and computationally lightweight, eliminating the need for sampling from the LM during fine-tuning or performing significant hyperparameter tuning. Our experiments show that DPO can fine-tune LMs to align with human preferences as well as or better than existing methods. Notably, fine-tuning with DPO exceeds PPO-based RLHF in ability to control sentiment of generations, and matches or improves response quality in summarization and single-turn dialogue while being substantially simpler to implement and train.

论文解读

问题与动机

大型语言模型（LM）在无监督预训练期间获得了大量的世界知识，但引导其输出符合有用且安全的行为仍然具有挑战性。标准的人类反馈强化学习（RLHF）流程通常分三个阶段解决这一问题：监督微调（SFT）、在 Bradley-Terry 模型下通过极大似然估计在成对偏好数据上拟合奖励模型，以及通过强化学习（通常是 PPO）进行策略优化，在施加相对于参考策略 $π_{ref}$ 的 Kullback-Leibler (KL) 散度惩罚的同时最大化预估奖励。

然而，采用 Actor-Critic 强化学习算法的 RLHF 是出了名的复杂、脆弱、对超参数敏感，并且计算成本高昂，因为它需要训练多个模型（Actor、Critic、参考模型、奖励模型），并在训练循环中对生成结果进行采样。

核心思想

策略与奖励之间的解析映射：KL 约束奖励最大化目标 $max_{π_{θ}} E [r (x, y)] - β D_{KL} (π_{θ} ∥ π_{ref})$ 的最优解具有已知的闭式表达式： $π_{r} (y ∣ x) = \frac{1}{Z ( x )} π_{ref} (y ∣ x) exp (\frac{1}{β} r (x, y))$ 。
奖励重参数化：变换该等式，可以将真实奖励通过最优策略表示出来： $r (x, y) = β lo g \frac{π ( y ∣ x )}{π _{ref} ( y ∣ x )} + β lo g Z (x)$ 。
配分函数的消除：在成对比较模型（如 Bradley-Terry）下，偏好概率仅取决于奖励差值 $r (x, y_{w}) - r (x, y_{l})$ 。未知的、依赖于提示词的配分函数 $β lo g Z (x)$ 被完全抵消。
隐式奖励建模：DPO 不需要优化显式的标量奖励网络并运行强化学习，而是直接在静态偏好对数据集 $D = {(x, y_{w}, y_{l})}$ 上通过极大似然估计来拟合策略。

方法（及核心公式）

在 Bradley-Terry 偏好模型下，给定提示词 $x$ ，生成结果 $y_{w}$ 优于 $y_{l}$ 的概率为： $p^{*} (y_{w} ≻ y_{l} ∣ x) = σ (r^{*} (x, y_{w}) - r^{*} (x, y_{l}))$

代入由策略隐式表示的奖励 $\overset{r}{^}_{θ} (x, y) = β lo g \frac{π _{θ} ( y ∣ x )}{π _{ref} ( y ∣ x )}$ ，可得出**直接偏好优化（DPO）**的目标函数： $L_{DPO} (π_{θ}; π_{ref}) = - E_{(x, y_{w}, y_{l}) \sim D} [lo g σ (β lo g \frac{π _{θ} ( y _{w} ∣ x )}{π _{ref} ( y _{w} ∣ x )} - β lo g \frac{π _{θ} ( y _{l} ∣ x )}{π _{ref} ( y _{l} ∣ x )})]$

关于策略参数 $θ$ 的梯度为： $\nabla_{θ} L_{DPO} (π_{θ}; π_{ref}) = - β E_{(x, y_{w}, y_{l}) \sim D} [σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w})) [\nabla_{θ} lo g π_{θ} (y_{w} ∣ x) - \nabla_{θ} lo g π_{θ} (y_{l} ∣ x)]]$

在此，梯度增加了 $y_{w}$ 的似然，并降低了 $y_{l}$ 的似然。动态标量权重 $σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w}))$ 根据当前隐式奖励对偏好对打分的错误程度来缩放更新幅度，从而防止了使用无权重似然目标时出现的模型退化问题。

实验结果（及关键数据）

可控情感生成（IMDb + GPT-2-large）：DPO 在整个奖励-KL 前沿上均严格优于 PPO，在相对于 $π_{ref}$ 的各个序列级 KL 散度水平上都获得了更高的奖励，甚至优于提供了真实 Oracle 奖励的 PPO（PPO-GT）。
TL;DR 摘要（GPT-J 6B）：
- 在采样温度为 0.0 时，经 GPT-4 评估，DPO 相比参考生成达到了约 61% 的胜率，而 PPO（在其最优温度 0.0 下）为 57%。
- 在 TL;DR 摘要的面对面人类评估实验中，DPO 在温度 0.25 下的生成结果相比 PPO 在温度 0.0 下的生成结果，有 58% 的时间更受青睐。
- DPO 在不同温度下均能保持稳定性，而 PPO 在温度为 1.0 时性能急剧退化并趋向于基座模型。
分布外泛化（CNN/DailyMail）：在没有进一步微调的情况下在 CNN/DailyMail 新闻文章上进行零样本评估，DPO 在温度为 0 时相比真实摘要取得了 0.36 的胜率（PPO 为 0.26），在温度为 0.25 时取得了 0.31 的胜率（PPO 为 0.23）。
单轮对话（Anthropic HH + Pythia-2.8B）：DPO 是测试中唯一一个在表现上超过测试集最优生成结果的轻量计算方法，可达到甚至略微超越计算代价高昂的 Best-of-128 采样基线。

局限性与开放问题

分布外泛化：虽然在 CNN/DailyMail 上的初步测试显示出了强大的迁移能力，但论文指出，仍需要更多研究来理解在更广泛的分布偏移下，直接策略优化与学习显式、可泛化的奖励模型之间的差异。
奖励过度优化：作者观察到在对话实验的训练后期性能略有下降，这使得经典的“奖励黑客（reward hacking）”或过度优化问题是否以及如何在隐式奖励模型中出现仍是一个未解之谜。
无标注数据的利用：不同于 PPO 可以在 RL 采样阶段针对任意无标注提示词进行生成，标准 DPO 是一种在成对比较数据上训练的离线算法；通过自标注或迭代式收集对其进行扩展是一个开放的研究方向。
评测依赖性：自动化评估在很大程度上依赖于 GPT-4 的提示词措辞（简洁提示词与简单提示词），突显了 LLM-as-a-judge（大语言模型作为裁判）方法论的敏感性。

关键术语

Direct Preference Optimization (DPO): 一种直接利用策略对数比率上的二元交叉熵损失将语言模型与偏好对齐的算法，跳过了显式奖励建模和强化学习。
Bradley-Terry model: 一种用于成对比较的概率模型，规定偏好生成结果 $y_{1}$ 胜过 $y_{2}$ 的概率取决于两者奖励差值的逻辑 Sigmoid 函数。
KL-constrained reward maximization: 标准的 RLHF 优化目标，旨在权衡最大化预期奖励与惩罚学得策略与参考策略之间的 Kullback-Leibler 散度。
implicit reward: 由语言模型策略相对于参考模型在数学上隐式表达的奖励函数 $\overset{r}{^}_{θ} (x, y) = β lo g (π_{θ} (y ∣ x) / π_{ref} (y ∣ x))$ 。
reference policy (\pi_{\text{ref}}): 用于约束策略漂移并定义隐式奖励的基线语言模型，通常为监督微调（SFT）模型。
Best of N: 一种测试期解码基线，从策略中采样 $N$ 个生成结果，并从学得的奖励模型中选出得分最高的一个候选。
Plackett-Luce model: 一种针对包含两个以上项目集合的广义排序模型，Bradley-Terry 模型是其在成对情况下的特例。
unlikelihood training: 一种基线训练技术，在最大化所偏好生成的似然的同时，直接惩罚非偏好生成的 token 似然。

常见问题

为什么 DPO 不需要估计配分函数 Z(x)？

配分函数 $Z (x)$ 仅取决于提示词 $x$ 和参考策略，而不依赖于生成结果 $y$ 。由于成对偏好模型（如 Bradley-Terry）仅取决于针对同一提示词的两个生成结果的奖励差值，因此 $Z (x)$ 在代数上被完全抵消。

与朴素的非似然目标相比，DPO 是如何避免策略退化的？

DPO 的梯度包含一个动态权重项 $σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w}))$ ，该权重根据隐式奖励对该偏好对排序的错误程度来缩放梯度更新。如果模型对 $y_{w}$ 的评分已经远高于 $y_{l}$ ，梯度就会趋向于零，从而防止不受约束的概率坍塌。

DPO 会限制所学奖励函数的表达能力吗？

不会。定理 1 证明，在温和的假设下，在 Bradley-Terry 或 Plackett-Luce 模型下能够诱导出有效偏好分布的每一个奖励等价类，都可以唯一地重参数化为 $r (x, y) = β lo g (π (y ∣ x) / π_{ref} (y ∣ x))$ 的形式。

如果原始 SFT 模型不可用，参考策略该如何初始化？

当原始 SFT 检查点不可用时，作者通过训练现成的 LM 来最大化偏好数据集中所偏好生成 $y_{w}$ 的似然（Preferred-FT）来初始化 $π_{ref}$ ，从而缓解分布偏移问题。

本页解读由 AI 根据论文生成，可能有错误；细节请以原文为准。

用 XYZNOT 阅读（全文翻译与 AI 讲解）