Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Rafael Rafailov; Archit Sharma; Eric Mitchell; Stefano Ermon; Christopher D. Manning; Chelsea Finn

論文 · arXiv 2305.18290

直接偏好最佳化：你的語言模型骨子裡就是個獎勵模型 (Direct Preference Optimization: Your Language Model is Secretly a Reward Model)

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning, Chelsea Finn

發表於 2023-05-29cs.LGcs.AIcs.CL arXiv PDF

用 XYZNOT 閱讀（全文翻譯與 AI 講解）

三句話總結

📌 標準 RLHF 流程複雜、運算負擔龐大且不穩定，因為需要訓練獨立的獎勵模型，並透過在線策略取樣執行強化學習（例如 PPO）。
📌 DPO 利用 KL 約束 RL 目標的封閉形式最佳策略，以解析方式重新參數化 Bradley-Terry 偏好模型，直接透過二元交叉熵損失來最佳化策略。
📌 在 Reddit TL;DR 摘要任務中，DPO 面對參考生成的勝率達到約 61%（PPO 僅 57%），且在情緒控制的獎勵-KL 前緣表現全面壓制 PPO。

摘要

雖然大規模非監督式語言模型（LM）能學習到廣泛的世界知識與部分推理能力，但由於其訓練過程完全缺乏監督，要精準控制其行為仍相當困難。現行提升此類可控性的方法通常是蒐集人類對模型生成品質的相對偏好標註，並微調非監督 LM 以對齊這些偏好，其中最常使用的便是人類回饋強化學習（RLHF）。然而，RLHF 是一套複雜且往往不穩定的流程：首先必須擬合一個反映人類偏好的獎勵模型，接著使用強化學習微調大型非監督 LM，以最大化該估計獎勵，同時確保模型不會過度偏離原始基準。在本文中，我們提出了 RLHF 中獎勵模型的一種全新參數化方法，能以封閉形式（closed form）推導出對應的最佳策略，使我們僅憑簡單的分類損失就能解決標準的 RLHF 問題。由此衍生的演算法稱為直接偏好最佳化（Direct Preference Optimization, DPO），它具備穩定、高效且運算負擔輕的優勢，在微調期間無需從 LM 進行取樣，也不需要大量的超參數微調。我們的實驗證明，DPO 在對齊人類偏好的微調成效上，能達到或超越現有方法。值得注意的是，以 DPO 微調在控制生成語意情感的能力上超越了基於 PPO 的 RLHF，且在文本摘要與單輪對話的回答品質上表現相當或更佳，同時在實作與訓練複雜度上大幅簡化。

英文原文摘要

While large-scale unsupervised language models (LMs) learn broad world knowledge and some reasoning skills, achieving precise control of their behavior is difficult due to the completely unsupervised nature of their training. Existing methods for gaining such steerability collect human labels of the relative quality of model generations and fine-tune the unsupervised LM to align with these preferences, often with reinforcement learning from human feedback (RLHF). However, RLHF is a complex and often unstable procedure, first fitting a reward model that reflects the human preferences, and then fine-tuning the large unsupervised LM using reinforcement learning to maximize this estimated reward without drifting too far from the original model. In this paper we introduce a new parameterization of the reward model in RLHF that enables extraction of the corresponding optimal policy in closed form, allowing us to solve the standard RLHF problem with only a simple classification loss. The resulting algorithm, which we call Direct Preference Optimization (DPO), is stable, performant, and computationally lightweight, eliminating the need for sampling from the LM during fine-tuning or performing significant hyperparameter tuning. Our experiments show that DPO can fine-tune LMs to align with human preferences as well as or better than existing methods. Notably, fine-tuning with DPO exceeds PPO-based RLHF in ability to control sentiment of generations, and matches or improves response quality in summarization and single-turn dialogue while being substantially simpler to implement and train.

論文解讀

問題與研究動機

大型語言模型（LM）在非監督預訓練期間能獲得龐大的世界知識，但引導其輸出走向具幫助性且安全的行為依舊充滿挑戰。標準的人類回饋強化學習（RLHF）流程通常分三階段處理此問題：監督式微調（SFT）、在 Bradley-Terry 模型下透過最大概似法在成對偏好上擬合獎勵模型，以及透過強化學習（通常為 PPO）進行策略最佳化，以最大化估計獎勵並同時施加相對於參考策略 $π_{ref}$ 的 Kullback-Leibler（KL）散度懲罰。

然而，採用 actor-critic RL 演算法的 RLHF 是出了名的複雜、脆弱、對超參數高度敏感，且運算成本高昂，因為它需要在訓練迴圈中訓練多個模型（actor、critic、reference、reward model）並反覆進行生成取樣。

核心概念

策略與獎勵之間的解析對應：帶有 KL 約束的獎勵最大化目標 $max_{π_{θ}} E [r (x, y)] - β D_{KL} (π_{θ} ∥ π_{ref})$ 其最佳解具有已知的封閉形式表示： $π_{r} (y ∣ x) = \frac{1}{Z ( x )} π_{ref} (y ∣ x) exp (\frac{1}{β} r (x, y))$ 。
獎勵重新參數化：移項重組此等式後，即可透過最佳策略來表達真實獎勵： $r (x, y) = β lo g \frac{π ( y ∣ x )}{π _{ref} ( y ∣ x )} + β lo g Z (x)$ 。
配分函數的相消：在成對比較模型（如 Bradley-Terry）中，偏好機率僅取決於獎勵差值 $r (x, y_{w}) - r (x, y_{l})$ 。取決於 prompt 的未知配分函數 $β lo g Z (x)$ 會被完全相消。
隱式獎勵建模：DPO 捨棄了最佳化顯式純量獎勵網路並執行 RL 的做法，而是直接在靜態偏好配對資料 $D = {(x, y_{w}, y_{l})}$ 上透過最大概似法擬合策略。

方法（與核心方程式）

在 Bradley-Terry 偏好模型下，給定提示 $x$ 時，生成內容 $y_{w}$ 優於 $y_{l}$ 的機率為： $p^{*} (y_{w} ≻ y_{l} ∣ x) = σ (r^{*} (x, y_{w}) - r^{*} (x, y_{l}))$

代入策略隱含的獎勵 $\overset{r}{^}_{θ} (x, y) = β lo g \frac{π _{θ} ( y ∣ x )}{π _{ref} ( y ∣ x )}$ ，即可推導出**直接偏好最佳化（Direct Preference Optimization, DPO）**的目標函數： $L_{DPO} (π_{θ}; π_{ref}) = - E_{(x, y_{w}, y_{l}) \sim D} [lo g σ (β lo g \frac{π _{θ} ( y _{w} ∣ x )}{π _{ref} ( y _{w} ∣ x )} - β lo g \frac{π _{θ} ( y _{l} ∣ x )}{π _{ref} ( y _{l} ∣ x )})]$

對策略參數 $θ$ 的梯度為： $\nabla_{θ} L_{DPO} (π_{θ}; π_{ref}) = - β E_{(x, y_{w}, y_{l}) \sim D} [σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w})) [\nabla_{θ} lo g π_{θ} (y_{w} ∣ x) - \nabla_{θ} lo g π_{θ} (y_{l} ∣ x)]]$

在此，梯度會提升 $y_{w}$ 的概似度並降低 $y_{l}$ 的概似度。動態純量權重 $σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w}))$ 會依據隱式獎勵目前對該配對評分的錯誤程度來縮放更新幅度，有效防止未加權概似目標常見的模型退化問題。

研究成果（與關鍵數據）

受控情感生成（IMDb + GPT-2-large）：DPO 在整個獎勵-KL 前緣上嚴格優於 PPO，在相對於 $π_{ref}$ 的各個序列級 KL 散度水準下均取得更高的獎勵，甚至擊敗了取得真實 Oracle 獎勵的 PPO（PPO-GT）。
TL;DR 文本摘要（GPT-J 6B）：
- 在 temperature 為 0.0 時，以 GPT-4 評估，DPO 面對參考生成的勝率約為 61%，而 PPO（在其最佳 temperature 0.0 下）僅為 57%。
- 在比較 TL;DR 正面摘要對決的人類評測中，DPO 在 temperature 0.25 下的生成結果有 58% 的比率被評為優於 PPO 在 temperature 0.0 下的生成結果。
- DPO 在各種 temperature 下均維持穩定性，而 PPO 在 temperature 達到 1.0 時會急劇退化至基準模型水準。
分佈外泛化能力（CNN/DailyMail）：在未經進一步微調的情況下直接於 CNN/DailyMail 新聞文章進行零樣本評估，DPO 在 temperature 0 時對比真實摘要的勝率為 0.36（PPO 為 0.26）；在 temperature 0.25 時為 0.31（PPO 為 0.23）。
單輪對話（Anthropic HH + Pythia-2.8B）：DPO 是測試中唯一運算輕量且能勝過測試集偏好生成的方法，效能媲美或略微勝過運算成本極高的 Best-of-128 取樣基準。

局限性與開放問題

分佈外（OOD）泛化：雖然在 CNN/DailyMail 上的初步測試表現出強大的遷移能力，但論文指出，仍需深入研究直接策略最佳化與學習顯式且具泛化力的獎勵模型在面對更廣泛的分佈偏移時有何差異。
獎勵過度最佳化（Reward over-optimization）：作者在對話實驗的訓練後期觀察到輕微的效能下降，隱式獎勵模型內部是否存在經典的「獎勵作弊（reward hacking）」或過度最佳化，機制為何仍待釐清。
未標註資料的利用：PPO 可以在 RL rollout 期間針對任意未標註的 prompt 進行生成，相較之下，標準 DPO 是在成對比較資料上訓練的離線演算法；如何透過自我標註或迭代蒐集進行延伸仍是開放領域。
評估依賴性：自動評估高度依賴 GPT-4 的提示詞撰寫（精簡提示 vs. 簡易提示），凸顯了以 LLM 作為評判者（LLM-as-a-judge）方法論的敏感性。

關鍵術語

Direct Preference Optimization (DPO): 一種演算法，直接利用策略對數比值的二元交叉熵損失來對齊語言模型與人類偏好，完全繞過顯式獎勵建模與強化學習。
Bradley-Terry model: 一種用於成對比較的機率模型，規定偏好生成結果 $y_{1}$ 勝過 $y_{2}$ 的機率取決於兩者獎勵差值的邏輯 Sigmoid 函數。
KL-constrained reward maximization: 標準的 RLHF 最佳化目標，在最大化預期獎勵的同時，懲罰學習到的策略與參考策略之間的 Kullback-Leibler 散度。
implicit reward: 語言模型策略相對於參考模型在數學上所隱含的獎勵函數 $\overset{r}{^}_{θ} (x, y) = β lo g (π_{θ} (y ∣ x) / π_{ref} (y ∣ x))$ 。
reference policy (\pi_{\text{ref}}): 用來約束策略漂移並定義隱式獎勵的基準語言模型——通常是監督式微調（SFT）模型。
Best of N: 一種測試階段的解碼基準，從策略中取樣 $N$ 個生成結果，並從中選擇經訓練獎勵模型評分最高的一項。
Plackett-Luce model: 一種適用於多於兩個項目之集合的廣義排序模型，Bradley-Terry 模型可視為其成對比較的特例。
unlikelihood training: 一種基準訓練技術，在最大化偏好生成概似度的同時，直接懲罰非偏好生成的 token 概似度。

常見問題

為什麼 DPO 不需要估計配分函數 Z(x)？

配分函數 $Z (x)$ 僅取決於提示 $x$ 與參考策略，與生成內容 $y$ 無關。由於成對偏好模型（如 Bradley-Terry）僅取決於同一提示下兩個生成內容的獎勵差值，因此 $Z (x)$ 在代數計算上被完全相消。

相較於單純的 unlikelihood 目標，DPO 如何避免策略退化？

DPO 的梯度包含一個動態權重項 $σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w}))$ ，它會根據隱式獎勵對該配對排序的錯誤程度來調整梯度更新幅度。若模型評定 $y_{w}$ 已遠高於 $y_{l}$ ，梯度便會趨近於零，從而防止無約束的機率瓦解。

DPO 是否會限制所學到之獎勵函數的表達能力？

不會。定理 1 證明在溫和的假設下，凡是在 Bradley-Terry 或 Plackett-Luce 模型下能誘發有效偏好分佈的每個獎勵等價類，都能唯一地重新參數化為 $r (x, y) = β lo g (π (y ∣ x) / π_{ref} (y ∣ x))$ 的形式。

如果沒有原始的 SFT 模型，該如何初始化參考策略？

當無法取得原始 SFT 檢查點時，作者透過訓練現成的 LM 來最大化偏好資料集中偏好生成內容 $y_{w}$ 的概似度（Preferred-FT）以初始化 $π_{ref}$ ，藉此減緩分佈偏移問題。

本頁解讀由 AI 根據論文生成，可能有錯誤；細節請以原文為準。

用 XYZNOT 閱讀（全文翻譯與 AI 講解）