Direct Preference Optimization: 言語モデルは本質的に報酬モデルである

論文解説

問題設定と動機

大規模言語モデル（LM）は教師なし事前学習の過程で膨大な世界知識を獲得しますが、その出力を有用かつ安全な振る舞いへと誘導することは依然として課題です。標準的な人間のフィードバックによる強化学習（RLHF）パイプラインは、これを3つの段階で処理します。すなわち、教師ありファインチューニング（SFT）、Bradley-Terryモデルの下での最尤推定によりペアごとの選好データに報酬モデルを適合させるプロセス、そして参照ポリシー ${\pi }_{\text{ref}}$ に対するカルバック・ライブラー（KL）ダイバージェンスのペナルティを課しながら推定報酬を最大化する強化学習（通常はPPO）によるポリシーの最適化です。

しかし、Actor-Critic強化学習アルゴリズムを用いたRLHFは、訓練ループ内で複数のモデル（Actor、Critic、Reference、Reward Model）を保持し、生成サンプリングを行う必要があるため、極めて複雑で脆弱であり、ハイパーパラメータに敏感で計算コストが高いという問題があります。

主要なアイデア

• ポリシーと報酬の間の解析的マッピング: KL制約付き報酬最大化の目的関数 ${\max }_{{\pi }_{\theta }}\mathbb{E}[r(x,y)]-\beta {\mathbb{D}}_{\text{KL}}({\pi }_{\theta }\parallel {\pi }_{\text{ref}})$ に対する最適解は、既知の閉形式表現を持ちます: ${\pi }_r(y\mid x)=\frac{1}{Z(x)}{\pi }_{\text{ref}}(y\mid x)\exp \left(\frac{1}{\beta }r(x,y)\right)$。
• 報酬の再パラメータ化: この恒等式を変形することで、正解の報酬関数を最適ポリシーを用いて表現できます: $r(x,y)=\beta \log \frac{\pi (y\mid x)}{{\pi }_{\text{ref}}(y\mid x)}+\beta \log Z(x)$。
• 分配関数の相殺: Bradley-Terryのような一対比較モデルの下では、選好確率は報酬の差 $r(x,y_w)-r(x,y_l)$ にのみ依存します。したがって、プロンプトに依存する未知の分配関数 $\beta \log Z(x)$ は完全に相殺されます。
• 陰的（implicit）報酬モデリング: 明示的なスカラー報酬ネットワークを最適化して強化学習を実行する代わりに、DPOは静的な選好ペアのデータセット $\mathcal{D}=\{(x,y_w,y_l)\}$ 上の最尤推定を介してポリシーを直接適合させます。

手法（主要な数式を含む）

Bradley-Terry選好モデルの下で、プロンプト $x$ が与えられたときに生成物 $y_w$ が $y_l$ よりも好まれる確率は次のようになります: $$p^{\ast }(y_w\succ y_l\mid x)=\sigma (r^{\ast }(x,y_w)-r^{\ast }(x,y_l))$$

ポリシーから導かれる陰的報酬 ${\hat{r}}_{\theta }(x,y)=\beta \log \frac{{\pi }_{\theta }(y\mid x)}{{\pi }_{\text{ref}}(y\mid x)}$ を代入すると、Direct Preference Optimization (DPO) の目的関数が得られます: $${\mathcal{L}}_{\text{DPO}}({\pi }_{\theta };{\pi }_{\text{ref}})=-{\mathbb{E}}_{(x,y_w,y_l)\sim \mathcal{D}}\left[\log \sigma \left(\beta \log \frac{{\pi }_{\theta }(y_w\mid x)}{{\pi }_{\text{ref}}(y_w\mid x)}-\beta \log \frac{{\pi }_{\theta }(y_l\mid x)}{{\pi }_{\text{ref}}(y_l\mid x)}\right)\right]$$

ポリシーパラメータ $\theta$ に関する勾配は次の通りです: $${\nabla }_{\theta }{\mathcal{L}}_{\text{DPO}}({\pi }_{\theta };{\pi }_{\text{ref}})=-\beta {\mathbb{E}}_{(x,y_w,y_l)\sim \mathcal{D}}\left[\sigma ({\hat{r}}_{\theta }(x,y_l)-{\hat{r}}_{\theta }(x,y_w))\left[{\nabla }_{\theta }\log {\pi }_{\theta }(y_w\mid x)-{\nabla }_{\theta }\log {\pi }_{\theta }(y_l\mid x)\right]\right]$$

ここで勾配は $y_w$ の尤度を増加させ、$y_l$ の尤度を減少させます。動的なスカラー重み $\sigma ({\hat{r}}_{\theta }(x,y_l)-{\hat{r}}_{\theta }(x,y_w))$ は、現在の陰的報酬がそのペアをどれだけ誤ってスコアリングしているかに応じて更新量をスケーリングし、重み付けのない尤度目的関数で発生するモデルの破綻を防ぎます。

実験結果（主要な数値）

• 制御された感情生成（IMDb + GPT-2-large）: DPOは報酬-KLフロンティア全体においてPPOを一貫して上回り、${\pi }_{\text{ref}}$ からの系列レベルのKLダイバージェンスのすべての値においてより高い報酬を達成しました。正解のオラクル報酬を与えられたPPO（PPO-GT）すら凌駕しています。
• TL;DR 要約タスク（GPT-J 6B）:
  • 温度0.0において、DPOはGPT-4による評価で参照生成物に対して約61%の勝率を記録しました（PPOの最適温度0.0での勝率は57%）。
  • TL;DR上で直接対決させた要約の人間による評価では、温度0.25のDPO生成物が、温度0.0のPPO生成物に対して**58%**の割合で好まれました。
  • PPOは温度1.0でベースモデルに向かって急激に性能が低下するのに対し、DPOは異なる温度間でも安定性を維持しました。
• 分布外汎化（CNN/DailyMail）: CNN/DailyMailのニュース記事に対して追加ファインチューニングなしでゼロショット評価を行ったところ、DPOは正解要約に対して温度0で勝率0.36（PPOは0.26）、温度0.25で0.31（PPOは0.23）を達成しました。
• シングルターン対話（Anthropic HH + Pythia-2.8B）: DPOは、テストセットの好ましい生成物を上回る性能を示した唯一の計算軽量な手法であり、計算コストの高いBest-of-128サンプリングベースラインと同等以上の結果を出しました。

限界と未解決の課題

• 分布外への汎化: CNN/DailyMailでの初期検証では強力な転移性能を示しているものの、より広範な分布シフトにおいて直接的なポリシー最適化が明示的な汎化可能報酬モデルの学習とどう比較されるかについては、さらなる研究が必要であると指摘されています。
• 報酬の過剰最適化（Reward over-optimization）: 対話実験の訓練終盤において性能のわずかな低下が観察されており、陰的報酬モデルの内部で従来の「報酬ハッキング」や過剰最適化が発生するかどうか、またどのように生じるかは未解決です。
• ラベルなしデータの活用: 強化学習のロールアウト中に任意のラベルなしプロンプトで生成を行えるPPOとは異なり、標準的なDPOはペア比較データで訓練されるオフラインアルゴリズムです。自己ラベリングや反復収集による拡張はオープンな研究領域です。
• 評価への依存性: 自動評価はGPT-4のプロンプト表現（簡潔なプロンプトか単純なプロンプトか）に大きく依存しており、LLM-as-a-judge評価手法の感度における課題が浮き彫りになりました。