Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Rafael Rafailov; Archit Sharma; Eric Mitchell; Stefano Ermon; Christopher D. Manning; Chelsea Finn

Makalah · arXiv 2305.18290

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning, Chelsea Finn

Terbit 2023-05-29cs.LGcs.AIcs.CL arXiv PDF

Baca dengan terjemahan dan AI

Ringkasan tiga baris

Alur kerja RLHF standar bersifat kompleks, berat secara komputasi, dan tidak stabil karena memerlukan pelatihan reward model terpisah serta menjalankan reinforcement learning (misalnya PPO) dengan sampling kebijakan daring.
DPO memparameterisasi ulang model preferensi Bradley-Terry secara analitis menggunakan kebijakan optimal bentuk tertutup dari tujuan RL dengan batasan KL, mengoptimalkan kebijakan secara langsung dengan loss binary cross-entropy.
Pada peringkasan Reddit TL;DR, DPO mencapai win rate ~61% terhadap penyelesaian referensi (dibandingkan 57% untuk PPO) dan mendominasi PPO di seluruh batas reward-KL dalam kontrol sentimen.

Abstrak

Meskipun model bahasa (LM) tanpa pengawasan berskala besar mempelajari pengetahuan dunia yang luas dan beberapa keterampilan penalaran, mencapai kontrol yang tepat atas perilakunya sulit dilakukan karena sifat pelatihannya yang sepenuhnya tanpa pengawasan. Metode yang ada untuk memperoleh kemampuan kendali tersebut mengumpulkan label manusia mengenai kualitas relatif dari generasi model dan melakukan fine-tuning pada LM tanpa pengawasan agar selaras dengan preferensi ini, sering kali dengan reinforcement learning from human feedback (RLHF). Namun, RLHF adalah prosedur yang kompleks dan sering kali tidak stabil, yang pertama-tama mencocokkan reward model yang mencerminkan preferensi manusia, lalu melakukan fine-tuning pada LM besar tanpa pengawasan menggunakan reinforcement learning untuk memaksimalkan estimasi reward ini tanpa menyimpang terlalu jauh dari model aslinya. Dalam makalah ini, kami memperkenalkan parameterisasi baru dari reward model dalam RLHF yang memungkinkan ekstraksi kebijakan optimal yang sesuai dalam bentuk tertutup (closed form), memungkinkan kami untuk memecahkan masalah standar RLHF hanya dengan loss klasifikasi sederhana. Algoritma yang dihasilkan, yang kami sebut Direct Preference Optimization (DPO), bersifat stabil, berkinerja tinggi, dan ringan secara komputasi, menghilangkan kebutuhan untuk melakukan sampling dari LM selama fine-tuning atau melakukan penyesuaian hiperparameter yang signifikan. Eksperimen kami menunjukkan bahwa DPO dapat melakukan fine-tuning pada LM agar selaras dengan preferensi manusia sama baiknya atau lebih baik daripada metode yang ada. Secara khusus, fine-tuning dengan DPO melampaui RLHF berbasis PPO dalam kemampuan mengontrol sentimen generasi, serta menyamai atau meningkatkan kualitas respons dalam peringkasan dan dialog putaran tunggal (single-turn) sembari jauh lebih sederhana untuk diimplementasikan dan dilatih.

Abstrak asli (bahasa Inggris)

While large-scale unsupervised language models (LMs) learn broad world knowledge and some reasoning skills, achieving precise control of their behavior is difficult due to the completely unsupervised nature of their training. Existing methods for gaining such steerability collect human labels of the relative quality of model generations and fine-tune the unsupervised LM to align with these preferences, often with reinforcement learning from human feedback (RLHF). However, RLHF is a complex and often unstable procedure, first fitting a reward model that reflects the human preferences, and then fine-tuning the large unsupervised LM using reinforcement learning to maximize this estimated reward without drifting too far from the original model. In this paper we introduce a new parameterization of the reward model in RLHF that enables extraction of the corresponding optimal policy in closed form, allowing us to solve the standard RLHF problem with only a simple classification loss. The resulting algorithm, which we call Direct Preference Optimization (DPO), is stable, performant, and computationally lightweight, eliminating the need for sampling from the LM during fine-tuning or performing significant hyperparameter tuning. Our experiments show that DPO can fine-tune LMs to align with human preferences as well as or better than existing methods. Notably, fine-tuning with DPO exceeds PPO-based RLHF in ability to control sentiment of generations, and matches or improves response quality in summarization and single-turn dialogue while being substantially simpler to implement and train.

Panduan membaca

Masalah dan motivasi

Model bahasa besar (LM) memperoleh pengetahuan dunia yang sangat luas selama pra-pelatihan tanpa pengawasan, tetapi mengarahkan keluarannya menuju perilaku yang bermanfaat dan aman tetap merupakan tantangan. Alur kerja standar Reinforcement Learning from Human Feedback (RLHF) mengatasi hal ini dalam tiga tahap: Supervised Fine-Tuning (SFT), mencocokkan reward model pada preferensi berpasangan melalui maximum likelihood di bawah model Bradley-Terry, dan pengoptimalan kebijakan melalui reinforcement learning (biasanya PPO) untuk memaksimalkan estimasi reward sembari memberlakukan penalti divergensi Kullback-Leibler (KL) relatif terhadap kebijakan referensi $π_{ref}$ .

Namun, RLHF dengan algoritma RL actor-critic terkenal sangat kompleks, rapuh, sensitif terhadap hiperparameter, dan membutuhkan biaya komputasi tinggi karena memerlukan pelatihan beberapa model (actor, critic, referensi, reward model) serta melakukan sampling generasi di dalam loop pelatihan.

Ide-ide utama

Pemetaan analitis antara kebijakan dan reward: Solusi optimal untuk tujuan maksimisasi reward dengan batasan KL $max_{π_{θ}} E [r (x, y)] - β D_{KL} (π_{θ} ∥ π_{ref})$ memiliki representasi bentuk tertutup yang diketahui: $π_{r} (y ∣ x) = \frac{1}{Z ( x )} π_{ref} (y ∣ x) exp (\frac{1}{β} r (x, y))$ .
Parameterisasi ulang reward: Mengatur ulang identitas ini memungkinkan reward ground-truth diekspresikan melalui kebijakan optimal: $r (x, y) = β lo g \frac{π ( y ∣ x )}{π _{ref} ( y ∣ x )} + β lo g Z (x)$ .
Peniadaan fungsi partisi: Di bawah model perbandingan berpasangan seperti Bradley-Terry, probabilitas preferensi hanya bergantung pada selisih reward $r (x, y_{w}) - r (x, y_{l})$ . Fungsi partisi $β lo g Z (x)$ yang bergantung pada prompt dan tidak diketahui ini saling meniadakan secara keseluruhan.
Pemodelan reward implisit: Alih-alih mengoptimalkan jaringan reward skalar eksplisit dan menjalankan RL, DPO mencocokkan kebijakan secara langsung melalui maximum likelihood pada pasangan preferensi statis $D = {(x, y_{w}, y_{l})}$ .

Metode (dengan persamaan-persamaan kunci)

Di bawah model preferensi Bradley-Terry, probabilitas bahwa penyelesaian $y_{w}$ lebih disukai daripada $y_{l}$ untuk prompt $x$ tertentu adalah: $p^{*} (y_{w} ≻ y_{l} ∣ x) = σ (r^{*} (x, y_{w}) - r^{*} (x, y_{l}))$

Dengan mensubstitusikan reward tersirat dari kebijakan $\overset{r}{^}_{θ} (x, y) = β lo g \frac{π _{θ} ( y ∣ x )}{π _{ref} ( y ∣ x )}$ , diperoleh fungsi tujuan Direct Preference Optimization (DPO): $L_{DPO} (π_{θ}; π_{ref}) = - E_{(x, y_{w}, y_{l}) \sim D} [lo g σ (β lo g \frac{π _{θ} ( y _{w} ∣ x )}{π _{ref} ( y _{w} ∣ x )} - β lo g \frac{π _{θ} ( y _{l} ∣ x )}{π _{ref} ( y _{l} ∣ x )})]$

Gradien terhadap parameter kebijakan $θ$ adalah: $\nabla_{θ} L_{DPO} (π_{θ}; π_{ref}) = - β E_{(x, y_{w}, y_{l}) \sim D} [σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w})) [\nabla_{θ} lo g π_{θ} (y_{w} ∣ x) - \nabla_{θ} lo g π_{θ} (y_{l} ∣ x)]]$

Di sini, gradien meningkatkan kemungkinan $y_{w}$ dan menurunkan kemungkinan $y_{l}$ . Bobot skalar dinamis $σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w}))$ menskalakan pembaruan berdasarkan seberapa salah reward implisit saat ini menilai pasangan tersebut, mencegah degenerasi model yang sering terjadi pada fungsi tujuan likelihood tanpa pembobotan.

Hasil (dengan angka-angka terpenting)

Generasi Sentimen Terkendali (IMDb + GPT-2-large): DPO secara ketat mendominasi PPO di seluruh batas reward-KL, mencapai reward yang lebih tinggi pada setiap tingkat divergensi KL tingkat urutan dari $π_{ref}$ , bahkan melampaui PPO yang diberikan reward oracle ground-truth (PPO-GT).
Peringkasan TL;DR (GPT-J 6B):
- Pada suhu 0.0, DPO mencapai sekitar 61% win rate terhadap penyelesaian referensi yang dievaluasi oleh GPT-4, dibandingkan dengan 57% untuk PPO (pada suhu optimalnya 0.0).
- Dalam studi manusia yang membandingkan ringkasan head-to-head pada TL;DR, penyelesaian DPO pada suhu 0.25 lebih disukai sebanyak 58% dibandingkan penyelesaian PPO pada suhu 0.0.
- DPO mempertahankan stabilitas di berbagai variasi suhu, sedangkan kinerja PPO menurun drastis mendekati model dasar pada suhu 1.0.
Generalisasi Out-of-Distribution (CNN/DailyMail): Dievaluasi secara zero-shot pada artikel berita CNN/DailyMail tanpa fine-tuning lebih lanjut, DPO mencapai win rate 0.36 terhadap ringkasan ground-truth pada suhu 0 (vs. 0.26 untuk PPO), dan 0.31 pada suhu 0.25 (vs. 0.23 untuk PPO).
Dialog Putaran Tunggal (Anthropic HH + Pythia-2.8B): DPO adalah satu-satunya metode ringan secara komputasi yang diuji yang melampaui penyelesaian preferred pada set uji, menyamai atau sedikit mengungguli baseline sampling Best-of-128 yang memakan biaya komputasi besar.

Keterbatasan dan pertanyaan terbuka

Generalisasi out-of-distribution: Meskipun pengujian awal pada CNN/DailyMail menunjukkan transfer yang kuat, makalah ini mencatat bahwa studi lebih lanjut diperlukan untuk memahami bagaimana optimalisasi kebijakan langsung dibandingkan dengan mempelajari reward model eksplisit yang dapat digeneralisasi pada pergeseran distribusi yang lebih luas.
Over-optimisasi reward: Penulis mengamati sedikit penurunan performa pada akhir pelatihan selama eksperimen dialog, menyisakan pertanyaan terbuka apakah dan bagaimana "reward hacking" klasik atau over-optimisasi terjadi di dalam reward model implisit.
Pemanfaatan data tanpa label: Tidak seperti PPO, yang dapat menghasilkan keluaran pada sembarang prompt tanpa label selama rollout RL, DPO standar adalah algoritma offline yang dilatih pada perbandingan berpasangan; memperluasnya melalui pelabelan mandiri atau pengumpulan berulang adalah area penelitian terbuka.
Ketergantungan evaluasi: Evaluasi otomatis sangat bergantung pada formulasi prompt GPT-4 (concise prompt vs. simple prompt), menyoroti adanya sensitivitas dalam metodologi LLM-as-a-judge.

Istilah kunci

Direct Preference Optimization (DPO): Algoritma yang menyelaraskan model bahasa dengan preferensi menggunakan loss binary cross-entropy secara langsung pada log rasio kebijakan, melewati pemodelan reward eksplisit dan reinforcement learning.
Bradley-Terry model: Model probabilistik untuk perbandingan berpasangan yang menetapkan bahwa probabilitas memilih penyelesaian $y_{1}$ dibandingkan $y_{2}$ bergantung pada sigmoid logistik dari selisih reward keduanya.
KL-constrained reward maximization: Tujuan optimisasi standar RLHF yang menyeimbangkan pemaksimalan reward yang diharapkan dengan pemberian penalti terhadap divergensi Kullback-Leibler antara kebijakan yang dipelajari dan kebijakan referensi.
implicit reward: Fungsi reward $\overset{r}{^}_{θ} (x, y) = β lo g (π_{θ} (y ∣ x) / π_{ref} (y ∣ x))$ yang secara matematis tersirat oleh kebijakan model bahasa relatif terhadap model referensi.
reference policy (\pi_{\text{ref}}): Model bahasa dasar—biasanya model supervised fine-tuned (SFT)—yang digunakan untuk membatasi pergeseran kebijakan dan mendefinisikan reward implisit.
Best of N: Baseline decoding pada waktu pengujian yang mengambil sampel $N$ penyelesaian dari suatu kebijakan dan memilih kandidat dengan skor tertinggi dari reward model yang telah dipelajari.
Plackett-Luce model: Model pemeringkatan umum untuk rangkaian lebih dari dua item, di mana model Bradley-Terry merupakan kasus khusus berpasangan darinya.
unlikelihood training: Teknik pelatihan baseline yang memaksimalkan likelihood dari penyelesaian yang disukai sembari secara langsung mempenalti likelihood token dari penyelesaian yang tidak disukai.

Pertanyaan

Mengapa DPO tidak memerlukan estimasi fungsi partisi Z(x)?

Fungsi partisi $Z (x)$ hanya bergantung pada prompt $x$ dan kebijakan referensi, bukan pada penyelesaian $y$ . Karena model preferensi berpasangan (seperti Bradley-Terry) hanya bergantung pada selisih antara reward dari dua penyelesaian untuk prompt yang sama, $Z (x)$ saling meniadakan secara aljabar.

Bagaimana DPO menghindari degenerasi kebijakan dibandingkan dengan tujuan unlikelihood biasa?

Gradien DPO berisi suku pembobotan dinamis, $σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w}))$ , yang menskalakan pembaruan gradien berdasarkan seberapa salah reward implisit mengurutkan pasangan tersebut. Jika model sudah menilai $y_{w}$ jauh lebih tinggi daripada $y_{l}$ , gradiennya akan mendekati nol, mencegah kehancuran probabilitas yang tidak terkendali.

Apakah DPO membatasi kapasitas ekspresif dari fungsi reward yang dipelajari?

Tidak. Teorema 1 membuktikan bahwa di bawah asumsi ringan, setiap kelas kesetaraan reward yang menghasilkan distribusi preferensi valid di bawah model Bradley-Terry atau Plackett-Luce dapat diparameterisasi ulang secara unik dalam bentuk $r (x, y) = β lo g (π (y ∣ x) / π_{ref} (y ∣ x))$ .

Bagaimana kebijakan referensi diinisialisasi jika model SFT asli tidak tersedia?

Ketika checkpoint SFT asli tidak tersedia, penulis menginisialisasi $π_{ref}$ dengan melatih LM siap pakai untuk memaksimalkan likelihood dari penyelesaian yang disukai $y_{w}$ dalam dataset preferensi (Preferred-FT), sehingga memitigasi pergeseran distribusi.

Ulasan di halaman ini ditulis oleh AI dari makalah dan mungkin mengandung kesalahan. Baca makalahnya untuk detail.

Baca dengan terjemahan dan AI