Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Rafael Rafailov; Archit Sharma; Eric Mitchell; Stefano Ermon; Christopher D. Manning; Chelsea Finn

งานวิจัย · arXiv 2305.18290

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning, Chelsea Finn

เผยแพร่ 2023-05-29cs.LGcs.AIcs.CL arXiv PDF

อ่านพร้อมคำแปลและ AI

สรุปสามบรรทัด

📌 กระบวนการ RLHF แบบมาตรฐานมีความซับซ้อน ใช้ทรัพยากรการคำนวณสูง และไม่เสถียร เนื่องจากต้องเทรน reward model แยกต่างหาก และต้องรันการเรียนรู้แบบเสริมกำลัง (เช่น PPO) ควบคู่ไปกับการสุ่มตัวอย่างจากโพลิซีแบบออนไลน์
📌 DPO กำหนดพารามิเตอร์ใหม่ให้กับแบบจำลองความชอบ Bradley-Terry เชิงวิเคราะห์โดยใช้ optimal policy ในรูป closed form ของวัตถุประสงค์ RL ภายใต้ข้อจำกัด KL divergence ทำให้สามารถปรับโพลิซีได้โดยตรงด้วย binary cross-entropy loss
📌 ในงานสรุปความชุดข้อมูล Reddit TL;DR นั้น DPO มีอัตราการชนะ (win rate) อยู่ที่ประมาณ 61% เมื่อเทียบกับคำตอบอ้างอิง (เทียบกับ 57% สำหรับ PPO) และมีประสิทธิภาพเหนือกว่า PPO ตลอดแนว reward-KL frontier ในการควบคุมอารมณ์ความรู้สึก

บทคัดย่อ

แม้ว่าโมเดลภาษาขนาดใหญ่ (LMs) ที่ผ่านการเรียนรู้แบบไม่มีผู้ดูแลจะได้รับความรู้รอบตัวและทักษะการให้เหตุผลระดับหนึ่ง แต่การควบคุมพฤติกรรมของโมเดลให้แม่นยำยังคงเป็นเรื่องยากเนื่องจากธรรมชาติของการฝึกฝนที่เป็นแบบ unsupervised โดยสิ้นเชิง วิธีการที่มีอยู่ในปัจจุบันเพื่อเพิ่มขีดความสามารถในการควบคุมดังกล่าวใช้วิธีเก็บรวบรวมข้อมูลการประเมินคุณภาพเชิงเปรียบเทียบจากมนุษย์ และนำโมเดลภาษามาปรับจูน (fine-tune) ให้สอดคล้องกับความชอบเหล่านี้ ซึ่งมักใช้การเรียนรู้แบบเสริมกำลังจากผลตอบรับของมนุษย์ (RLHF) อย่างไรก็ตาม RLHF เป็นกระบวนการที่ซับซ้อนและมักไม่เสถียร โดยต้องเริ่มจากการเทรน reward model เพื่อสะท้อนความชอบของมนุษย์ จากนั้นจึงปรับจูนโมเดลภาษาขนาดใหญ่โดยใช้การเรียนรู้แบบเสริมกำลังเพื่อเพิ่มค่ารางวัลที่ประเมินนี้ให้สูงสุดโดยไม่ให้ออกห่างจากโมเดลเดิมมากเกินไป ในบทความนี้ เรานำเสนอการกำหนดพารามิเตอร์ใหม่ (reparameterization) ของ reward model ใน RLHF ที่ช่วยให้สามารถหา optimal policy ที่สอดคล้องกันได้ในรูป closed form ซึ่งทำให้เราสามารถแก้ปัญหา RLHF มาตรฐานได้ด้วย classification loss แบบง่ายๆ เท่านั้น ขั้นตอนวิธีที่ได้นี้มีชื่อว่า Direct Preference Optimization (DPO) ซึ่งมีความเสถียร มีประสิทธิภาพสูง และใช้ทรัพยากรการคำนวณน้อย ช่วยตัดความจำเป็นในการสุ่มตัวอย่างจาก LM ระหว่างการปรับจูนหรือการปรับแต่งไฮเปอร์พารามิเตอร์อย่างละเอียด ผลการทดลองของเราแสดงให้เห็นว่า DPO สามารถปรับจูน LM ให้สอดคล้องกับความชอบของมนุษย์ได้ดีเท่ากับหรือดีกว่าวิธีการเดิมที่มีอยู่ โดยเฉพาะอย่างยิ่ง การปรับจูนด้วย DPO มีประสิทธิภาพเหนือกว่า RLHF ที่ใช้ PPO ในด้านการควบคุมอารมณ์ความรู้สึกของข้อความที่สร้างขึ้น และมีคุณภาพทัดเทียมหรือดีกว่าในการสรุปความและการสนทนาแบบคำถาม-คำตอบรอบเดียว ทั้งยังมีความเรียบง่ายในการพัฒนาและฝึกฝนมากกว่าอย่างมาก

บทคัดย่อต้นฉบับ (ภาษาอังกฤษ)

While large-scale unsupervised language models (LMs) learn broad world knowledge and some reasoning skills, achieving precise control of their behavior is difficult due to the completely unsupervised nature of their training. Existing methods for gaining such steerability collect human labels of the relative quality of model generations and fine-tune the unsupervised LM to align with these preferences, often with reinforcement learning from human feedback (RLHF). However, RLHF is a complex and often unstable procedure, first fitting a reward model that reflects the human preferences, and then fine-tuning the large unsupervised LM using reinforcement learning to maximize this estimated reward without drifting too far from the original model. In this paper we introduce a new parameterization of the reward model in RLHF that enables extraction of the corresponding optimal policy in closed form, allowing us to solve the standard RLHF problem with only a simple classification loss. The resulting algorithm, which we call Direct Preference Optimization (DPO), is stable, performant, and computationally lightweight, eliminating the need for sampling from the LM during fine-tuning or performing significant hyperparameter tuning. Our experiments show that DPO can fine-tune LMs to align with human preferences as well as or better than existing methods. Notably, fine-tuning with DPO exceeds PPO-based RLHF in ability to control sentiment of generations, and matches or improves response quality in summarization and single-turn dialogue while being substantially simpler to implement and train.

คู่มือการอ่าน

ปัญหาและแรงจูงใจ

โมเดลภาษาขนาดใหญ่ (LMs) ได้รับความรู้อันมหาศาลระหว่างการทำ unsupervised pre-training ทว่าการควบคุมทิศทางของผลลัพธ์ให้เป็นประโยชน์และปลอดภัยยังคงเป็นความท้าทาย กระบวนการ Reinforcement Learning from Human Feedback (RLHF) มาตรฐานจัดการปัญหานี้ด้วย 3 ขั้นตอน ได้แก่: การทำ Supervised Fine-Tuning (SFT), การเทรน reward model จากข้อมูลคู่เปรียบเทียบความชอบผ่าน maximum likelihood ภายใต้แบบจำลอง Bradley-Terry, และการเพิ่มประสิทธิภาพของโพลิซีผ่านการเรียนรู้แบบเสริมกำลัง (โดยทั่วไปคือ PPO) เพื่อเพิ่มค่ารางวัลโดยมีการกำหนดโทษ Kullback-Leibler (KL) divergence เมื่อเทียบกับ reference policy $π_{ref}$

อย่างไรก็ตาม RLHF ที่ใช้อัลกอริทึม RL แบบ actor-critic นั้นขึ้นชื่อเรื่องความซับซ้อน เปราะบาง ไวต่อไฮเปอร์พารามิเตอร์ และใช้ทรัพยากรการคำนวณสูง เนื่องจากต้องฝึกโมเดลหลายตัวไปพร้อมกัน (actor, critic, reference, reward model) รวมถึงต้องสุ่มตัวอย่างข้อความที่สร้างขึ้นในระหว่างลูปการฝึกฝน

แนวคิดสำคัญ

การแปลงทางคณิตศาสตร์ระหว่างโพลิซีและรางวัล: ผลเฉลยที่เหมาะสมที่สุด (optimal solution) สำหรับเป้าหมายการเพิ่มรางวัลสูงสุดภายใต้ข้อจำกัด KL $max_{π_{θ}} E [r (x, y)] - β D_{KL} (π_{θ} ∥ π_{ref})$ มีรูป closed-form ที่แน่ชัดคือ: $π_{r} (y ∣ x) = \frac{1}{Z ( x )} π_{ref} (y ∣ x) exp (\frac{1}{β} r (x, y))$
การกำหนดพารามิเตอร์ของรางวัลใหม่ (Reward reparameterization): เมื่อจัดรูปเอกลักษณ์นี้ใหม่ จะสามารถแสดงค่ารางวัลจริงผ่าน optimal policy ได้เป็น: $r (x, y) = β lo g \frac{π ( y ∣ x )}{π _{ref} ( y ∣ x )} + β lo g Z (x)$
การหักล้างของ Partition Function: ภายใต้แบบจำลองการเปรียบเทียบทีละคู่ เช่น Bradley-Terry ความน่าจะเป็นของความชอบจะขึ้นอยู่กับผลต่างของรางวัล $r (x, y_{w}) - r (x, y_{l})$ เท่านั้น ทำให้พจน์ partition function $β lo g Z (x)$ ที่ไม่ทราบค่าและขึ้นอยู่กับพรอมต์ถูกตัดทอนหายไปทั้งหมด
การสร้างแบบจำลองรางวัลโดยนัย (Implicit reward modeling): แทนที่จะต้องปรับแต่งโครงข่ายสเกลาร์ของรางวัลที่ชัดเจนและรัน RL ทาง DPO จะปรับโพลิซีโดยตรงผ่าน maximum likelihood บนชุดข้อมูลคู่ความชอบแบบสแตติก $D = {(x, y_{w}, y_{l})}$

วิธีการ (พร้อมสมการสำคัญ)

ภายใต้แบบจำลองความชอบ Bradley-Terry ความน่าจะเป็นที่ผลลัพธ์ $y_{w}$ จะเป็นที่ต้องการมากกว่า $y_{l}$ เมื่อกำหนดพรอมต์ $x$ คือ: $p^{*} (y_{w} ≻ y_{l} ∣ x) = σ (r^{*} (x, y_{w}) - r^{*} (x, y_{l}))$

เมื่อแทนค่ารางวัลโดยนัยของโพลิซี $\overset{r}{^}_{θ} (x, y) = β lo g \frac{π _{θ} ( y ∣ x )}{π _{ref} ( y ∣ x )}$ จะได้ฟังก์ชันเป้าหมายของ Direct Preference Optimization (DPO) ดังนี้: $L_{DPO} (π_{θ}; π_{ref}) = - E_{(x, y_{w}, y_{l}) \sim D} [lo g σ (β lo g \frac{π _{θ} ( y _{w} ∣ x )}{π _{ref} ( y _{w} ∣ x )} - β lo g \frac{π _{θ} ( y _{l} ∣ x )}{π _{ref} ( y _{l} ∣ x )})]$

เกรเดียนต์เทียบกับพารามิเตอร์ของโพลิซี $θ$ คือ: $\nabla_{θ} L_{DPO} (π_{θ}; π_{ref}) = - β E_{(x, y_{w}, y_{l}) \sim D} [σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w})) [\nabla_{θ} lo g π_{θ} (y_{w} ∣ x) - \nabla_{θ} lo g π_{θ} (y_{l} ∣ x)]]$

ในที่นี้ เกรเดียนต์จะเพิ่ม likelihood ของ $y_{w}$ และลด likelihood ของ $y_{l}$ โดยมีค่าน้ำหนักสเกลาร์แบบพลวัต $σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w}))$ คอยปรับขนาดการอัปเดตตามระดับความผิดพลาดในการให้คะแนนของ implicit reward ต่อคู่นั้นๆ ในปัจจุบัน ซึ่งช่วยป้องกันภาวะโมเดลเสื่อมสภาพ (model degeneration) ที่มักเกิดขึ้นในเป้าหมาย likelihood แบบไม่มีน้ำหนักกำกับ

ผลการทดลอง (พร้อมตัวเลขที่สำคัญที่สุด)

การควบคุมอารมณ์ความรู้สึกในการสร้างข้อความ (IMDb + GPT-2-large): DPO มีประสิทธิภาพเหนือกว่า PPO อย่างชัดเจนตลอดแนว reward-KL frontier โดยทำค่ารางวัลได้สูงกว่าในทุกๆ ระดับของ KL divergence เทียบกับ $π_{ref}$ และทำได้ดีกว่าแม้กระทั่ง PPO ที่ใช้รางวัล oracle จริง (PPO-GT)
การสรุปความด้วย TL;DR (GPT-J 6B):
- ที่ temperature 0.0 โมเดล DPO ทำ win rate ได้ราว 61% เมื่อเทียบกับข้อความอ้างอิงที่ประเมินโดย GPT-4 เทียบกับ 57% สำหรับ PPO (ที่ temperature 0.0 ที่ดีที่สุด)
- ในการประเมินโดยมนุษย์เพื่อเปรียบเทียบผลสรุปแบบตัวต่อตัวบน TL;DR ข้อความของ DPO ที่ temperature 0.25 เป็นที่พึงพอใจมากกว่าข้อความของ PPO ที่ temperature 0.0 ถึง 58% ของจำนวนครั้งทั้งหมด
- DPO รักษาความเสถียรได้ดีในทุกช่วง temperature ในขณะที่ PPO มีประสิทธิภาพลดลงอย่างรวดเร็วจนเทียบเท่าโมเดลตั้งต้นที่ temperature 1.0
การทดสอบข้ามโดเมน (Out-of-Distribution Generalization บน CNN/DailyMail): ในการประเมินแบบ zero-shot บนบทความข่าวของ CNN/DailyMail โดยไม่มีการปรับจูนเพิ่มเติม DPO ทำ win rate ได้ 0.36 เมื่อเทียบกับบทสรุปเฉลยที่ temperature 0 (เทียบกับ 0.26 ของ PPO) และ 0.31 ที่ temperature 0.25 (เทียบกับ 0.23 ของ PPO)
การสนทนาแบบรอบเดียว (Anthropic HH + Pythia-2.8B): DPO เป็นวิธีเดียวในกลุ่มที่ใช้การคำนวณต่ำซึ่งให้ผลลัพธ์เหนือกว่าชุดคำตอบทดสอบที่มนุษย์เลือก โดยเทียบเท่าหรือดีกว่าเล็กน้อยเมื่อเทียบกับ Best-of-128 ซึ่งเป็น baseline ที่ใช้การคำนวณสูงมาก

ข้อจำกัดและคำถามปลายเปิด

การวางนัยทั่วไปนอกโดเมน (Out-of-distribution generalization): แม้ว่าผลการทดสอบเบื้องต้นบน CNN/DailyMail จะแสดงให้เห็นการถ่ายโอนความรู้ที่ดี แต่บทความชี้ว่ายังจำเป็นต้องมีการศึกษาเพิ่มเติมว่าการปรับโพลิซีโดยตรงเปรียบเทียบกับการเรียนรู้ reward model แบบชัดเจนที่ครอบคลุมการกระจายตัวของข้อมูลที่กว้างขึ้นได้อย่างไร
การเพิ่มค่ารางวัลจนเกินพอดี (Reward over-optimization): ผู้เขียนสังเกตเห็นประสิทธิภาพลดลงเล็กน้อยในช่วงท้ายของการเทรนในการทดลองระบบสนทนา ทำให้ยังคงเป็นคำถามปลายเปิดว่าปัญหา "reward hacking" หรือ over-optimization แบบดั้งเดิมเกิดขึ้นภายใน implicit reward model หรือไม่อย่างไร
การนำข้อมูลที่ไม่มีลาเบลมาใช้ประโยชน์: ต่างจาก PPO ที่สามารถสร้างข้อความจากพรอมต์ที่ไม่มีลาเบลใดๆ ระหว่างการทำ rollout ของ RL โมเดล DPO แบบมาตรฐานนั้นเป็นอัลกอริทึมออฟไลน์ที่เรียนรู้จากคู่เปรียบเทียบ การขยายขีดความสามารถผ่านกระบวนการ self-labeling หรือการเก็บรวบรวมแบบวนรอบ (iterative collection) ยังคงเป็นหัวข้อที่ต้องค้นคว้าต่อไป
ความขึ้นตรงต่อวิธีการประเมินผล: การประเมินแบบอัตโนมัติพึ่งพาการกำหนดถ้อยคำในพรอมต์ของ GPT-4 ค่อนข้างมาก (เช่น concise prompt เทียบกับ simple prompt) ซึ่งชี้ให้เห็นถึงความอ่อนไหวในระเบียบวิธีแบบ LLM-as-a-judge

คำศัพท์สำคัญ

Direct Preference Optimization (DPO): อัลกอริทึมที่ปรับจูนโมเดลภาษาให้ตรงกับความชอบโดยใช้ binary cross-entropy loss โดยตรงบนอัตราส่วนลอการิทึมของโพลิซี โดยก้าวข้ามการสร้าง reward model และ reinforcement learning
Bradley-Terry model: แบบจำลองความน่าจะเป็นสำหรับการเปรียบเทียบคู่ ซึ่งระบุว่าความน่าจะเป็นในการเลือกผลลัพธ์ $y_{1}$ มากกว่า $y_{2}$ ขึ้นอยู่กับฟังก์ชัน logistic sigmoid ของผลต่างของรางวัลทั้งสอง
KL-constrained reward maximization: วัตถุประสงค์การเพิ่มประสิทธิภาพมาตรฐานของ RLHF ที่สร้างสมดุลระหว่างการเพิ่มค่ารางวัลที่คาดหวังกับการลงโทษค่า Kullback-Leibler divergence ระหว่างโพลิซีที่เรียนรู้กับ reference policy
implicit reward: ฟังก์ชันรางวัล $\overset{r}{^}_{θ} (x, y) = β lo g (π_{θ} (y ∣ x) / π_{ref} (y ∣ x))$ ที่แฝงอยู่ทางคณิตศาสตร์จากโพลิซีของโมเดลภาษาเมื่อเทียบกับโมเดลอ้างอิง
reference policy (\pi_{\text{ref}}): โมเดลภาษาตั้งต้น ซึ่งโดยทั่วไปคือโมเดลที่ผ่านการ supervised fine-tuning (SFT) มาแล้ว ใช้เพื่อจำกัดไม่ให้โพลิซีเปลี่ยนทิศทางมากเกินไปและใช้กำหนด implicit reward
Best of N: วิธีการถอดรหัส (decoding baseline) ขณะทดสอบ โดยสุ่มสร้างผลลัพธ์ $N$ ตัวเลือกจากโพลิซี แล้วคัดเลือกผลลัพธ์ที่ได้คะแนนสูงสุดจาก reward model ที่ฝึกไว้
Plackett-Luce model: แบบจำลองการจัดอันดับทั่วไปสำหรับชุดข้อมูลที่มีมากกว่าสองรายการขึ้นไป โดยมี Bradley-Terry model เป็นกรณีเฉพาะสำหรับการเปรียบเทียบเป็นคู่
unlikelihood training: เทคนิคการฝึกสอนพื้นฐานที่เพิ่มความน่าจะเป็นของผลลัพธ์ที่พึงประสงค์ ควบคู่ไปกับการลงโทษความน่าจะเป็นระดับโทเคนของผลลัพธ์ที่ไม่พึงประสงค์โดยตรง

คำถามที่พบบ่อย

เหตุใด DPO จึงไม่ต้องประมาณค่า Partition Function Z(x)?

Partition function $Z (x)$ ขึ้นอยู่กับพรอมต์ $x$ และ reference policy เท่านั้น โดยไม่ได้ขึ้นอยู่กับผลลัพธ์ $y$ และเนื่องจากแบบจำลองความชอบเป็นคู่ (เช่น Bradley-Terry) ขึ้นอยู่กับผลต่างระหว่างรางวัลของสองผลลัพธ์สำหรับพรอมต์เดียวกันเท่านั้น พจน์ $Z (x)$ จึงหักล้างกันไปตามหลักพีชคณิต

DPO ป้องกันการเสื่อมสภาพของโพลิซีเมื่อเทียบกับ unlikelihood objectives แบบทั่วไปได้อย่างไร?

เกรเดียนต์ของ DPO มีพจน์ถ่วงน้ำหนักแบบพลวัตคือ $σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w}))$ ซึ่งจะปรับขนาดการอัปเดตตามความผิดพลาดในการจัดลำดับคู่ข้อมูลของ implicit reward หากโมเดลให้คะแนน $y_{w}$ สูงกว่า $y_{l}$ มากอยู่แล้ว เกรเดียนต์จะมีค่าเข้าใกล้ศูนย์ ซึ่งช่วยป้องกันการทำลายการแจกแจงความน่าจะเป็นโดยไม่จำกัด

DPO จำกัดขีดความสามารถในการแสดงออก (expressive capacity) ของฟังก์ชันรางวัลที่เรียนรู้หรือไม่?

ไม่จำกัด เนื่องจากทฤษฎีบทที่ 1 (Theorem 1) พิสูจน์ว่าภายใต้ข้อสมมติพื้นฐาน ทุก reward equivalence class ที่สร้างการแจกแจงความชอบที่ถูกต้องภายใต้แบบจำลอง Bradley-Terry หรือ Plackett-Luce สามารถจัดพารามิเตอร์ใหม่ในรูป $r (x, y) = β lo g (π (y ∣ x) / π_{ref} (y ∣ x))$ ได้อย่างเฉพาะเจาะจง

หากไม่มีโมเดล SFT ดั้งเดิม จะกำหนดค่าเริ่มต้นให้กับ reference policy อย่างไร?

เมื่อไม่มี checkpoint เดิมของโมเดล SFT คณะผู้วิจัยจะกำหนดค่าเริ่มต้นของ $π_{ref}$ โดยนำโมเดลภาษาทั่วไปมาเทรนเพื่อเพิ่ม likelihood ของผลลัพธ์ที่พึงประสงค์ $y_{w}$ ในชุดข้อมูลความชอบ (เรียกว่า Preferred-FT) ซึ่งช่วยบรรเทาปัญหา distribution shift ได้

คำอธิบายในหน้านี้เขียนโดย AI จากงานวิจัยและอาจมีข้อผิดพลาด โปรดอ่านต้นฉบับเพื่อดูรายละเอียด

อ่านพร้อมคำแปลและ AI