Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Rafael Rafailov; Archit Sharma; Eric Mitchell; Stefano Ermon; Christopher D. Manning; Chelsea Finn

Bài báo · arXiv 2305.18290

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning, Chelsea Finn

Xuất bản 2023-05-29cs.LGcs.AIcs.CL arXiv PDF

Đọc với bản dịch và AI

Tóm tắt trong ba dòng

📌 Quy trình RLHF tiêu chuẩn phức tạp, tốn kém tài nguyên tính toán và không ổn định do yêu cầu huấn luyện một mô hình phần thưởng riêng biệt và chạy học tăng cường (như PPO) kèm lấy mẫu chính sách trực tuyến.
📌 DPO tái tham số hóa mô hình sở thích Bradley-Terry bằng giải tích dựa trên chính sách tối ưu dạng nghiệm tường minh của bài toán RL ràng buộc bởi KL, qua đó tối ưu hóa chính sách trực tiếp bằng hàm mất mát binary cross-entropy.
📌 Trên tác vụ tóm tắt Reddit TL;DR, DPO đạt tỷ lệ thắng khoảng ~61% so với các câu trả lời tham chiếu (so với 57% của PPO) và vượt trội hơn PPO trên toàn bộ đường biên reward-KL trong tác vụ kiểm soát cảm xúc.

Tóm tắt

Mặc dù các mô hình ngôn ngữ (LM) học không giám sát quy mô lớn tiếp thu được lượng tri thức rộng lớn về thế giới và một số kỹ năng suy luận, việc kiểm soát chính xác hành vi của chúng vẫn rất khó khăn do bản chất hoàn toàn không giám sát của quá trình huấn luyện. Các phương pháp hiện có để đạt được khả năng định hướng này thường thu thập nhãn do con người đánh giá về chất lượng tương đối của các câu trả lời do mô hình tạo ra, rồi tinh chỉnh LM không giám sát để căn chỉnh theo các sở thích này, phổ biến nhất là học tăng cường từ phản hồi của con người (RLHF). Tuy nhiên, RLHF là một quy trình phức tạp và thường không ổn định: trước tiên cần khớp một mô hình phần thưởng (reward model) phản ánh sở thích con người, sau đó tinh chỉnh LM không giám sát quy mô lớn bằng học tăng cường để tối đa hóa phần thưởng ước tính này mà không đi quá xa khỏi mô hình gốc. Trong bài báo này, chúng tôi giới thiệu một cách tái tham số hóa mô hình phần thưởng trong RLHF cho phép trích xuất chính sách tối ưu tương ứng dưới dạng nghiệm tường minh (closed form), giúp giải quyết bài toán RLHF tiêu chuẩn chỉ bằng một hàm mất mát phân loại đơn giản. Thuật toán thu được, có tên gọi là Direct Preference Optimization (DPO), hoạt động ổn định, hiệu năng cao và nhẹ về mặt tính toán, loại bỏ hoàn toàn nhu cầu lấy mẫu từ LM trong quá trình tinh chỉnh cũng như không đòi hỏi tinh chỉnh siêu tham số phức tạp. Các thực nghiệm của chúng tôi cho thấy DPO có thể tinh chỉnh các LM để căn chỉnh theo sở thích con người tốt tương đương hoặc vượt trội hơn các phương pháp hiện có. Đáng chú ý, việc tinh chỉnh bằng DPO vượt qua RLHF dựa trên PPO về khả năng kiểm soát cảm xúc của văn bản sinh ra, đồng thời đạt chất lượng câu trả lời tương đương hoặc tốt hơn trong các tác vụ tóm tắt văn bản và đối thoại đơn lượt (single-turn dialogue), trong khi đơn giản hơn đáng kể trong việc triển khai và huấn luyện.

Tóm tắt gốc (tiếng Anh)

While large-scale unsupervised language models (LMs) learn broad world knowledge and some reasoning skills, achieving precise control of their behavior is difficult due to the completely unsupervised nature of their training. Existing methods for gaining such steerability collect human labels of the relative quality of model generations and fine-tune the unsupervised LM to align with these preferences, often with reinforcement learning from human feedback (RLHF). However, RLHF is a complex and often unstable procedure, first fitting a reward model that reflects the human preferences, and then fine-tuning the large unsupervised LM using reinforcement learning to maximize this estimated reward without drifting too far from the original model. In this paper we introduce a new parameterization of the reward model in RLHF that enables extraction of the corresponding optimal policy in closed form, allowing us to solve the standard RLHF problem with only a simple classification loss. The resulting algorithm, which we call Direct Preference Optimization (DPO), is stable, performant, and computationally lightweight, eliminating the need for sampling from the LM during fine-tuning or performing significant hyperparameter tuning. Our experiments show that DPO can fine-tune LMs to align with human preferences as well as or better than existing methods. Notably, fine-tuning with DPO exceeds PPO-based RLHF in ability to control sentiment of generations, and matches or improves response quality in summarization and single-turn dialogue while being substantially simpler to implement and train.

Hướng dẫn đọc

Vấn đề và động lực

Các mô hình ngôn ngữ lớn (LM) tiếp thu khối lượng tri thức khổng lồ trong quá trình tiền huấn luyện không giám sát, nhưng việc định hướng kết quả đầu ra của chúng theo hướng hữu ích và an toàn vẫn là một thách thức. Quy trình Reinforcement Learning from Human Feedback (RLHF) tiêu chuẩn giải quyết vấn đề này qua ba giai đoạn: Tinh chỉnh có giám sát (SFT), khớp mô hình phần thưởng trên các cặp dữ liệu sở thích thông qua ước lượng hợp lý cực đại theo mô hình Bradley-Terry, và tối ưu hóa chính sách bằng học tăng cường (thường là PPO) nhằm tối đa hóa phần thưởng ước tính kèm theo ràng buộc phạt phân kỳ Kullback-Leibler (KL) so với một chính sách tham chiếu $π_{ref}$ .

Tuy nhiên, RLHF sử dụng thuật toán RL dạng actor-critic nổi tiếng là phức tạp, dễ gãy, nhạy cảm với siêu tham số và tốn kém tài nguyên tính toán do yêu cầu huấn luyện đồng thời nhiều mô hình (actor, critic, reference, reward model) và phải lấy mẫu liên tục trong vòng lặp huấn luyện.

Ý tưởng cốt lõi

Ánh xạ giải tích giữa chính sách và phần thưởng: Nghiệm tối ưu cho bài toán tối đa hóa phần thưởng có ràng buộc KL $max_{π_{θ}} E [r (x, y)] - β D_{KL} (π_{θ} ∥ π_{ref})$ có biểu diễn nghiệm tường minh đã biết: $π_{r} (y ∣ x) = \frac{1}{Z ( x )} π_{ref} (y ∣ x) exp (\frac{1}{β} r (x, y))$ .
Tái tham số hóa phần thưởng: Biến đổi đồng nhất thức này cho phép biểu diễn hàm phần thưởng thực thông qua chính sách tối ưu: $r (x, y) = β lo g \frac{π ( y ∣ x )}{π _{ref} ( y ∣ x )} + β lo g Z (x)$ .
Triệt tiêu hàm phân vùng (partition function): Trong các mô hình so sánh cặp như Bradley-Terry, xác suất sở thích chỉ phụ thuộc vào hiệu số phần thưởng $r (x, y_{w}) - r (x, y_{l})$ . Hàm phân vùng chưa biết phụ thuộc vào prompt $β lo g Z (x)$ bị triệt tiêu hoàn toàn.
Mô hình hóa phần thưởng ẩn (implicit reward modeling): Thay vì tối ưu hóa một mạng phần thưởng vô hướng tường minh rồi chạy RL, DPO khớp trực tiếp chính sách thông qua ước lượng hợp lý cực đại trên tập dữ liệu cặp sở thích tĩnh $D = {(x, y_{w}, y_{l})}$ .

Phương pháp (kèm các phương trình chính)

Theo mô hình sở thích Bradley-Terry, xác suất để câu trả lời $y_{w}$ được ưa thích hơn $y_{l}$ với prompt $x$ là: $p^{*} (y_{w} ≻ y_{l} ∣ x) = σ (r^{*} (x, y_{w}) - r^{*} (x, y_{l}))$

Thay thế phần thưởng suy diễn từ chính sách $\overset{r}{^}_{θ} (x, y) = β lo g \frac{π _{θ} ( y ∣ x )}{π _{ref} ( y ∣ x )}$ , ta thu được hàm mục tiêu của Direct Preference Optimization (DPO): $L_{DPO} (π_{θ}; π_{ref}) = - E_{(x, y_{w}, y_{l}) \sim D} [lo g σ (β lo g \frac{π _{θ} ( y _{w} ∣ x )}{π _{ref} ( y _{w} ∣ x )} - β lo g \frac{π _{θ} ( y _{l} ∣ x )}{π _{ref} ( y _{l} ∣ x )})]$

Gradient theo các tham số chính sách $θ$ là: $\nabla_{θ} L_{DPO} (π_{θ}; π_{ref}) = - β E_{(x, y_{w}, y_{l}) \sim D} [σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w})) [\nabla_{θ} lo g π_{θ} (y_{w} ∣ x) - \nabla_{θ} lo g π_{θ} (y_{l} ∣ x)]]$

Tại đây, gradient làm tăng khả năng sinh ra $y_{w}$ và giảm khả năng sinh ra $y_{l}$ . Trọng số vô hướng động $σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w}))$ điều chỉnh tỷ lệ cập nhật dựa trên mức độ sai lệch hiện tại của phần thưởng ẩn khi chấm điểm cặp câu trả lời, giúp ngăn ngừa tình trạng suy thoái mô hình vốn thường xảy ra với các hàm mục tiêu hợp lý không trọng số.

Kết quả (kèm các số liệu quan trọng nhất)

Tạo văn bản kiểm soát cảm xúc (IMDb + GPT-2-large): DPO vượt trội hoàn toàn so với PPO trên toàn bộ đường biên reward-KL, đạt phần thưởng cao hơn ở mọi mức độ phân kỳ KL cấp chuỗi so với $π_{ref}$ , thậm chí vượt qua cả PPO được cung cấp phần thưởng chuẩn tuyệt đối (PPO-GT).
Tóm tắt TL;DR (GPT-J 6B):
- Ở temperature 0.0, DPO đạt tỷ lệ thắng khoảng 61% so với các câu trả lời tham chiếu khi đánh giá bằng GPT-4, so với 57% của PPO (ở mức temperature 0.0 tối ưu của nó).
- Trong nghiên cứu đánh giá bằng con người so sánh đối đầu các bản tóm tắt trên TL;DR, các câu trả lời của DPO ở temperature 0.25 được ưa chuộng hơn 58% so với câu trả lời của PPO ở temperature 0.0.
- DPO duy trì tính ổn định qua nhiều mức temperature, trong khi PPO suy giảm nghiêm trọng về gần mức mô hình cơ sở ở temperature 1.0.
Khả năng tổng quát hóa ngoài phân phối (CNN/DailyMail): Được đánh giá zero-shot trên các bài báo CNN/DailyMail mà không cần tinh chỉnh thêm, DPO đạt tỷ lệ thắng 0.36 so với tóm tắt gốc ở temperature 0 (so với 0.26 của PPO), và 0.31 ở temperature 0.25 (so với 0.23 của PPO).
Đối thoại đơn lượt (Anthropic HH + Pythia-2.8B): DPO là phương pháp tính toán nhẹ duy nhất được thử nghiệm vượt qua các phản hồi được ưa chuộng trong tập kiểm thử, ngang bằng hoặc hơi nhỉnh hơn baseline lấy mẫu Best-of-128 vốn rất tốn kém tài nguyên tính toán.

Hạn chế và câu hỏi mở

Khả năng tổng quát hóa ngoài phân phối: Mặc dù các thử nghiệm ban đầu trên CNN/DailyMail cho thấy khả năng chuyển giao tốt, bài báo lưu ý rằng cần nghiên cứu thêm để hiểu rõ cách tối ưu hóa chính sách trực tiếp so sánh với việc học một mô hình phần thưởng tường minh có khả năng tổng quát hóa trước những dịch chuyển dữ liệu lớn hơn.
Tối ưu hóa quá mức phần thưởng (reward over-optimization): Các tác giả quan sát thấy hiệu năng giảm nhẹ ở giai đoạn cuối quá trình huấn luyện trong các thử nghiệm đối thoại, để ngỏ câu hỏi liệu hiện tượng "reward hacking" kinh điển hoặc tối ưu hóa quá mức có diễn ra bên trong các mô hình phần thưởng ẩn hay không và diễn ra như thế nào.
Tận dụng dữ liệu không gán nhãn: Khác với PPO có thể tự do tạo sinh trên các prompt không gán nhãn bất kỳ trong các rollout của RL, DPO tiêu chuẩn là một thuật toán offline được huấn luyện trên các cặp so sánh tĩnh; việc mở rộng DPO thông qua tự gán nhãn (self-labeling) hoặc thu thập lặp là một hướng nghiên cứu mở.
Sự phụ thuộc vào đánh giá: Đánh giá tự động phụ thuộc nhiều vào cách diễn đạt prompt của GPT-4 (concise prompt so với simple prompt), cho thấy độ nhạy cảm trong các phương pháp luận dùng LLM làm giám khảo (LLM-as-a-judge).

Thuật ngữ chính

Direct Preference Optimization (DPO): Một thuật toán căn chỉnh mô hình ngôn ngữ theo sở thích bằng cách sử dụng hàm mất mát binary cross-entropy trực tiếp trên tỷ số log của chính sách, bỏ qua việc mô hình hóa phần thưởng tường minh và học tăng cường.
Bradley-Terry model: Một mô hình xác suất dành cho việc so sánh cặp, quy định rằng xác suất ưa thích phản hồi $y_{1}$ hơn $y_{2}$ phụ thuộc vào hàm sigmoid logistic của hiệu số phần thưởng giữa chúng.
KL-constrained reward maximization: Hàm mục tiêu tối ưu hóa RLHF tiêu chuẩn, cân bằng giữa việc tối đa hóa phần thưởng kỳ vọng và phạt phân kỳ Kullback-Leibler giữa chính sách học được với chính sách tham chiếu.
implicit reward: Hàm phần thưởng $\overset{r}{^}_{θ} (x, y) = β lo g (π_{θ} (y ∣ x) / π_{ref} (y ∣ x))$ được suy biến toán học từ chính sách của mô hình ngôn ngữ so với mô hình tham chiếu.
reference policy (\pi_{\text{ref}}): Mô hình ngôn ngữ đường cơ sở—thường là mô hình sau tinh chỉnh có giám sát (SFT)—được dùng để hạn chế sự trôi dạt của chính sách và xác định phần thưởng ẩn.
Best of N: Phương pháp giải mã cơ sở lúc suy luận bằng cách lấy mẫu $N$ câu trả lời từ một chính sách và chọn ra ứng viên có điểm số cao nhất từ một mô hình phần thưởng đã học.
Plackett-Luce model: Mô hình xếp hạng tổng quát hóa cho các tập hợp có nhiều hơn hai phần tử, trong đó mô hình Bradley-Terry là một trường hợp đặc biệt dạng cặp đôi.
unlikelihood training: Một kỹ thuật huấn luyện cơ sở giúp tối đa hóa khả năng sinh ra các phản hồi được ưa chuộng, đồng thời trực tiếp phạt xác suất token của các phản hồi không được ưa chuộng.

Câu hỏi thường gặp

Tại sao DPO không cần phải ước tính hàm phân vùng Z(x)?

Hàm phân vùng $Z (x)$ chỉ phụ thuộc duy nhất vào prompt $x$ và chính sách tham chiếu, không phụ thuộc vào câu trả lời $y$ . Do các mô hình sở thích so sánh cặp (như Bradley-Terry) chỉ dựa trên hiệu số phần thưởng giữa hai câu trả lời cho cùng một prompt, $Z (x)$ bị triệt tiêu hoàn toàn về mặt đại số.

DPO tránh sự suy thoái chính sách như thế nào so với các hàm mục tiêu unlikelihood đơn giản?

Gradient của DPO chứa một số hạng trọng số động, $σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w}))$ , giúp điều chỉnh mức cập nhật gradient dựa trên mức độ sai lệch của phần thưởng ẩn khi xếp hạng cặp phản hồi. Nếu mô hình đã đánh giá $y_{w}$ cao hơn nhiều so với $y_{l}$ , gradient sẽ triệt tiêu về 0, ngăn chặn việc phá hủy xác suất một cách mất kiểm soát.

DPO có hạn chế khả năng biểu diễn của các hàm phần thưởng học được không?

Không. Định lý 1 chứng minh rằng dưới các giả định vừa phải, mọi lớp tương đương phần thưởng tạo ra các phân phối sở thích hợp lệ theo mô hình Bradley-Terry hoặc Plackett-Luce đều có thể được tái tham số hóa duy nhất dưới dạng $r (x, y) = β lo g (π (y ∣ x) / π_{ref} (y ∣ x))$ .

Chính sách tham chiếu được khởi tạo như thế nào nếu không có sẵn mô hình SFT ban đầu?

Khi không có sẵn checkpoint SFT gốc, các tác giả khởi tạo $π_{ref}$ bằng cách huấn luyện một LM có sẵn để tối đa hóa khả năng sinh ra các câu trả lời được ưa thích $y_{w}$ trong tập dữ liệu sở thích (Preferred-FT), giúp giảm thiểu sự dịch chuyển phân phối.

Phần giải thích trên trang này do AI viết dựa trên bài báo và có thể có sai sót. Hãy đọc bài báo gốc để biết chi tiết.

Đọc với bản dịch và AI