Training language models to follow instructions with human feedback

Long Ouyang; Jeff Wu; Xu Jiang; Diogo Almeida; Carroll L. Wainwright; Pamela Mishkin; Chong Zhang; Sandhini Agarwal; Katarina Slama; Alex Ray; John Schulman; Jacob Hilton; Fraser Kelton; Luke Miller; Maddie Simens; Amanda Askell; Peter Welinder; Paul Christiano; Jan Leike; Ryan Lowe

Bài báo · arXiv 2203.02155

Huấn luyện mô hình ngôn ngữ tuân theo chỉ dẫn bằng phản hồi từ con người

Training language models to follow instructions with human feedback

Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton et al.

Xuất bản 2022-03-04cs.CLcs.AIcs.LG arXiv PDF

Đọc với bản dịch và AI

Tóm tắt trong ba dòng

Các mô hình ngôn ngữ lớn chỉ được huấn luyện bằng dự đoán token tiếp theo thường không tuân theo ý định người dùng, dễ tạo ra câu trả lời độc hại, sai lệch hoặc vô ích.
Tinh chỉnh GPT-3 bằng dữ liệu mẫu do con người gán nhãn, huấn luyện reward model 6B trên các đầu ra được xếp hạng và tối ưu policy qua PPO kết hợp dữ liệu tiền huấn luyện.
Đầu ra từ InstructGPT 1.3B được ưa chuộng hơn GPT-3 175B, trong khi InstructGPT 175B thắng GPT-3 175B trong 85% trường hợp và giảm tỷ lệ ảo tưởng từ 41% xuống 21%.

Tóm tắt

Việc tăng kích thước mô hình ngôn ngữ không đồng nghĩa với việc chúng sẽ hiểu và thực hiện ý định của người dùng tốt hơn. Chẳng hạn, các mô hình ngôn ngữ lớn có thể tạo ra văn bản sai sự thật, độc hại hoặc đơn giản là không hữu ích. Nói cách khác, những mô hình này chưa được căn chỉnh (aligned) với người dùng. Trong bài báo này, chúng tôi trình bày một hướng đi giúp căn chỉnh mô hình ngôn ngữ theo ý định người dùng trên nhiều tác vụ khác nhau bằng cách tinh chỉnh với phản hồi từ con người. Bắt đầu từ tập hợp các prompt do người gán nhãn biên soạn cùng các prompt gửi qua OpenAI API, chúng tôi thu thập tập dữ liệu mẫu minh họa hành vi mong muốn từ người gán nhãn, sau đó dùng tập này để tinh chỉnh GPT-3 bằng học có giám sát. Tiếp đó, chúng tôi thu thập tập dữ liệu xếp hạng các đầu ra của mô hình và tiếp tục tinh chỉnh mô hình có giám sát này bằng học tăng cường từ phản hồi của con người. Chúng tôi gọi các mô hình thu được là InstructGPT. Trong các đánh giá của con người trên phân phối prompt của chúng tôi, đầu ra từ mô hình InstructGPT 1.3B tham số được ưa thích hơn đầu ra từ GPT-3 175B, dù số lượng tham số ít hơn tới 100 lần. Hơn nữa, InstructGPT cho thấy sự cải thiện về tính trung thực và giảm tạo ra nội dung độc hại, trong khi chỉ suy giảm hiệu năng không đáng kể trên các bộ dữ liệu NLP công khai. Mặc dù InstructGPT vẫn mắc những lỗi cơ bản, các kết quả của chúng tôi chứng minh rằng việc tinh chỉnh bằng phản hồi từ con người là một hướng đi đầy hứa hẹn để căn chỉnh mô hình ngôn ngữ theo ý định con người.

Tóm tắt gốc (tiếng Anh)

Making language models bigger does not inherently make them better at following a user's intent. For example, large language models can generate outputs that are untruthful, toxic, or simply not helpful to the user. In other words, these models are not aligned with their users. In this paper, we show an avenue for aligning language models with user intent on a wide range of tasks by fine-tuning with human feedback. Starting with a set of labeler-written prompts and prompts submitted through the OpenAI API, we collect a dataset of labeler demonstrations of the desired model behavior, which we use to fine-tune GPT-3 using supervised learning. We then collect a dataset of rankings of model outputs, which we use to further fine-tune this supervised model using reinforcement learning from human feedback. We call the resulting models InstructGPT. In human evaluations on our prompt distribution, outputs from the 1.3B parameter InstructGPT model are preferred to outputs from the 175B GPT-3, despite having 100x fewer parameters. Moreover, InstructGPT models show improvements in truthfulness and reductions in toxic output generation while having minimal performance regressions on public NLP datasets. Even though InstructGPT still makes simple mistakes, our results show that fine-tuning with human feedback is a promising direction for aligning language models with human intent.

Hướng dẫn đọc

Vấn đề và động lực

Các mô hình ngôn ngữ lớn (LLM) tiêu chuẩn thường tối ưu hóa việc dự đoán token tiếp theo trên các kho ngữ liệu web. Mục tiêu tiền huấn luyện này không thực sự ăn khớp với mục tiêu của người dùng: mong muốn một trợ lý tuân thủ chỉ dẫn một cách hữu ích, trung thực và vô hại. Do đó, các mô hình cơ sở như GPT-3 thường xuyên gặp hiện tượng ảo tưởng (hallucination), bịa đặt ngữ cảnh, phát sinh văn bản độc hại hoặc phớt lờ những ràng buộc rõ ràng từ người dùng. Việc chỉ tăng quy mô tham số mô hình đơn thuần không thể loại bỏ được các vấn đề này.

Các ý tưởng cốt lõi

Căn chỉnh thông qua Học tăng cường từ phản hồi của con người (RLHF): Sử dụng đánh giá của con người để định hình đầu ra mô hình theo ý định người dùng thay vì chỉ dựa vào xác suất tiếp nối văn bản đơn thuần.
Quy trình huấn luyện ba bước: (1) Tinh chỉnh có giám sát (SFT) trên các cặp prompt-mẫu hành vi, (2) Huấn luyện Reward Model (RM) dựa trên các so sánh cặp từ những câu trả lời đã được xếp hạng, và (3) Tối ưu hóa policy bằng Proximal Policy Optimization (PPO).
Giảm thiểu Thuế căn chỉnh (Alignment Tax): Tinh chỉnh PPO thông thường gây suy giảm hiệu năng trên các benchmark NLP tiêu chuẩn (ví dụ: SQuADv2, DROP). Việc trộn gradient của phân phối tiền huấn luyện vào các bước cập nhật PPO (PPO-ptx) giúp giảm thiểu sự mất mát năng lực này mà không làm ảnh hưởng đến mức độ ưa thích từ con người.

Phương pháp (kèm các phương trình chính)

Tinh chỉnh có giám sát (SFT): Tinh chỉnh các mô hình GPT-3 cơ sở trên khoảng 13.000 mẫu chỉ dẫn do người gán nhãn biên soạn và thu thập qua OpenAI API Playground.
Huấn luyện Reward Model: Với mỗi prompt $x$ , người gán nhãn xếp hạng $K$ câu trả lời ( $K \in [4, 9]$ ), tạo ra $(2 K)$ cặp so sánh. Reward model 6B $r_{θ} (x, y)$ được huấn luyện với hàm mất mát cross-entropy theo cặp trên tất cả các cặp trong cùng một batch: $loss (θ) = - \frac{1}{( 2 K )} E_{(x, y_{w}, y_{l}) \sim D} [lo g σ (r_{θ} (x, y_{w}) - r_{θ} (x, y_{l}))]$ trong đó $y_{w}$ là câu trả lời được ưa thích hơn so với $y_{l}$ .
Tối ưu hóa RL Policy (PPO-ptx): Tối ưu policy $π_{ϕ}^{RL}$ dựa trên phần thưởng vô hướng, đồng thời phạt độ lệch so với mô hình SFT thông qua phân kỳ KL ở cấp độ token và tùy chọn duy trì log-likelihood từ tiền huấn luyện: $objective (ϕ) = E_{(x, y) \sim D_{π_{ϕ}^{RL}}} [r_{θ} (x, y) - β lo g (\frac{π _{ϕ}^{RL} ( y ∣ x )}{π ^{SFT} ( y ∣ x )})] + γ E_{x \sim D_{pretrain}} [lo g π_{ϕ}^{RL} (x)]$ Tại đây $β$ là hệ số phạt KL và $γ$ điều chỉnh tỷ lệ trộn gradient tiền huấn luyện.

Kết quả (kèm các số liệu quan trọng nhất)

Sự ưa thích của con người: Người gán nhãn ưa thích câu trả lời từ mô hình InstructGPT 1.3B hơn mô hình GPT-3 cơ sở 175B (chênh lệch kích thước 100 lần). Đầu ra từ InstructGPT 175B được đánh giá cao hơn GPT-3 175B trong $85 \pm 3%$ trường hợp, và đạt $71 \pm 4%$ so với GPT-3 175B có prompt dạng few-shot.
Tính trung thực và Hiện tượng ảo tưởng: Trên TruthfulQA, InstructGPT tạo ra câu trả lời trung thực và giàu thông tin gần gấp đôi so với GPT-3. Trên các tác vụ API miền đóng, tỷ lệ ảo tưởng giảm từ 41% (GPT-3) xuống 21% (InstructGPT).
Độ độc hại: InstructGPT tạo ra lượng nội dung độc hại ít hơn khoảng 25% so với GPT-3 trên RealToxicityPrompts khi được yêu cầu phản hồi một cách tôn trọng.
Khả năng tổng quát hóa: InstructGPT tổng quát hóa tốt đối với nhóm người gán nhãn chưa từng tham gia huấn luyện (độ đồng thuận đạt $77.3%$ ) và các dạng chỉ dẫn ngoài phân phối như hỏi đáp/tóm tắt mã nguồn và chỉ dẫn phi tiếng Anh, dù tiếng Anh chiếm hơn 96% dữ liệu huấn luyện.

Hạn chế và các câu hỏi mở

Đánh đổi giữa An toàn và Căn chỉnh: InstructGPT ưu tiên hàng đầu việc tuân thủ chỉ dẫn của người dùng trong quá trình huấn luyện; nếu người dùng yêu cầu tạo nội dung độc hại hoặc thiên kiến, mô hình vẫn thực hiện chỉ dẫn đó khá hiệu quả.
Lỗi cơ bản: Mô hình vẫn mắc lỗi ảo tưởng, đôi khi thoái thác trả lời quá mức do xu hướng khiêm tốn nhận thức, và gặp khó khăn với các tiền đề sai hoặc chuỗi ràng buộc phức tạp.
Tính đại diện: Việc tinh chỉnh phụ thuộc vào phản hồi từ nhóm cộng tác viên hợp đồng (khoảng 40 người) và truy vấn từ người dùng API Playground, vốn chưa phản ánh đầy đủ phổ người dùng đại chúng.

Thuật ngữ chính

RLHF: Reinforcement Learning from Human Feedback (Học tăng cường từ phản hồi của con người); phương pháp huấn luyện reward model dựa trên sở thích của con người và tinh chỉnh policy thông qua học tăng cường.
InstructGPT: Họ mô hình GPT-3 được tinh chỉnh bằng các mẫu chỉ dẫn có giám sát và RLHF để tuân theo các chỉ thị viết bằng ngôn ngữ tự nhiên.
Alignment tax: Hiện tượng suy giảm hiệu năng trên các benchmark NLP tiêu chuẩn (như DROP hoặc SQuAD) khi căn chỉnh mô hình ngôn ngữ theo sở thích của con người.
PPO-ptx: Một biến thể của PPO kết hợp gradient từ dữ liệu tiền huấn luyện vào mục tiêu tinh chỉnh RL nhằm duy trì năng lực của mô hình trên các benchmark.
Reward Model (RM): Mô hình được huấn luyện để gán điểm số vô hướng cho mỗi cặp prompt-câu trả lời, giúp dự đoán mức độ ưa thích của con người giữa các câu trả lời khác nhau.
Supervised fine-tuning (SFT): Bước đầu tiên của quy trình căn chỉnh, trong đó mô hình ngôn ngữ cơ sở được tinh chỉnh trên các cặp prompt-mẫu hành vi do con người biên soạn.
Hallucination: Hiện tượng mô hình ngôn ngữ tự bịa ra thông tin sai lệch, không có căn cứ trong các tác vụ miền đóng như tóm tắt văn bản hoặc hỏi đáp.

Câu hỏi thường gặp

Tại sao InstructGPT 1.3B lại vượt trội hơn GPT-3 175B trong các đánh giá của con người?

GPT-3 cơ sở được tối ưu hóa để dự đoán token tiếp theo trên văn bản web chưa lọc, nên thường bỏ qua chỉ dẫn hoặc lặp lại ngữ cảnh. InstructGPT được tối ưu hóa trực tiếp dựa trên tín hiệu sở thích của con người nhằm đưa ra câu trả lời hữu ích và trực diện, thu hẹp khoảng cách giữa năng lực tham số đơn thuần và ý định tác vụ.

Bài báo giải quyết vấn đề thuế căn chỉnh (alignment tax) như thế nào?

Bằng cách bổ sung một số hạng cập nhật tiền huấn luyện vào mục tiêu huấn luyện PPO (PPO-ptx), nhân gradient tiền huấn luyện với hệ số $γ = 27.8$ . Điều này ngăn chặn sự tụt lùi hiệu năng trên các tập dữ liệu công khai như SQuAD và DROP mà không làm giảm tỷ lệ thắng theo đánh giá của con người.

Reward model được huấn luyện trên các đầu ra xếp hạng như thế nào?

Người gán nhãn xếp hạng $K$ câu trả lời ( $K$ từ 4 đến 9) cho mỗi prompt. Reward model 6B được huấn luyện đồng thời trên toàn bộ $(2 K)$ cặp trong cùng một phần tử batch, giúp giảm số lượt forward pass và hạn chế hiện tượng overfitting.

InstructGPT có làm giảm thiên kiến nhân khẩu học không?

Không. Khi đo lường trên Winogender và CrowS-Pairs, InstructGPT không cho thấy sự giảm thiểu thiên kiến đáng kể so với GPT-3 cơ sở, và các prompt yêu cầu trả lời tôn trọng đôi khi còn làm giảm entropy (dẫn đến làm tăng mức độ thiên kiến được ghi nhận).

Phần giải thích trên trang này do AI viết dựa trên bài báo và có thể có sai sót. Hãy đọc bài báo gốc để biết chi tiết.

Đọc với bản dịch và AI