Training language models to follow instructions with human feedback

Long Ouyang; Jeff Wu; Xu Jiang; Diogo Almeida; Carroll L. Wainwright; Pamela Mishkin; Chong Zhang; Sandhini Agarwal; Katarina Slama; Alex Ray; John Schulman; Jacob Hilton; Fraser Kelton; Luke Miller; Maddie Simens; Amanda Askell; Peter Welinder; Paul Christiano; Jan Leike; Ryan Lowe

การฝึกโมเดลภาษาให้ปฏิบัติตามคำสั่งด้วยข้อเสนอแนะจากมนุษย์

Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton et al.

เผยแพร่ 2022-03-04cs.CLcs.AIcs.LG arXiv PDF

อ่านพร้อมคำแปลและ AI

สรุปสามบรรทัด

โมเดลภาษาขนาดใหญ่ที่ฝึกด้วยการพยากรณ์คำถัดไปเพียงอย่างเดียวมักไม่สามารถทำตามเจตนาของผู้ใช้ และสร้างคำตอบที่เป็นพิษ ไม่จริง หรือไม่เป็นประโยชน์
ปรับแต่ง GPT-3 ด้วยตัวอย่างจากมนุษย์แบบมีผู้ดูแล ฝึก 6B reward model ด้วยผลลัพธ์ที่จัดอันดับ และปรับนโยบายด้วย PPO ร่วมกับการผสมข้อมูลพรีเทรน
ผลลัพธ์จาก InstructGPT 1.3B ได้รับความนิยมมากกว่า GPT-3 175B ในขณะที่ InstructGPT 175B ชนะ GPT-3 175B ถึง 85% ของการทดสอบ และลดการสร้างข้อมูลเท็จจาก 41% เหลือ 21%

บทคัดย่อ

การเพิ่มขนาดของโมเดลภาษาไม่ได้ทำให้โมเดลปฏิบัติตามเจตนาของผู้ใช้ได้ดีขึ้นเสมอไป ตัวอย่างเช่น โมเดลภาษาขนาดใหญ่อาจสร้างผลลัพธ์ที่ไม่เป็นความจริง เป็นพิษ หรือไม่เป็นประโยชน์ต่อผู้ใช้ กล่าวอีกนัยหนึ่งคือโมเดลเหล่านี้ไม่สอดคล้องกับเจตนาของผู้ใช้ (not aligned) ในบทความวิจัยนี้ เรานำเสนอแนวทางในการปรับโมเดลภาษาให้สอดคล้องกับเจตนาของผู้ใช้ในงานที่หลากหลาย โดยการปรับแต่งอย่างละเอียดด้วยข้อเสนอแนะจากมนุษย์ (human feedback) เริ่มต้นจากการรวบรวมชุดข้อมูลตัวอย่างพฤติกรรมที่พึงประสงค์ของโมเดลซึ่งเขียนโดยผู้ให้คะแนน (labeler demonstrations) จากชุดพรอมต์ที่ผู้ให้คะแนนเขียนขึ้นและพรอมต์ที่ส่งเข้ามาผ่าน OpenAI API จากนั้นนำข้อมูลนี้ไปปรับแต่ง GPT-3 แบบมีผู้ดูแล (supervised learning) ต่อมาเราได้รวบรวมชุดข้อมูลการจัดอันดับผลลัพธ์ของโมเดล เพื่อนำไปปรับแต่งโมเดลแบบมีผู้ดูแลนี้ต่อไปด้วยการเรียนรู้แบบเสริมกำลังจากข้อเสนอแนะของมนุษย์ (reinforcement learning from human feedback) เราเรียกโมเดลที่ได้นี้ว่า InstructGPT ในการประเมินโดยมนุษย์ตามการกระจายตัวของพรอมต์ที่เราใช้ ผลลัพธ์จากโมเดล InstructGPT ขนาด 1.3B พารามิเตอร์ ได้รับความชื่นชอบมากกว่าผลลัพธ์จาก GPT-3 ขนาด 175B แม้ว่าจะมีขนาดพารามิเตอร์น้อยกว่าถึง 100 เท่าก็ตาม ยิ่งไปกว่านั้น โมเดล InstructGPT ยังแสดงให้เห็นถึงการพัฒนาในด้านความถูกต้องตามข้อเท็จจริง และลดการสร้างผลลัพธ์ที่เป็นพิษลง โดยที่แทบไม่ส่งผลกระทบต่อประสิทธิภาพบนชุดข้อมูล NLP สาธารณะ แม้ว่า InstructGPT จะยังคงมีข้อผิดพลาดที่ไม่ซับซ้อนอยู่บ้าง แต่ผลการทดลองของเราแสดงให้เห็นว่า การปรับแต่งด้วยข้อเสนอแนะจากมนุษย์เป็นทิศทางที่มีศักยภาพสูงในการปรับโมเดลภาษาให้สอดคล้องกับเจตนาของมนุษย์

บทคัดย่อต้นฉบับ (ภาษาอังกฤษ)

Making language models bigger does not inherently make them better at following a user's intent. For example, large language models can generate outputs that are untruthful, toxic, or simply not helpful to the user. In other words, these models are not aligned with their users. In this paper, we show an avenue for aligning language models with user intent on a wide range of tasks by fine-tuning with human feedback. Starting with a set of labeler-written prompts and prompts submitted through the OpenAI API, we collect a dataset of labeler demonstrations of the desired model behavior, which we use to fine-tune GPT-3 using supervised learning. We then collect a dataset of rankings of model outputs, which we use to further fine-tune this supervised model using reinforcement learning from human feedback. We call the resulting models InstructGPT. In human evaluations on our prompt distribution, outputs from the 1.3B parameter InstructGPT model are preferred to outputs from the 175B GPT-3, despite having 100x fewer parameters. Moreover, InstructGPT models show improvements in truthfulness and reductions in toxic output generation while having minimal performance regressions on public NLP datasets. Even though InstructGPT still makes simple mistakes, our results show that fine-tuning with human feedback is a promising direction for aligning language models with human intent.

คู่มือการอ่าน

ปัญหาและแรงจูงใจ

โมเดลภาษาขนาดใหญ่ (LLMs) ทั่วไปได้รับการปรับแต่งเพื่อการทำนายคำถัดไป (next-token prediction) บนคลังข้อมูลเว็บ เป้าหมายในการพรีเทรนนี้ไม่สอดคล้องกับเป้าหมายของผู้ใช้ที่ต้องการให้ผู้ช่วยปัญญาประดิษฐ์ปฏิบัติตามคำสั่งอย่างเป็นประโยชน์ ถูกต้องตามความจริง และไม่ก่อให้เกิดอันตราย ด้วยเหตุนี้ โมเดลพื้นฐานอย่าง GPT-3 จึงมักสร้างข้อมูลเท็จ (hallucinate facts) แต่งบริบทขึ้นมาเอง สะท้อนข้อความที่เป็นพิษ หรือละเลยข้อจำกัดที่ผู้ใช้ระบุไว้อย่างชัดเจน การขยายขนาดพารามิเตอร์ของโมเดลเพียงอย่างเดียวไม่สามารถกำจัดปัญหาเหล่านี้ได้

แนวคิดสำคัญ

การปรับให้สอดคล้องด้วย Reinforcement Learning from Human Feedback (RLHF): ใช้การให้คะแนนของมนุษย์ในการชี้นำผลลัพธ์ของโมเดลให้ตรงกับเจตนาของผู้ใช้ แทนที่จะอิงตามความน่าจะเป็นของการต่อประโยคเพียงอย่างเดียว
กระบวนการฝึกฝน 3 ขั้นตอน: (1) Supervised fine-tuning (SFT) บนคู่คำสั่งและตัวอย่างคำตอบ, (2) การฝึก Reward Model (RM) ด้วยการเปรียบเทียบเชิงคู่จากการจัดอันดับผลลัพธ์ของโมเดล, และ (3) การปรับนโยบายให้เหมาะสมด้วย Proximal Policy Optimization (PPO)
การบรรเทาปัญหา Alignment Tax: การปรับแต่งด้วย PPO แบบมาตรฐานอาจทำให้ประสิทธิภาพบนชุดทดสอบมาตรฐานของ NLP ลดลง (เช่น SQuADv2, DROP) การผสมเกรเดียนต์ของการกระจายข้อมูลพรีเทรนเข้ากับการอัปเดตของ PPO (PPO-ptx) จะช่วยบรรเทาการสูญเสียขีดความสามารถเหล่านี้ได้โดยไม่สูญเสียความพึงพอใจของมนุษย์

วิธีการ (พร้อมสมการสำคัญ)

Supervised Fine-Tuning (SFT): ปรับแต่งโมเดลพื้นฐาน GPT-3 บนตัวอย่างการสาธิตคำสั่งประมาณ 13,000 รายการที่เขียนโดยผู้ให้คะแนนและที่ส่งผ่าน OpenAI API Playground
การฝึก Reward Model: สำหรับแต่ละพรอมต์ $x$ ผู้ให้คะแนนจะจัดอันดับผลลัพธ์ $K$ รายการ ( $K \in [4, 9]$ ) ซึ่งทำให้เกิดการเปรียบเทียบ $(2 K)$ คู่ โมเดลการให้รางวัลขนาด 6B $r_{θ} (x, y)$ ได้รับการฝึกด้วย pairwise cross-entropy loss สำหรับทุกคู่ในหนึ่งชุดข้อมูลย่อย (batch element): $loss (θ) = - \frac{1}{( 2 K )} E_{(x, y_{w}, y_{l}) \sim D} [lo g σ (r_{θ} (x, y_{w}) - r_{θ} (x, y_{l}))]$ โดยที่ $y_{w}$ คือผลลัพธ์ที่พึงประสงค์มากกว่า $y_{l}$
การปรับนโยบาย RL ให้เหมาะสม (PPO-ptx): ปรับปรุงนโยบาย $π_{ϕ}^{RL}$ ให้ได้รางวัลสเกลาร์สูงสุดควบคู่กับการลงโทษการเบี่ยงเบนออกจากโมเดล SFT ผ่าน token-level KL divergence และสามารถเลือกคงค่า pretraining log-likelihood ไว้ได้: $objective (ϕ) = E_{(x, y) \sim D_{π_{ϕ}^{RL}}} [r_{θ} (x, y) - β lo g (\frac{π _{ϕ}^{RL} ( y ∣ x )}{π ^{SFT} ( y ∣ x )})] + γ E_{x \sim D_{pretrain}} [lo g π_{ϕ}^{RL} (x)]$ ในที่นี้ $β$ คือสัมประสิทธิ์การลงโทษ KL และ $γ$ ควบคุมอัตราส่วนการผสมเกรเดียนต์ของการพรีเทรน

ผลการทดลอง (พร้อมตัวเลขสำคัญ)

ความพึงพอใจของมนุษย์: ผู้ให้คะแนนชอบผลลัพธ์จาก InstructGPT 1.3B มากกว่า GPT-3 175B รุ่นพื้นฐาน (ขนาดพารามิเตอร์ต่างกันถึง 100 เท่า) ผลลัพธ์จาก InstructGPT 175B ได้รับความนิยมมากกว่า GPT-3 175B ถึง $85 \pm 3%$ ของการทดสอบ และชนะ GPT-3 175B ที่ใช้ few-shot prompting ถึง $71 \pm 4%$
ความถูกต้องตามข้อเท็จจริงและการสร้างข้อมูลเท็จ: ในการทดสอบ TruthfulQA InstructGPT สร้างผลลัพธ์ที่ตรงตามความจริงและให้ข้อมูลที่เป็นประโยชน์บ่อยกว่า GPT-3 ประมาณสองเท่า ในงาน API โดเมนปิด อัตราการเกิดภาพหลอน/ข้อมูลเท็จลดลงจาก 41% (GPT-3) เหลือ 21% (InstructGPT)
ความเป็นพิษ: InstructGPT ให้ผลลัพธ์ที่มีความเป็นพิษน้อยกว่า GPT-3 ประมาณ 25% บนชุดข้อมูล RealToxicityPrompts เมื่อได้รับคำสั่งให้ตอบอย่างสุภาพ
ความสามารถในการปรับใช้ทั่วไป (Generalization): InstructGPT สามารถปรับใช้กับผู้ให้คะแนนกลุ่มใหม่ที่แยกไว้ได้อย่างเสถียร (ความเห็นพ้อง $77.3%$ ) และคำสั่งนอกโดเมน เช่น การถามตอบ/สรุปโค้ด และคำสั่งที่ไม่ใช่ภาษาอังกฤษ แม้ว่าภาษาอังกฤษจะมีสัดส่วนมากกว่า 96% ในข้อมูลการฝึกก็ตาม

ข้อจำกัดและประเด็นปลายเปิด

การประนีประนอมระหว่างความปลอดภัยและความสอดคล้อง: ในระหว่างการฝึก InstructGPT ให้ความสำคัญกับการปฏิบัติตามคำสั่งของผู้ใช้เป็นหลัก หากถูกป้อนคำสั่งให้สร้างข้อมูลที่เป็นอันตรายหรือมีอคติ โมเดลก็พร้อมที่จะทำตามคำสั่งนั้นอย่างมีประสิทธิภาพ
ข้อผิดพลาดที่ไม่ซับซ้อน: โมเดลยังคงสร้างข้อมูลเท็จ (hallucinate) อาจมีการตอบแบบเลี่ยงข้อเท็จจริงมากเกินไปอันเนื่องมาจากการปรับตัวเพื่อความถ่อมตนทางความรู้ (epistemic humility) และยังมีปัญหากับข้อความที่มีสมมติฐานผิดพลาดหรือข้อจำกัดหลายข้อที่มีความซับซ้อน
ความเป็นตัวแทนของข้อมูล: การปรับแต่งแบบละเอียดพึ่งพาข้อเสนอแนะจากผู้รับจ้างภายนอก (ผู้ให้คะแนนประมาณ 40 คน) และข้อซักถามจากลูกค้าของ API Playground ซึ่งอาจไม่ได้ครอบคลุมกลุ่มผู้ใช้ปลายทางทั้งหมดอย่างแท้จริง

คำศัพท์สำคัญ

RLHF: Reinforcement Learning from Human Feedback (การเรียนรู้แบบเสริมกำลังจากข้อเสนอแนะของมนุษย์); วิธีการที่ฝึกโมเดลการให้รางวัลจากความพึงพอใจของมนุษย์ และปรับแต่งนโยบายด้วยการเรียนรู้แบบเสริมกำลัง
InstructGPT: ตระกูลโมเดล GPT-3 ที่ได้รับการปรับแต่งแบบมีผู้ดูแลด้วยตัวอย่างคำตอบ และการฝึกด้วย RLHF เพื่อให้ปฏิบัติตามคำสั่งภาษาธรรมชาติได้ดียิ่งขึ้น
Alignment tax: การลดลงของประสิทธิภาพที่สังเกตได้บนชุดทดสอบมาตรฐานของ NLP (เช่น DROP หรือ SQuAD) เมื่อทำการปรับโมเดลภาษาให้สอดคล้องกับความพึงพอใจของมนุษย์
PPO-ptx: ตัวแปรย่อยของ PPO ที่ผสมเกรเดียนต์จากข้อมูลการพรีเทรนเข้ากับฟังก์ชันเป้าหมายของการปรับแต่ง RL เพื่อรักษาขีดความสามารถบนชุดทดสอบมาตรฐาน
Reward Model (RM): โมเดลที่ได้รับการฝึกให้กำหนดคะแนนสเกลาร์ให้กับคู่พรอมต์และผลลัพธ์ โดยทำนายระดับความพึงพอใจของมนุษย์เมื่อเทียบกับผลลัพธ์ทางเลือกอื่นๆ
Supervised fine-tuning (SFT): ขั้นตอนแรกของกระบวนการ alignment ซึ่งโมเดลภาษาพื้นฐานจะถูกปรับแต่งอย่างละเอียดบนคู่คำสั่งและตัวอย่างคำตอบที่เขียนขึ้นโดยมนุษย์
Hallucination: ภาวะที่โมเดลภาษาแต่งข้อมูลที่ไม่มีมูลความจริงหรือไม่ตรงกับข้อเท็จจริงขึ้นมา โดยเฉพาะในงานแบบโดเมนปิด เช่น การสรุปความหรือการตอบคำถาม

คำถามที่พบบ่อย

เหตุใด InstructGPT 1.3B จึงมีประสิทธิภาพเหนือกว่า GPT-3 175B ในการประเมินโดยมนุษย์?

GPT-3 รุ่นพื้นฐานถูกปรับแต่งให้เหมาะสมกับการทำนายคำถัดไปจากข้อความบนเว็บที่ไม่ได้ผ่านการคัดกรอง ทำให้บ่อยครั้งละเลยคำสั่งหรือพูดประโยคในบริบทซ้ำ InstructGPT ได้รับการปรับแต่งอย่างชัดเจนด้วยสัญญาณความพึงพอใจของมนุษย์เพื่อให้สร้างคำตอบที่ตรงประเด็นและเป็นประโยชน์ ซึ่งช่วยลดช่องว่างระหว่างขีดความสามารถของพารามิเตอร์ดิบกับเจตนาของงานที่มอบหมาย

งานวิจัยนี้แก้ไขปัญหา alignment tax อย่างไร?

โดยการนำพจน์การอัปเดตของการพรีเทรนผนวกเข้ากับฟังก์ชันเป้าหมายของการฝึก PPO (PPO-ptx) โดยคูณเกรเดียนต์ของการพรีเทรนด้วยสัมประสิทธิ์ $γ = 27.8$ ซึ่งช่วยป้องกันการถดถอยของประสิทธิภาพบนชุดข้อมูลสาธารณะอย่าง SQuAD และ DROP โดยไม่กระทบต่อความพึงพอใจของมนุษย์

การฝึก reward model ด้วยผลลัพธ์ที่จัดอันดับทำอย่างไร?

ผู้ให้คะแนนจะจัดอันดับผลลัพธ์ $K$ รายการ ( $K$ ระหว่าง 4 ถึง 9) ต่อหนึ่งพรอมต์ โมเดลการให้รางวัลขนาด 6B จะได้รับการฝึกบนข้อมูลเปรียบเทียบทั้ง $(2 K)$ คู่พร้อมกันภายในชุดข้อมูลย่อยเดียว ซึ่งช่วยลดรอบ forward passes และป้องกันไม่ให้โมเดลเกิด overfitting

InstructGPT ช่วยลดอคติทางประชากรศาสตร์หรือไม่?

ไม่ เมื่อประเมินบนชุดข้อมูล Winogender และ CrowS-Pairs โมเดล InstructGPT ไม่ได้แสดงให้เห็นการลดลงของอคติอย่างมีนัยสำคัญเมื่อเทียบกับ GPT-3 รุ่นพื้นฐาน และบางครั้งการใช้พรอมต์ให้ตอบอย่างสุภาพยังทำให้ entropy ลดลง (ซึ่งส่งผลให้อคติที่วัดได้เพิ่มขึ้น)

คำอธิบายในหน้านี้เขียนโดย AI จากงานวิจัยและอาจมีข้อผิดพลาด โปรดอ่านต้นฉบับเพื่อดูรายละเอียด

อ่านพร้อมคำแปลและ AI