Constitutional AI: Harmlessness from AI Feedback

Yuntao Bai; Saurav Kadavath; Sandipan Kundu; Amanda Askell; Jackson Kernion; Andy Jones; Anna Chen; Anna Goldie; Azalia Mirhoseini; Cameron McKinnon; Carol Chen; Catherine Olsson; Christopher Olah; Danny Hernandez; Dawn Drain; Deep Ganguli; Dustin Li; Eli Tran-Johnson; Ethan Perez; Jamie Kerr; Jared Mueller; Jeffrey Ladish; Joshua Landau; Kamal Ndousse; Kamile Lukosuite; Liane Lovitt; Michael Sellitto; Nelson Elhage; Nicholas Schiefer; Noemi Mercado; Nova DasSarma; Robert Lasenby; Robin Larson; Sam Ringer; Scott Johnston; Shauna Kravec; Sheer El Showk; Stanislav Fort; Tamera Lanham; Timothy Telleen-Lawton; Tom Conerly; Tom Henighan; Tristan Hume; Samuel R. Bowman; Zac Hatfield-Dodds; Ben Mann; Dario Amodei; Nicholas Joseph; Sam McCandlish; Tom Brown

Constitutional AI: Harmlessness from AI Feedback

Yuntao Bai, Saurav Kadavath, Sandipan Kundu, Amanda Askell, Jackson Kernion, Andy Jones, Anna Chen, Anna Goldie, Azalia Mirhoseini, Cameron McKinnon, Carol Chen, Catherine Olsson et al.

เผยแพร่ 2022-12-15cs.CLcs.AI arXiv PDF

อ่านพร้อมคำแปลและ AI

สรุปสามบรรทัด

🎯 RLHF แบบมาตรฐานพึ่งพาป้ายกำกับความอันตรายจากมนุษย์อย่างมาก และมักส่งผลให้ได้ผู้ช่วยที่หลบเลี่ยงคำถามด้วยการปฏิเสธคำถามที่ละเอียดอ่อนในทันที
🔧 Constitutional AI ใช้รายการกฎเกณฑ์ภาษาธรรมชาติที่เป็นลายลักษณ์อักษรเพื่อขับเคลื่อนการวิจารณ์ตนเอง การแก้ไขอัตโนมัติ และการเรียนรู้แบบเสริมกำลังจากฟีดแบ็กของ AI (RLAIF)
📈 โมเดล RL-CAI ที่ได้มีความสามารถทัดเทียมหรือเหนือกว่าโมเดลที่ฝึกด้วยฟีดแบ็กจากมนุษย์ในด้านความไม่เป็นอันตรายโดยไม่หลบเลี่ยงคำตอบ ในขณะที่ยังคงรักษาความเป็นประโยชน์ไว้ได้

บทคัดย่อ

เมื่อระบบ AI มีความสามารถสูงขึ้น เราต้องการใช้ประโยชน์จากระบบเหล่านี้ในการช่วยกำกับดูแล AI ตัวอื่น ๆ เราได้ทำการทดลองด้วยวิธีการฝึกฝนผู้ช่วย AI ที่ไม่เป็นอันตรายผ่านการพัฒนาตนเอง โดยปราศจากป้ายกำกับของมนุษย์ที่ระบุว่าผลลัพธ์ใดเป็นอันตราย การกำกับดูแลจากมนุษย์มีเพียงการกำหนดรายการกฎเกณฑ์หรือหลักการเท่านั้น เราจึงเรียกวิธีนี้ว่า 'Constitutional AI' กระบวนการดังกล่าวประกอบด้วยทั้งขั้นตอนการเรียนรู้แบบมีผู้ดูแล (Supervised Learning) และการเรียนรู้แบบเสริมกำลัง (Reinforcement Learning) ในขั้นตอนการเรียนรู้แบบมีผู้ดูแล เราสุ่มตัวอย่างผลลัพธ์จากโมเดลเริ่มต้น จากนั้นสร้างการวิจารณ์ตนเองและการแก้ไข แล้วจึงนำโมเดลเดิมมาปรับจูน (Finetune) ด้วยคำตอบที่ได้รับการแก้ไขแล้ว ในขั้นตอน RL เราสุ่มตัวอย่างจากโมเดลที่ปรับจูนแล้ว ใช้โมเดลในการประเมินว่าตัวอย่างใดในสองตัวอย่างดีกว่ากัน และฝึก preference model จากชุดข้อมูลความพึงพอใจของ AI นี้ จากนั้นเราจึงฝึกฝนด้วย RL โดยใช้ preference model เป็นสัญญาณรางวัล กล่าวคือ เราใช้ 'RL from AI Feedback' (RLAIF) ผลลัพธ์ที่ได้คือ เราสามารถฝึกฝนผู้ช่วย AI ที่ไม่เป็นอันตรายแต่ไม่หลบเลี่ยงคำถาม ซึ่งสามารถตอบรับข้อคำถามที่เป็นอันตรายด้วยการอธิบายเหตุผลที่ต้องปฏิเสธ ทั้งวิธี SL และ RL สามารถใช้ประโยชน์จากการให้เหตุผลแบบ chain-of-thought เพื่อปรับปรุงประสิทธิภาพการตัดสินใจที่ประเมินโดยมนุษย์และความโปร่งใสของการตัดสินใจของ AI วิธีการเหล่านี้ช่วยให้สามารถควบคุมพฤติกรรมของ AI ได้อย่างแม่นยำยิ่งขึ้น และใช้ป้ายกำกับจากมนุษย์น้อยลงอย่างมาก

บทคัดย่อต้นฉบับ (ภาษาอังกฤษ)

As AI systems become more capable, we would like to enlist their help to supervise other AIs. We experiment with methods for training a harmless AI assistant through self-improvement, without any human labels identifying harmful outputs. The only human oversight is provided through a list of rules or principles, and so we refer to the method as 'Constitutional AI'. The process involves both a supervised learning and a reinforcement learning phase. In the supervised phase we sample from an initial model, then generate self-critiques and revisions, and then finetune the original model on revised responses. In the RL phase, we sample from the finetuned model, use a model to evaluate which of the two samples is better, and then train a preference model from this dataset of AI preferences. We then train with RL using the preference model as the reward signal, i.e. we use 'RL from AI Feedback' (RLAIF). As a result we are able to train a harmless but non-evasive AI assistant that engages with harmful queries by explaining its objections to them. Both the SL and RL methods can leverage chain-of-thought style reasoning to improve the human-judged performance and transparency of AI decision making. These methods make it possible to control AI behavior more precisely and with far fewer human labels.

คู่มือการอ่าน

ปัญหาและแรงจูงใจ

Reinforcement Learning from Human Feedback (RLHF) แบบมาตรฐานต้องเผชิญกับคอขวดหลายประการเมื่อปรับจูนพฤติกรรม (alignment) ของผู้ช่วยภาษา:

การพึ่งพาป้ายกำกับความอันตรายจากมนุษย์อย่างมาก: การเก็บข้อมูลการเปรียบเทียบความพึงพอใจของมนุษย์นับหมื่นรายการสำหรับประเด็นความอันตรายนั้นมีค่าใช้จ่ายสูงและทำให้ผู้ติดป้ายกำกับที่เป็นมนุษย์ต้องเผชิญกับเนื้อหาที่เป็นพิษ
การหลบเลี่ยงคำตอบและความขัดแย้งกับความเป็นประโยชน์: โมเดลที่ฝึกผ่าน RLHF มักเรียนรู้ที่จะตอบกลับข้อความที่ละเอียดอ่อนด้วยการปฏิเสธสำเร็จรูป เช่น “ฉันไม่สามารถตอบคำถามนี้ได้” ซึ่งลดทอนความเป็นประโยชน์และความโปร่งใส
ความคลุมเครือ: ป้ายกำกับความพึงพอใจส่วนบุคคลหลายพันรายการทำให้เป้าหมายการปรับจูนพฤติกรรมที่แท้จริงเป็นแบบแฝงและยากต่อการตรวจสอบหรือตรวจสอบย้อนกลับ

Constitutional AI (CAI) มุ่งหมายที่จะขยายขีดความสามารถในการกำกับดูแล โดยการแทนที่คำอธิบายประกอบความอันตรายจากมนุษย์ด้วยหลักการภาษาธรรมชาติที่ชัดเจน (เรียกว่า รัฐธรรมนูญ หรือ constitution) และฝึก AI ให้วิจารณ์ตนเอง แก้ไข และสร้างฟีดแบ็กความพึงพอใจของตนเองขึ้นมา

แนวคิดสำคัญ

A Constitution of Principles: พฤติกรรมถูกชี้นำทั้งหมดผ่านชุดกฎเกณฑ์ภาษาธรรมชาติชุดเล็กๆ (ประมาณ 16 หลักการ) แทนที่จะใช้ป้ายกำกับความอันตรายจากมนุษย์
Two-Stage Pipeline: ขั้นตอน Supervised Learning (SL) นำพาผลลัพธ์ของโมเดลเข้าสู่การกระจายตัวของข้อมูลที่ต้องการ (on-distribution) โดยใช้การวิจารณ์ตนเองและการแก้ไข ตามด้วยขั้นตอน Reinforcement Learning from AI Feedback (RLAIF) ที่ฝึก preference model บนข้อมูลการเปรียบเทียบที่โมเดลเป็นผู้ประเมิน
Engagement Over Evasiveness: ผู้ช่วยได้รับการชี้นำให้อธิบายข้อคัดค้านต่อคำขอที่เป็นอันตราย แทนที่จะออกคำปฏิเสธแบบเหวี่ยงแห
Chain-of-Thought (CoT) Supervision: การใช้การให้เหตุผลแบบเป็นขั้นเป็นตอนระหว่างการประเมินช่วยเพิ่มความสามารถของโมเดลในการระบุอันตรายและประเมินความพึงพอใจแบบปรนัยได้อย่างมีนัยสำคัญ

ระเบียบวิธี

1. ขั้นตอน Supervised Learning (Critique $\to$ Revision $\to$ SL-CAI)

สุ่มตัวอย่างผลลัพธ์เริ่มต้นจากโมเดล RLHF ที่เน้นความเป็นประโยชน์โดยใช้ red-teaming prompt $x$
กำหนดให้โมเดลวิจารณ์คำตอบของตนเองตามหลักการ constitutional principle ที่สุ่มมา: $Critique \sim P_{model} (\cdot ∣ x, y_{initial}, CritiqueRequest)$
กำหนดให้โมเดลแก้ไขคำตอบเพื่อให้สอดคล้องกับคำวิจารณ์: $y_{revised} \sim P_{model} (\cdot ∣ x, y_{initial}, Critique, RevisionRequest)$
ทำซ้ำกระบวนการวิจารณ์และแก้ไขเป็นวงรอบ (โดยทั่วไปสูงสุด 4 ครั้ง)
ปรับจูน (Finetune) พรีเทรน LM บนคำตอบที่ได้รับการแก้ไขแล้วควบคู่กับข้อมูลสาธิตความเป็นประโยชน์ (red team prompts จำนวน 182,831 รายการ, helpfulness prompts จำนวน 135,296 รายการ) เป็นเวลา 1 epoch ด้วย batch size 1024

2. ขั้นตอน Reinforcement Learning (RLAIF)

ใช้โมเดล SL-CAI สุ่มคู่คำตอบ $(y_{A}, y_{B})$ สำหรับแต่ละพรอมต์
แสดงบทสนทนา คู่คำตอบ และหลักการที่สุ่มเลือกให้กับ feedback model ในรูปแบบข้อสอบปรนัย (อาจเลือกใช้ Chain-of-Thought ร่วมด้วยได้)
คำนวณความน่าจะเป็นของเป้าหมายที่ถูกปรับมาตรฐานแล้วจาก completion logits ของ feedback model: $P (A) = \frac{e ^{z_{A}}}{e ^{z_{A}} + e ^{z_{B}}}$ เมื่อใช้ Chain-of-Thought ความน่าจะเป็นของเป้าหมายจะถูกจำกัด (clamped) ให้อยู่ในช่วง $[0.40, 0.60]$ เพื่อหลีกเลี่ยงความมั่นใจที่สูงเกินไป
ฝึก Preference Model (PM) โดยใช้ข้อมูลผสม: ข้อมูลเปรียบเทียบความเป็นประโยชน์ที่ติดป้ายกำกับโดยมนุษย์ 135,296 รายการ และข้อมูลเปรียบเทียบความไม่เป็นอันตรายที่สร้างโดย AI 182,831 รายการ
เพิ่มประสิทธิภาพนโยบาย (policy) SL-CAI เทียบกับ preference model นี้ผ่าน RL

ผลลัพธ์

Pareto Improvements: การประเมินโดย crowdworker (อิงจากการเปรียบเทียบความเป็นประโยชน์ 10,274 ครั้ง และความไม่เป็นอันตราย 8,135 ครั้ง) แสดงให้เห็นว่าโมเดล 52B RL-CAI ได้รับคะแนน harmlessness Elo ที่เหนือกว่าในระดับความเป็นประโยชน์ที่เท่ากัน เมื่อเทียบกับโมเดลที่ฝึกด้วยป้ายกำกับความไม่เป็นอันตรายจากมนุษย์
Reduced Evasiveness: เมื่อ crowdworker ได้รับคำสั่งอย่างชัดเจนให้เลือกคำอธิบายที่มีการคิดไตร่ตรองมากกว่าการปฏิเสธแบบหลบเลี่ยง โมเดล RL-CAI มีประสิทธิภาพเหนือกว่าโมเดลมาตรฐาน HH RLHF อย่างสม่ำเสมอ
Scaling of AI Feedback: โมเดลขนาดใหญ่ขึ้น (52B) พร้อมการให้เหตุผลแบบ Chain-of-Thought มีความแม่นยำเข้าใกล้โมเดลที่ฝึกด้วยความพึงพอใจของมนุษย์บนชุดทดสอบมาตรฐาน HHH (ได้คะแนนความแม่นยำสูงกว่า 80–90% ในการระบุอันตรายแบบปรนัยสองตัวเลือก)
Critiques vs. Direct Revisions: การวิจารณ์ส่งผลให้คะแนนความไม่เป็นอันตรายดีขึ้นอย่างเห็นได้ชัดในโมเดลขนาดเล็ก ในขณะที่มีประสิทธิภาพดีกว่าเล็กน้อยหรือเทียบเท่ากับการแก้ไขโดยตรงในโมเดลขนาด 52B

ข้อจำกัดและคำถามปลายเปิด

การพึ่งพาป้ายกำกับความเป็นประโยชน์จากมนุษย์: การทดลองตัดป้ายกำกับฟีดแบ็กจากมนุษย์เฉพาะด้านความไม่เป็นอันตรายเท่านั้น ข้อมูลความเป็นประโยชน์ยังคงพึ่งพาป้ายกำกับการเปรียบเทียบของมนุษย์
Goodharting and Over-Optimization: การฝึก RL ในระยะยาวบางครั้งทำให้เกิดภาษาที่ดูเทศนาหรือเป็นแบบแผนตายตัว (เช่น การพูดซ้ำๆ ว่า “You are valid, valued, and cared for”)
การปรับเทียบของ CoT Targets: เนื่องจากการให้เหตุผลแบบ Chain-of-Thought ทำให้โมเดลเอนเอียงไปยังตัวเลือกใดตัวเลือกหนึ่งอย่างมาก การจำกัดความน่าจะเป็น (probability clamping) จึงจำเป็นต้องถูกนำมาใช้เป็นฮิวริสติกเพื่อรักษาเสถียรภาพของ preference model
ความกังวลด้าน Dual-Use: การลดอุปสรรคด้านการติดป้ายกำกับข้อมูลในการชี้นำโมเดลภาษายังทำให้การฝึกโมเดลเพื่อเป้าหมายที่เป็นอันตรายโดยปราศจากการกำกับดูแลของมนุษย์ทำได้ง่ายขึ้นเช่นกัน

คำศัพท์สำคัญ

Constitutional AI (CAI): กรอบการทำงานในการฝึกฝนที่ปรับจูนโมเดลภาษาโดยใช้การพัฒนาตนเองซึ่งชี้นำโดยชุดหลักการภาษาธรรมชาติที่ชัดเจน แทนที่จะใช้ป้ายกำกับความอันตรายจากมนุษย์
Reinforcement Learning from AI Feedback (RLAIF): กระบวนการเรียนรู้แบบเสริมกำลังที่แบบจำลอง preference model สำหรับการให้รางวัลถูกฝึกบนป้ายกำกับการเปรียบเทียบที่สร้างขึ้นโดยโมเดล AI ที่ประเมินตัวเลือกเทียบกับหลักการที่กำหนด
Constitution: ชุดกฎเกณฑ์หรือคำสั่งสั้นๆ ที่เป็นลายลักษณ์อักษรซึ่งใช้เพื่อชี้นำพรอมต์สำหรับการวิจารณ์ การแก้ไข และการติดป้ายกำกับความพึงพอใจ
SL-CAI: โมเดลในขั้นตอนการเรียนรู้แบบมีผู้ดูแล ซึ่งฝึกโดยการปรับจูนโมเดลภาษาที่ผ่านการพรีเทรนด้วยข้อมูลการวิจารณ์และการแก้ไขที่สร้างโดยโมเดลซ้ำๆ เป็นวงรอบ
RL-CAI: โมเดลนโยบายสุดท้ายที่ได้รับการปรับจูนด้วยการเรียนรู้แบบเสริมกำลังเทียบกับ preference model ที่ฝึกบนข้อมูลเปรียบเทียบความไม่เป็นอันตรายที่สร้างโดย AI และข้อมูลเปรียบเทียบความเป็นประโยชน์จากมนุษย์
Scaling Supervision: เทคนิคที่นำระบบ AI มาช่วยกำกับดูแล AI ตัวอื่นๆ เพื่อลดการพึ่งพาการติดป้ายกำกับโดยมนุษย์โดยตรงเมื่อโมเดลมีขนาดใหญ่ขึ้น
Probability Clamping: เทคนิคการปรับเทียบที่ใช้ระหว่างการสร้างความพึงพอใจด้วย Chain-of-Thought ซึ่งจำกัดขอบเขตความน่าจะเป็นเป้าหมาย (เช่น ให้อยู่ระหว่าง 40% ถึง 60%) เพื่อป้องกันป้ายกำกับที่มีความมั่นใจสูงเกินไป
Evasiveness: รูปแบบความล้มเหลวที่ผู้ช่วย AI ปิดกั้นคำถามที่เป็นประเด็นขัดแย้งหรือละเอียดอ่อนด้วยการปฏิเสธแบบเหวี่ยงแห แทนที่จะอธิบายว่าทำไมคำขอนั้นจึงเป็นอันตราย

คำถามที่พบบ่อย

Constitutional AI กำจัดการใช้ข้อมูลจากมนุษย์ทั้งหมดออกจากกระบวนการฝึกฝนหรือไม่?

ไม่ วิธีนี้กำจัดเฉพาะป้ายกำกับฟีดแบ็กจากมนุษย์สำหรับประเด็นความไม่เป็นอันตราย แต่ยังคงใช้ข้อมูลเปรียบเทียบฟีดแบ็กจากมนุษย์สำหรับด้านความเป็นประโยชน์ ตลอดจนหลักการรัฐธรรมนูญที่เขียนโดยมนุษย์และการสาธิตพรอมต์แบบ few-shot

ทำไมจึงต้องใช้การวิจารณ์ แทนที่จะสั่งให้โมเดลแก้ไขผลลัพธ์ที่เป็นอันตรายโดยตรง?

การวิจารณ์ตนเองอย่างชัดแจ้งช่วยสร้างความโปร่งใสในกระบวนการให้เหตุผลของโมเดล และช่วยปรับปรุงคะแนนความพึงพอใจด้านความไม่เป็นอันตรายในโมเดลขนาดเล็กได้อย่างมีนัยสำคัญ ในขณะที่ให้ประสิทธิภาพดีกว่าเล็กน้อยเมื่อเทียบกับการแก้ไขโดยตรงในโมเดลขนาด 52B

เหตุใดจึงต้องจำกัดค่าความน่าจะเป็นของความพึงพอใจเมื่อใช้ Chain-of-Thought?

ผลลัพธ์จาก Chain-of-thought มักจะเลือกปักใจกับตัวเลือกใดตัวเลือกหนึ่งอย่างมาก ทำให้ log-probabilities พุ่งไปใกล้ 0 หรือ 1 การจำกัดเป้าหมายความพึงพอใจไว้ระหว่าง 40% ถึง 60% จึงช่วยป้องกันไม่ให้นโยบาย RL เสื่อมถอยไปสู่พฤติกรรมที่สุดโต่งหรือมีปฏิกิริยามากเกินไป

Constitutional AI จัดการกับปัญหาการหลบเลี่ยงคำตอบของโมเดลอย่างไร?

ด้วยการสั่งให้โมเดลในระหว่างการวิจารณ์ การแก้ไข และการให้ฟีดแบ็ก อธิบายเหตุผลว่าทำไมคำขอที่ไม่พึงประสงค์จึงเป็นอันตราย และตอบสนองอย่างรอบคอบ แทนที่จะเลือกใช้การปฏิเสธแบบสำเร็จรูปทั่วไปอย่าง 'ฉันไม่สามารถตอบคำถามนี้ได้'

คำอธิบายในหน้านี้เขียนโดย AI จากงานวิจัยและอาจมีข้อผิดพลาด โปรดอ่านต้นฉบับเพื่อดูรายละเอียด

อ่านพร้อมคำแปลและ AI

Constitutional AI: Harmlessness from AI Feedback

สรุปสามบรรทัด

บทคัดย่อ

คู่มือการอ่าน

ปัญหาและแรงจูงใจ

แนวคิดสำคัญ

ระเบียบวิธี

1. ขั้นตอน Supervised Learning (Critique → Revision → SL-CAI)

2. ขั้นตอน Reinforcement Learning (RLAIF)

ผลลัพธ์

ข้อจำกัดและคำถามปลายเปิด

คำศัพท์สำคัญ

คำถามที่พบบ่อย

1. ขั้นตอน Supervised Learning (Critique $\to$ Revision $\to$ SL-CAI)