GPT-4 Technical Report

OpenAI; Josh Achiam; Steven Adler; Sandhini Agarwal; Lama Ahmad; Ilge Akkaya; Florencia Leoni Aleman; Diogo Almeida; Janko Altenschmidt; Sam Altman; Shyamal Anadkat; Red Avila; Igor Babuschkin; Suchir Balaji; Valerie Balcom; Paul Baltescu; Haiming Bao; Mohammad Bavarian; Jeff Belgum; Irwan Bello; Jake Berdine; Gabriel Bernadett-Shapiro; Christopher Berner; Lenny Bogdonoff; Oleg Boiko; Madelaine Boyd; Anna-Luisa Brakman; Greg Brockman; Tim Brooks; Miles Brundage; Kevin Button; Trevor Cai; Rosie Campbell; Andrew Cann; Brittany Carey; Chelsea Carlson; Rory Carmichael; Brooke Chan; Che Chang; Fotis Chantzis; Derek Chen; Sully Chen; Ruby Chen; Jason Chen; Mark Chen; Ben Chess; Chester Cho; Casey Chu; Hyung Won Chung; Dave Cummings

รายงานทางเทคนิคของ GPT-4 (GPT-4 Technical Report)

OpenAI, Josh Achiam, Steven Adler, Sandhini Agarwal, Lama Ahmad, Ilge Akkaya, Florencia Leoni Aleman, Diogo Almeida, Janko Altenschmidt, Sam Altman, Shyamal Anadkat, Red Avila et al.

เผยแพร่ 2023-03-15cs.CLcs.AI arXiv PDF

อ่านพร้อมคำแปลและ AI

สรุปสามบรรทัด

🎯 โมเดลภาษาชั้นแนวหน้าต้องเผชิญกับอุปสรรคด้านความน่าเชื่อถือ การปรับพฤติกรรมให้สอดคล้อง (alignment) และความสามารถในการคาดการณ์ เมื่อขยายขนาดไปสู่ระดับการคำนวณมหาศาล
🔧 พรีเทรนโมเดล Transformer เพื่อทำนายโทเคนจากอินพุตข้อความและภาพ ปรับแต่งต่อด้วย RLHF และโมเดลให้รางวัลตามกฎแบบซีโรช็อต (RBRMs) พร้อมกฎการปรับขนาด (scaling laws) ที่คาดเดาได้
📈 ทำคะแนนติดอันดับท็อป 10% ในการสอบ Uniform Bar Exam จำลอง (298/400) และได้ 86.4% ใน 5-shot MMLU พร้อมทั้งลดการตอบกลับที่ไม่พึงประสงค์ลง 82% เมื่อเทียบกับ GPT-3.5

บทคัดย่อ

เราขอนำเสนอการพัฒนา GPT-4 ซึ่งเป็นโมเดลหลายรูปแบบ (multimodal model) ขนาดใหญ่ที่สามารถรับอินพุตทั้งภาพและข้อความ และสร้างเอาต์พุตเป็นข้อความได้ แม้ว่าในหลายสถานการณ์จริงจะยังมีความสามารถน้อยกว่ามนุษย์ แต่ GPT-4 แสดงให้เห็นถึงประสิทธิภาพระดับมนุษย์ในเกณฑ์มาตรฐานทางวิชาชีพและวิชาการหลายชุด รวมถึงการสอบผ่านการสอบเนติบัณฑิตจำลองด้วยคะแนนที่อยู่ในกลุ่มท็อป 10% ของผู้สอบ ทั้งนี้ GPT-4 เป็นโมเดลที่มีสถาปัตยกรรมแบบ Transformer ซึ่งได้รับการพรีเทรนเพื่อทำนายโทเคนถัดไปในเอกสาร กระบวนการจัดแนวพฤติกรรมหลังการเทรน (post-training alignment) ช่วยเพิ่มประสิทธิภาพด้านความถูกต้องของข้อเท็จจริงและการปฏิบัติตามพฤติกรรมที่พึงประสงค์ องค์ประกอบหลักของโครงการนี้คือการพัฒนาโครงสร้างพื้นฐานและวิธีการเพิ่มประสิทธิภาพที่ทำงานได้อย่างแม่นยำและคาดเดาได้ในหลากหลายระดับสเกล ทำให้เราสามารถทำนายบางแง่มุมของประสิทธิภาพของ GPT-4 ได้อย่างแม่นยำโดยอิงจากโมเดลที่เทรนด้วยพลังการประมวลผลไม่เกิน 1/1,000 เท่าของ GPT-4

บทคัดย่อต้นฉบับ (ภาษาอังกฤษ)

We report the development of GPT-4, a large-scale, multimodal model which can accept image and text inputs and produce text outputs. While less capable than humans in many real-world scenarios, GPT-4 exhibits human-level performance on various professional and academic benchmarks, including passing a simulated bar exam with a score around the top 10% of test takers. GPT-4 is a Transformer-based model pre-trained to predict the next token in a document. The post-training alignment process results in improved performance on measures of factuality and adherence to desired behavior. A core component of this project was developing infrastructure and optimization methods that behave predictably across a wide range of scales. This allowed us to accurately predict some aspects of GPT-4's performance based on models trained with no more than 1/1,000th the compute of GPT-4.

คู่มือการอ่าน

ปัญหาและแรงจูงใจ

โมเดลภาษาขนาดใหญ่ (LLMs) แสดงให้เห็นถึงศักยภาพที่ยอดเยี่ยมในงานประมวลผลภาษาธรรมชาติ แต่ในรุ่นก่อนหน้า (เช่น GPT-3.5) ยังมีจุดอ่อนสำคัญด้านการให้เหตุผลที่ซับซ้อน ความน่าเชื่อถือ ความแม่นยำของข้อเท็จจริง และความปลอดภัย นอกจากนี้ การเทรนโมเดลระดับแนวหน้าที่มีขนาดใหญ่มากจำเป็นต้องใช้ทรัพยากรการประมวลผลมหาศาล ทำให้การปรับจูนไฮเปอร์พารามิเตอร์มาตรฐานที่สเกลจริงนั้นไม่สามารถทำได้ วัตถุประสงค์ของ GPT-4 คือการสร้างโมเดลหลายรูปแบบขนาดใหญ่ที่สามารถประมวลผลอินพุตทั้งภาพและข้อความที่ผสมผสานกันอย่างอิสระ ขณะเดียวกันก็ยังรักษาพฤติกรรมการขยายขนาด (scaling behavior) ที่คาดเดาได้ และมีความปลอดภัยรวมถึงการปรับพฤติกรรมให้สอดคล้องที่ดีขึ้นอย่างมีนัยสำคัญ

แนวคิดหลัก

การคาดเดาการขยายขนาด (Predictable Scaling): ไปป์ไลน์และสถาปัตยกรรมของการเพิ่มประสิทธิภาพสามารถทำให้เสถียรได้ จนสามารถอนุมานค่า test loss สุดท้ายและเบঞ্চมาร์กการเขียนโค้ดปลายน้ำ (เช่น อัตราการผ่านของ HumanEval) ได้อย่างแม่นยำจากโมเดลขนาดเล็กที่เทรนด้วยพลังการคำนวณน้อยกว่า $1, 000 \times$ ถึง $10, 000 \times$
ความเข้าใจหลายรูปแบบ (Multimodal Understanding): GPT-4 รองรับภาพและข้อความที่สลับกันได้อย่างอิสระ สามารถให้เหตุผลที่ซับซ้อนครอบคลุมทั้งแผนภูมิ แผนภาพ ข้อสอบ และมุกตลกภาพ โดยไม่ลดทอนประสิทธิภาพบนเบนช์มาร์กด้านภาษาล้วน
การพรีเทรนเป็นหัวใจหลักควบคู่กับการทำโพสต์เทรนนิงแบบเจาะจง: การพรีเทรนโมเดลพื้นฐานสร้างตรรกะการให้เหตุผลและความรู้ในการทำข้อสอบเป็นหลัก (คะแนนเฉลี่ยข้อสอบปรนัยของโมเดลฐานและโมเดล RLHF แทบจะเท่ากันที่ 73.7% เทียบกับ 74.0%) ในขณะที่ RLHF และการตรวจสอบตามกฎจะช่วยควบคุมความปลอดภัย รูปแบบ และความเป็นจริงของข้อมูล
โมเดลให้รางวัลตามกฎ (Rule-Based Reward Models - RBRMs): การจัดแนวพฤติกรรมอาศัยตัวจำแนกประเภทด้านความปลอดภัยที่ช่วยโดยโมเดล เพื่อสร้างรางวัลเสริมแบบเจาะจงระหว่างการทำ RLHF ช่วยชี้นำให้โมเดลปฏิเสธพรอมต์ที่ไม่ได้รับอนุญาตอย่างเหมาะสม และลดการปฏิเสธหรือตอบแบบกำกวมเกินจำเป็นในพรอมต์ที่ปลอดภัย

ระเบียบวิธี (พร้อมสมการสำคัญ)

GPT-4 เป็นโมเดลออโตรีเกรสซีฟที่ใช้สถาปัตยกรรม Transformer พรีเทรนเพื่อทำนายโทเคนถัดไปจากข้อมูลเว็บที่เปิดเผยต่อสาธารณะและข้อมูลที่ได้รับอนุญาต ตามด้วยการเรียนรู้แบบเสริมกำลังจากข้อเสนอแนะของมนุษย์ (RLHF)

1. การคาดการณ์กฎการขยายขนาด (Scaling Law Extrapolation)

เพื่อให้มั่นใจในความสามารถในการคาดเดาของโครงสร้างพื้นฐานโดยไม่ต้องทำการปรับจูนเชิงประจักษ์ในการรันจริง ค่า loss สุดท้ายของโทเคนโค้ดภายในถูกคาดการณ์โดยใช้สูตร irreducible loss: $L (C) = a C^{b} + c$ โดยที่ $C$ หมายถึงพลังการประมวลผลแบบปรับมาตรฐาน (normalized compute) และ $a, b, c$ คือพารามิเตอร์ที่ฟิตจากการรันที่ใช้พลังการคำนวณน้อยกว่าสูงสุดถึง $10, 000 \times$

สำหรับการขยายขีดความสามารถปลายน้ำบน HumanEval ค่าเฉลี่ย log pass rate ของเซ็ตย่อยของปัญหา $P$ ถูกจำลองผ่าน: $- E_{P} [lo g (pass_rate (C))] = α \cdot C^{- k}$ ช่วยให้สามารถลงทะเบียนและคาดคะเนประสิทธิภาพการเขียนโค้ดที่ใช้งานได้จริงตั้งแต่ก่อนการเทรน

2. ไปป์ไลน์ความปลอดภัยที่ช่วยโดยโมเดล (Model-Assisted Safety Pipeline)

นอกเหนือจากข้อเสนอแนะของมนุษย์แล้ว การปรับแต่งด้วย RLHF ยังรวม Rule-Based Reward Models (RBRMs) เข้าไปด้วย RBRM คือตัวจำแนกประเภท GPT-4 แบบซีโรช็อตที่รับอินพุตเป็น:

พรอมต์ของผู้ใช้ (ทางเลือก),
ข้อความตอบกลับจากโมเดลนโยบาย (policy model completion),
รูบริกที่เขียนโดยมนุษย์ (รูบริกแบบหลายคลาสที่จัดหมวดหมู่คำตอบ เช่น การปฏิเสธที่ต้องการ, การปฏิเสธแบบหลบเลี่ยง/เวิ่นเว้อ, คำตอบที่ปลอดภัย หรือเนื้อหาที่ไม่อนุญาต)

ค่าน้ำหนักที่เหมาะสมของ RBRM จะให้สัญญาณรางวัลแบบอัตโนมัติเพื่อเทรนโมเดลนโยบายให้ปฏิเสธคำขอที่เป็นอันตราย (เช่น ภัยคุกคาม CBRN, การโจมตีทางไซเบอร์) ขณะเดียวกันก็ยังตอบสนองต่อคำขอที่ไม่เป็นอันตรายในหัวข้อละเอียดอ่อนที่เกี่ยวเนื่องกันได้อย่างเสถียร

ผลลัพธ์ (พร้อมตัวเลขที่สำคัญที่สุด)

การสอบวิชาชีพและวิชาการ: GPT-4 ทำคะแนนได้ 298/400 (ประมาณเปอร์เซ็นไทล์ที่ 90) ในการสอบ Uniform Bar Examination (เทียบกับ 213/400 หรือประมาณเปอร์เซ็นไทล์ที่ 10 ของ GPT-3.5) ในการสอบ LSAT ทำได้ 163 คะแนน (~เปอร์เซ็นไทล์ที่ 88) และได้เกรด 5 ใน AP Biology, AP Calculus BC (4), AP Chemistry (4) และ AP Art History (5)
เบนช์มาร์ก NLP ทางวิชาการ: GPT-4 สร้างสถิติ state-of-the-art ใหม่ใน 5-shot MMLU (86.4% เทียบกับ 70.0% ของ GPT-3.5), 10-shot HellaSwag (95.3%), 25-shot ARC Challenge (96.3%) และ 0-shot HumanEval (67.0%) และใน 5-shot chain-of-thought GSM-8K ทำได้ 92.0%
ความสามารถหลายภาษา: MMLU ฉบับแปล 26 ภาษาแสดงให้เห็นว่า GPT-4 มีประสิทธิภาพเหนือกว่าเบสไลน์ภาษาอังกฤษของ GPT-3.5 และ PaLM ใน 24 ภาษา รวมถึงภาษาที่มีทรัพยากรน้อย เช่น ลัตเวีย (85.5%), เวลส์ (71.4%) และสวาฮีลี (82.6%)
ความปลอดภัยและความเป็นจริง: GPT-4 ได้คะแนนสูงกว่า GPT-3.5 รุ่นล่าสุด 19 จุดเปอร์เซ็นต์ในการประเมินความเป็นจริงภายใน อัตราการตอบกลับที่ไม่ได้รับอนุญาตลดลง 82% การปฏิบัติตามคำขอที่ละเอียดอ่อนดีขึ้น 29% และการสร้างข้อความที่เป็นพิษบน RealToxicityPrompts ลดลงจาก 6.48% (GPT-3.5) เหลือ 0.73%

ข้อจำกัดและคำถามปลายเปิด

อาการประสาทหลอนและการสอบเทียบ (Hallucinations & Calibration): แม้ข้อผิดพลาดทางข้อเท็จจริงจะลดลง แต่ GPT-4 ก็ยังคงสร้างข้อมูลเท็จและมีข้อผิดพลาดด้านการให้เหตุผลเบื้องต้น แม้โมเดลพื้นฐานหลังการพรีเทรนจะมีการสอบเทียบที่เกือบสมบูรณ์แบบ แต่กระบวนการโพสต์เทรนนิงด้วย RLHF กลับส่งผลเสียต่อการสอบเทียบอย่างมีนัยสำคัญ ทำให้โมเดลที่ผ่านการจัดแนวมีความมั่นใจสูงแม้จะตอบผิด
ข้อจำกัดของข้อมูลตามเวลา: ข้อมูลพรีเทรนส่วนใหญ่สิ้นสุดที่เดือนกันยายน 2021 โมเดลไม่สามารถอัปเดตสถานะของโลกอย่างต่อเนื่อง หรือเรียนรู้จากการโต้ตอบในการใช้งานจริงได้
การขยายขนาดแบบผกผันและเจลเบรก (Inverse Scaling & Jailbreaks): รูปแบบที่ขัดกับสัญชาตญาณบางประการจะพลิกกลับเมื่อโมเดลมีขนาดใหญ่ขึ้นเท่านั้น (เช่น Hindsight Neglect) แต่ช่องโหว่ต่อ adversarial prompting, การดัดแปลง system message และการเจลเบรกแบบหลายขั้นตอนยังคงมีอยู่
การขาดความโปร่งใสด้านสถาปัตยกรรม: เนื่องจากข้อกังวลด้านการแข่งขันและความปลอดภัย รายละเอียดทางสถาปัตยกรรม (จำนวนพารามิเตอร์, การออกแบบ MoE, ขนาดชุดข้อมูล, ฮาร์ดแวร์ และพลังการคำนวณที่แน่นอน) จึงไม่มีการเปิดเผย

คำศัพท์สำคัญ

Multimodal Model: โมเดลที่สามารถรับอินพุตข้อความและรูปภาพในรูปแบบใดก็ได้ผสมผสานกันเพื่อสร้างข้อความตอบกลับเป็นภาษาธรรมชาติ
Predictable Scaling: ระเบียบวิธีที่ใช้การรันการเทรนขนาดเล็ก (ใช้พลังประมวลผลน้อยกว่าสูงสุด 10,000 เท่า) เพื่อฟิตกฎกำลัง (power laws) อย่างแม่นยำ และคาดการณ์ loss สุดท้ายรวมถึงความสามารถในงานต่าง ๆ ก่อนเริ่มการเทรนเต็มรูปแบบ
Rule-Based Reward Models (RBRMs): ตัวจำแนกประเภท GPT-4 แบบซีโรช็อตที่ขับเคลื่อนด้วยรูบริกที่มนุษย์เขียนขึ้น ซึ่งจะสร้างสัญญาณรางวัลเสริมระหว่างการทำ RLHF เพื่อส่งเสริมการปฏิเสธอย่างปลอดภัยและการตอบกลับที่ปลอดภัย
Uniform Bar Exam (UBE): การสอบคัดเลือกเพื่อรับใบอนุญาตทางกฎหมายมาตรฐาน ซึ่ง GPT-4 ทำคะแนนได้ 298/400 คิดเป็นประมาณเปอร์เซ็นไทล์ที่ 90 ของผู้เข้าสอบที่เป็นมนุษย์
MMLU: Massive Multitask Language Understanding ชุดเบนช์มาร์ก 57 สาขาวิชาครอบคลุม STEM มนุษยศาสตร์ และสังคมศาสตร์ ใช้เพื่อประเมินการตอบคำถามแบบหลายโดเมน
Calibration: ระดับที่ความน่าจะเป็นที่คาดการณ์หรือความมั่นใจของโมเดลตรงกับความถี่เชิงประจักษ์ของการตอบถูกจริง มีค่าสูงใน GPT-4 ที่พรีเทรนแต่ด้อยลงหลังผ่าน RLHF
HumanEval: เบนช์มาร์กสำหรับประเมินการสร้างโค้ด Python จากคำอธิบาย (docstrings) ซึ่ง GPT-4 บรรลุอัตราการผ่านแบบ 0-shot ที่ 67.0%
Inverse Scaling: ปรากฏการณ์ที่ประสิทธิภาพของโมเดลแย่ลงเมื่อพลังประมวลผลและขนาดพารามิเตอร์เพิ่มขึ้น ซึ่ง GPT-4 สามารถพลิกกลับปรากฏการณ์นี้ได้ในงานต่าง ๆ เช่น Hindsight Neglect

คำถามที่พบบ่อย

มีรายละเอียดเกี่ยวกับสถาปัตยกรรม จำนวนพารามิเตอร์ หรือฮาร์ดแวร์ใดบ้างที่เปิดเผยสำหรับ GPT-4?

ไม่มีเลย รายงานระบุอย่างชัดเจนว่าไม่เปิดเผยขนาดโมเดล สถาปัตยกรรม องค์ประกอบชุดข้อมูล ฮาร์ดแวร์ และพลังการประมวลผลในการเทรนทั้งหมด เนื่องจากสภาวะการแข่งขันและผลกระทบด้านความปลอดภัย

RLHF มีอิทธิพลต่อประสิทธิภาพการสอบวิชาการหลักของ GPT-4 อย่างไร?

RLHF มีผลกระทบต่อความรู้ในการสอบหลักน้อยมาก โดยโมเดล GPT-4 ฐานทำคะแนนเฉลี่ยในข้อสอบแบบปรนัยได้ 73.7% เมื่อเทียบกับ 74.0% ของโมเดล RLHF ซึ่งบ่งชี้ว่าขีดความสามารถส่วนใหญ่เกิดขึ้นตั้งแต่ขั้นตอนพรีเทรน

มีการประเมินการปนเปื้อนของข้อมูล (data contamination) สำหรับข้อสอบวิชาการอย่างไร?

คณะผู้เขียนได้ค้นหาข้อความย่อยความยาว 50 ตัวอักษรจากการสอบในข้อมูลพรีเทรนที่เป็นโทเคนแล้ว การตัดคำถามที่มีการปนเปื้อนออกส่งผลให้เกิดความแตกต่างของประสิทธิภาพน้อยมากในการประเมินเกือบทั้งหมด

การทำโพสต์เทรนนิงส่งผลกระทบต่อการสอบเทียบ (calibration) ของโมเดลอย่างไร?

GPT-4 ในขั้นตอนพรีเทรนมีการสอบเทียบที่ดี (ระดับความมั่นใจสอดคล้องกับความแม่นยำ) แต่การทำโพสต์เทรนนิงด้วย RLHF ส่งผลเสียอย่างมากต่อการสอบเทียบ ทำให้โมเดลที่ผ่านการจัดแนวแสดงความมั่นใจสูงเกินไปแม้ในขณะที่ตอบผิด

คำอธิบายในหน้านี้เขียนโดย AI จากงานวิจัยและอาจมีข้อผิดพลาด โปรดอ่านต้นฉบับเพื่อดูรายละเอียด

อ่านพร้อมคำแปลและ AI