The Llama 3 Herd of Models

Aaron Grattafiori; Abhimanyu Dubey; Abhinav Jauhri; Abhinav Pandey; Abhishek Kadian; Ahmad Al-Dahle; Aiesha Letman; Akhil Mathur; Alan Schelten; Alex Vaughan; Amy Yang; Angela Fan; Anirudh Goyal; Anthony Hartshorn; Aobo Yang; Archi Mitra; Archie Sravankumar; Artem Korenev; Arthur Hinsvark; Arun Rao; Aston Zhang; Aurelien Rodriguez; Austen Gregerson; Ava Spataru; Baptiste Roziere; Bethany Biron; Binh Tang; Bobbie Chern; Charlotte Caucheteux; Chaya Nayak; Chloe Bi; Chris Marra; Chris McConnell; Christian Keller; Christophe Touret; Chunyang Wu; Corinne Wong; Cristian Canton Ferrer; Cyrus Nikolaidis; Damien Allonsius; Daniel Song; Danielle Pintz; Danny Livshits; Danny Wyatt; David Esiobu; Dhruv Choudhary; Dhruv Mahajan; Diego Garcia-Olano; Diego Perino; Dieuwke Hupkes

The Llama 3 Herd of Models

Aaron Grattafiori, Abhimanyu Dubey, Abhinav Jauhri, Abhinav Pandey, Abhishek Kadian, Ahmad Al-Dahle, Aiesha Letman, Akhil Mathur, Alan Schelten, Alex Vaughan, Amy Yang, Angela Fan et al.

เผยแพร่ 2024-07-31cs.AIcs.CLcs.CVcs.LG arXiv PDF

อ่านพร้อมคำแปลและ AI

สรุปสามบรรทัด

🎯 การสร้างโมเดลพื้นฐานแบบเปิด (open-access) ที่ทัดเทียมกับระบบแถวหน้าแบบปิดทั้งในด้านการใช้เหตุผล หลายภาษา การเขียนโค้ด และการใช้เครื่องมือ พร้อมการขยายสเกลได้อย่างเสถียร
🔧 การขยายสเกลสถาปัตยกรรม dense Transformer (สูงสุด 405B พารามิเตอร์ บน 15.6T โทเคน) โดยใช้ 4D parallelism, ระบบเครือข่าย RoCE แบบคัสตอม, การขยายบริบทเป็น 128K แบบหลายขั้น และ iterative post-training (SFT, rejection sampling และ DPO)
📈 Llama 3 405B บรรลุประสิทธิภาพสูงสุดในกลุ่มโมเดลแบบเปิด (state-of-the-art) เทียบเท่ากับโมเดลอย่าง GPT-4 บนชุดทดสอบมาตรฐานอย่าง GSM8K (96.8%), HumanEval (89.0%) และ MMLU (87.3%)

บทคัดย่อ

ระบบปัญญาประดิษฐ์ (AI) ยุคใหม่ขับเคลื่อนด้วยโมเดลพื้นฐาน (foundation models) บทความนี้นำเสนอชุดโมเดลพื้นฐานใหม่ในชื่อ Llama 3 ซึ่งเป็นกลุ่มโมเดลภาษาที่รองรับความหลากหลายทางภาษา (multilinguality), การเขียนโค้ด, การใช้เหตุผล และการใช้งานเครื่องมือมาในตัว โมเดลขนาดใหญ่ที่สุดของเราเป็น dense Transformer ที่มีขนาด 405B พารามิเตอร์ และมีหน้าต่างบริบท (context window) สูงสุดถึง 128K โทเคน บทความนี้นำเสนอการประเมินผลเชิงประจักษ์อย่างครอบคลุมของ Llama 3 โดยเราพบว่า Llama 3 ให้คุณภาพที่เทียบเคียงได้กับโมเดลภาษาชั้นนำอย่าง GPT-4 ในหลากหลายงาน เราได้เปิดตัว Llama 3 สู่สาธารณะ ซึ่งรวมถึงเวอร์ชัน pre-trained และ post-trained ของโมเดลภาษาขนาด 405B พารามิเตอร์ และโมเดล Llama Guard 3 สำหรับความปลอดภัยของอินพุตและเอาต์พุต นอกจากนี้ บทความยังนำเสนอผลการทดลองที่เรารวมขีดความสามารถด้านภาพ วิดีโอ และเสียงเข้ากับ Llama 3 ผ่านแนวทางเชิงองค์ประกอบ (compositional approach) โดยพบว่าแนวทางนี้ทำผลงานได้ทัดเทียมกับโมเดลระดับ state-of-the-art ในงานรู้จำภาพ วิดีโอ และเสียง ทั้งนี้ โมเดลข้ามมัลติโมดัลดังกล่าวยังไม่ได้เปิดให้ใช้งานในวงกว้างเนื่องจากยังอยู่ในระหว่างการพัฒนา

บทคัดย่อต้นฉบับ (ภาษาอังกฤษ)

Modern artificial intelligence (AI) systems are powered by foundation models. This paper presents a new set of foundation models, called Llama 3. It is a herd of language models that natively support multilinguality, coding, reasoning, and tool usage. Our largest model is a dense Transformer with 405B parameters and a context window of up to 128K tokens. This paper presents an extensive empirical evaluation of Llama 3. We find that Llama 3 delivers comparable quality to leading language models such as GPT-4 on a plethora of tasks. We publicly release Llama 3, including pre-trained and post-trained versions of the 405B parameter language model and our Llama Guard 3 model for input and output safety. The paper also presents the results of experiments in which we integrate image, video, and speech capabilities into Llama 3 via a compositional approach. We observe this approach performs competitively with the state-of-the-art on image, video, and speech recognition tasks. The resulting models are not yet being broadly released as they are still under development.

คู่มือการอ่าน

ปัญหาและแรงจูงใจ

ระบบปัญญาประดิษฐ์ยุคใหม่พึ่งพาโมเดลพื้นฐานขนาดมหึมาเป็นอย่างมาก ทว่าโมเดลที่มีความสามารถสูงสุด (เช่น GPT-4) ยังคงเป็นระบบปิด การสร้างโมเดลระดับแนวหน้าที่ทุกคนเข้าถึงได้อย่างเปิดกว้างจำเป็นต้องเอาชนะคอขวดทางวิศวกรรมมหาศาลผ่าน 3 เสาหลัก ได้แก่ การคัดสรรข้อมูล (data curation), ขนาดการคำนวณ (compute scale) และการจัดการความซับซ้อน

คณะผู้เขียนได้พัฒนา Llama 3 ซึ่งเป็นตระกูลโมเดลภาษาที่รองรับหลายภาษา ครอบคลุมขนาดพารามิเตอร์ 8B, 70B และ 405B รองรับหน้าต่างบริบทสูงสุด 128K โทเคน รองรับการใช้เครื่องมือแบบ zero-shot และ multi-step ตลอดจนการใช้เหตุผลขั้นสูงและการสร้างโค้ด

แนวคิดสำคัญ

การจัดการความซับซ้อนด้วย Dense Architecture: แทนที่จะเปลี่ยนไปใช้สถาปัตยกรรมแบบ Mixture-of-Experts (MoE) ผู้เขียนเลือกใช้ dense Transformer มาตรฐาน (126 เลเยอร์, มิติ 16,384, 128 attention heads สำหรับรุ่น 405B) พร้อมด้วย Grouped-Query Attention (GQA) และ RoPE ที่มีความถี่ฐาน $θ = 500, 000$ เพื่อเพิ่มเสถียรภาพสูงสุดระหว่างการ pre-training
การขยายสเกลข้อมูลและการคัดกรองอย่างเข้มงวด: การ pre-training ขยายจาก 1.8T โทเคนใน Llama 2 เป็นประมาณ 15.6T โทเคนจากหลากหลายโดเมน (~50% ความรู้ทั่วไป, 25% คณิตศาสตร์/การใช้เหตุผล, 17% โค้ด, 8% หลายภาษา)
กฎการสเกลที่คาดการณ์ได้ (Predictable Scaling Laws): เฟรมเวิร์กกฎการสเกลแบบสองขั้นเชื่อมโยง compute เข้ากับประสิทธิภาพของ downstream tasks (เช่น ARC Challenge) ล่วงหน้าครอบคลุมถึง 4 อันดับของขนาด (orders of magnitude) ก่อนเริ่มการเทรนจริง
Iterative Post-Training: การทำ alignment จำนวน 6 รอบ โดยผสาน Supervised Fine-Tuning (SFT), Rejection Sampling (RS) และ Direct Preference Optimization (DPO) เข้ากับการสร้างข้อมูลสังเคราะห์ (synthetic data) แบบเจาะจง
4D Parallelism & Infrastructure: การ pre-train โมเดล 405B บน GPU H100 สูงสุดถึง 16K ตัว โดยผสมผสาน Tensor Parallelism (TP), Context Parallelism (CP), Pipeline Parallelism (PP) และ Fully Sharded Data Parallelism (FSDP/DP)

ระเบียบวิธี (พร้อมสมการสำคัญ)

1. การกำหนด Scaling Law

การจัดสรรโทเคนตาม compute-optimal ถูกจำลองเป็นฟังก์ชันกำลัง (power-law) ของงบประมาณการคำนวณ $C$ :

$N^{⋆} (C) = A C^{α}$

ผลการฟิตเชิงประจักษ์เหนือ compute budget ระหว่าง $6 \times 1 0^{18}$ และ $1 0^{22}$ FLOPs ระบุค่า $(α, A) = (0.53, 0.29)$ เมื่อประมาณการออกไปสู่เป้าหมายงบประมาณที่ $3.8 \times 1 0^{25}$ FLOPs ชี้ว่าควรเทรนโมเดลขนาด 402B พารามิเตอร์บน 16.55T โทเคน ซึ่งนำทางไปสู่การออกแบบสถาปัตยกรรมขั้นสุดท้ายที่ขนาด 405B พารามิเตอร์

2. การขยาย Context Window และ Attention Masking

การขยายบริบทจาก 8K เป็น 128K โทเคน ดำเนินการผ่าน 6 ขั้นตอนของ continuous pre-training บนข้อมูล ~800B โทเคน เพื่อป้องกันการปนเปื้อนข้ามเอกสาร (cross-contamination) ที่ถูกแพ็กรวมกันในลำดับบริบทขนาดยาวเดียวกัน จึงมีการนำ document attention mask แบบคัสตอมมาใช้

Context Parallelism (CP) จะแบ่งลำดับอินพุตออกเป็นชิ้นย่อย $2 \times CP$ โดยใช้รูปแบบการสื่อสาร all-gather บนการแปลงของ key ( $K$ ) และ value ( $V$ ) เนื่องจาก GQA ช่วยลดขนาดของ $K$ และ $V$ เมื่อเทียบกับ query ( $Q$ ) ค่าใช้จ่ายในการสื่อสาร (overhead) ของ all-gather ที่ $O (S)$ จึงน้อยมากจนไม่มีนัยสำคัญเมื่อเทียบกับการคำนวณ attention ที่ $O (S^{2})$

3. การปรับใช้ Direct Preference Optimization (DPO)

ในการทำ preference optimization โทเคนระบุรูปแบบ (headers และ termination markers) จะถูกมาสก์ออกจาก DPO loss อย่างชัดเจน เพื่อป้องกันปัญหาข้อความลงท้ายซ้ำซากหรือการหยุดสร้างข้อความก่อนเวลาอันควร นอกจากนี้ ยังมีการเพิ่มเทอม regularization แบบ negative log-likelihood (NLL) เสริมเข้าไปยังลำดับที่ถูกเลือก (chosen sequence):

$L_{reg} = 0.2 \cdot L_{NLL} (chosen)$

ผลการทดลอง (พร้อมตัวเลขที่สำคัญที่สุด)

เบঞ্চมาร์กของรุ่นเรือธง 405B:
- MMLU (5-shot): 87.3% (0-shot CoT: 88.6%)
- GSM8K (8-shot, CoT): 96.8%
- MATH (0-shot, CoT): 73.8%
- HumanEval (0-shot): 89.0%
- ARC Challenge (0-shot): 96.9%
- IFEval: 88.6%
โมเดลขนาดเล็กกว่า (8B และ 70B): ทั้งสองโมเดลทำผลงานได้ดีกว่าโมเดลโอเพนซอร์สระดับเทียบเท่า (เช่น Gemma 2 9B, Mistral 7B, Mixtral 8x22B) ตัวอย่างเช่น Llama 3 8B ทำคะแนนได้ 73.0% บน 0-shot CoT MMLU และ 84.5% บน GSM8K
การรองรับบริบทขนาดยาว (Long Context): การค้นคืนบนการทดสอบแบบ Needle-In-A-Haystack เดี่ยวได้สมบูรณ์แบบ 100% สูงสุดถึง 128K โทเคน และ recall อยู่ที่ 98.1% ในการทดสอบ Multi-needle สำหรับโมเดล 405B
ประสิทธิภาพการ Pre-training: การใช้ประโยชน์จาก FLOPs ของโมเดลในรูปแบบ BF16 (MFU) อยู่ที่ 38–43% ตลอดการคอนฟิกบน H100 GPU จำนวน 16,384 ตัว โดยรักษาเวลาการเทรนที่มีประสิทธิภาพได้มากกว่า 90% ตลอดช่วงสแนปชอต 54 วัน แม้จะเกิดการขัดข้องขึ้นถึง 466 ครั้ง

ข้อจำกัดและคำถามปลายเปิด

ความเสถียรของฮาร์ดแวร์และการผันผวนของขนาดการทำงาน: ที่สเกล GPU ระดับ 16K การขัดข้องของฮาร์ดแวร์เกิดขึ้นเฉลี่ยหลายครั้งต่อวัน (78% ของการหยุดชะงักที่ไม่คาดคิดเกิดจากปัญหาฮาร์ดแวร์/GPU) นอกจากนี้ การผันผวนของพลังงานไฟฟ้าพร้อมกันหลายสิบเมกะวัตต์ระหว่างการทำ checkpointing หรือ collective steps สร้างความท้าทายอย่างยิ่งต่อโครงข่ายไฟฟ้าของศูนย์ข้อมูล
ช่องว่างด้าน Adversarial Robustness: แม้จะแข็งแกร่งบนเบนช์มาร์กการถอดความ (PAWS) แต่การทดสอบ adversarial สำหรับการใช้เหตุผลเชิงคณิตศาสตร์และ QA (GSM-Plus, Adv SQuAD) แสดงให้เห็นถึงประสิทธิภาพที่ลดลงอย่างมีนัยสำคัญเมื่อเทียบกับเบนช์มาร์กปกติ
ความพร้อมใช้งานของมัลติโมดัล: ตัวปรับแต่ง (adapters) สำหรับภาพและเสียงแสดงความสามารถในการแข่งขันที่ดีในสภาพแวดล้อมการวิจัย แต่ยังคงอยู่ระหว่างการพัฒนาอย่างต่อเนื่อง และไม่ได้รวมอยู่ในการเปิดตัวสู่สาธารณะครั้งแรก

คำศัพท์สำคัญ

4D Parallelism: การกำหนดค่าการเทรนแบบขนานที่รวม Tensor Parallelism (TP), Context Parallelism (CP), Pipeline Parallelism (PP) และ Data Parallelism (FSDP) เข้าด้วยกันบน GPU นับหมื่นตัว
Grouped Query Attention (GQA): ตัวแปรของ attention ที่ใช้ key-value heads ร่วมกันระหว่าง query heads หลายตัว (ในการศึกษานี้คือ 8 KV heads) เพื่อลดหน่วยความจำของ key-value cache ระหว่างการทำ inference
Context Parallelism (CP): เทคนิคที่แบ่งชาร์ด (shard) ลำดับอินพุตขนาดยาวข้าม GPU หลายตัว โดยใช้รูปแบบการสื่อสาร all-gather เหนือการโปรเจกต์ key และ value
Direct Preference Optimization (DPO): อัลกอริทึมการปรับความพึงพอใจโดยไม่ต้องพึ่ง reinforcement learning ที่ใช้ในขั้นตอน post-training เพื่อปรับการสร้างคำตอบของโมเดลให้สอดคล้องกับความพึงพอใจของมนุษย์
Rejection Sampling (RS): กระบวนการหลังการเทรนที่สุ่มหลายเอาต์พุตจากโมเดล policy แล้วคัดกรองด้วย reward model เพื่อสร้างชุดข้อมูลสำหรับการเทรน SFT ที่มีคุณภาพสูง
IsoFLOPs curves: เส้นโค้งที่วัด loss เชิงประจักษ์ข้ามการผสานขนาดโมเดลและจำนวนโทเคนภายใต้งบประมาณ compute คงที่เพื่อระบุสถาปัตยกรรมที่ compute-optimal
Model FLOPs Utilization (MFU): อัตราส่วนของการดำเนินการจุดลอยตัวที่ทำได้จริงต่อวินาทีเทียบกับ throughput สูงสุดทางทฤษฎีของฮาร์ดแวร์
Annealing: เฟสสุดท้ายของการ pre-training ซึ่งอัตราการเรียนรู้ (learning rate) จะลดลงเชิงเส้นเข้าใกล้ศูนย์ บนชุดข้อมูลคุณภาพสูงที่เจาะจงเฉพาะโดเมน

คำถามที่พบบ่อย

โมเดล Llama 3 รองรับความยาวบริบทเท่าใด?

โมเดล Llama 3.1 ทุกขนาด (8B, 70B และ 405B) รองรับความยาวบริบทสูงสุด 128K โทเคน ซึ่งสำเร็จได้ด้วยการ pre-train บริบทขนาดยาวแบบแบ่งขั้นตอน และการปรับความถี่ฐานของ RoPE (500,000)

เหตุใดผู้เขียนจึงเลือกสถาปัตยกรรมแบบ dense แทน Mixture-of-Experts (MoE)?

เพื่อให้ความสำคัญกับเสถียรภาพในการเทรนและจัดการความซับซ้อนทางวิศวกรรมที่สเกลการคำนวณมหาศาล ( $3.8 \times 1 0^{25}$ FLOPs) โดยเลือกความเรียบง่ายของสถาปัตยกรรมที่มีคุณสมบัติการสเกลที่ได้รับการพิสูจน์แล้วมากกว่า MoE

มีการใช้ข้อมูลสังเคราะห์อย่างไรในระหว่าง post-training?

มีการสร้างบทสนทนาโค้ดสังเคราะห์มากกว่า 2.7M รายการโดยใช้ผลย้อนกลับจากการรันโปรแกรม (execution feedback), static/dynamic linters และ unit tests ควบคู่ไปกับข้อมูลสังเคราะห์สำหรับ backtranslation, การใช้เครื่องมือหลายขั้นตอน และการสรุปเอกสาร

เวอร์ชันมัลติโมดัลด้านภาพและเสียงรวมอยู่ในการเปิดตัวครั้งแรกหรือไม่?

ไม่รวม แม้ว่าบทความจะอธิบายถึงการทดลองผสานตัวแปลงสัญญาณภาพ วิดีโอ และเสียงผ่าน cross-attention adapters แต่ Meta ระบุว่าโมเดลเหล่านั้นยังคงอยู่ระหว่างการพัฒนา ณ เวลาที่เผยแพร่

คำอธิบายในหน้านี้เขียนโดย AI จากงานวิจัยและอาจมีข้อผิดพลาด โปรดอ่านต้นฉบับเพื่อดูรายละเอียด

อ่านพร้อมคำแปลและ AI