The Llama 3 Herd of Models

Panduan membaca

Masalah dan motivasi

Sistem kecerdasan buatan modern sangat bergantung pada model fondasi masif, namun model-model yang paling mumpuni (seperti GPT-4) masih bersifat tertutup. Membangun model kelas frontier yang dapat diakses secara terbuka memerlukan pemecahan hambatan rekayasa besar di tiga pilar: kurasi data, skala komputasi, dan pengelolaan kompleksitas.

Para penulis mengembangkan Llama 3, sebuah rumpun model bahasa multibahasa dengan ukuran 8B, 70B, dan 405B parameter yang mendukung jendela konteks hingga 128K token, penggunaan alat nir-contoh (zero-shot) maupun bertahap (multi-step), penalaran tingkat lanjut, dan pembuatan kode program.

Ide-ide utama

• Mengelola Kompleksitas dengan Arsitektur Dense: Alih-alih beralih ke arsitektur Mixture-of-Experts (MoE), para penulis memilih untuk tetap menggunakan dense Transformer standar (126 lapisan, dimensi 16.384, 128 attention head untuk versi 405B) dengan Grouped-Query Attention (GQA) dan RoPE dengan frekuensi dasar $\theta =500.000$ demi memaksimalkan stabilitas pra-pelatihan.
• Penskalaan Data dan Penyaringan Ketat: Pra-pelatihan diperluas dari 1,8T token pada Llama 2 menjadi sekitar 15,6T token di berbagai domain (~50% pengetahuan umum, 25% matematika/penalaran, 17% kode, 8% multibahasa).
• Hukum Penskalaan (Scaling Laws) yang Dapat Diprediksi: Kerangka kerja hukum penskalaan dua tahap menghubungkan komputasi dengan kinerja tugas hilir (seperti ARC Challenge) melintasi empat tingkat besaran (orders of magnitude) sebelum pelatihan dimulai.
• Pasca-Pelatihan Berulang (Iterative Post-Training): Enam putaran penyelarasan yang menggabungkan Supervised Fine-Tuning (SFT), Rejection Sampling (RS), dan Direct Preference Optimization (DPO) dengan pembuatan data sintetis yang terarah.
• 4D Parallelism & Infrastruktur: Pra-pelatihan 405B pada hingga 16K GPU H100 menggunakan kombinasi Tensor Parallelism (TP), Context Parallelism (CP), Pipeline Parallelism (PP), dan Fully Sharded Data Parallelism (FSDP/DP).

Metode (dengan persamaan-persamaan kunci)

1. Formulasi Hukum Penskalaan (Scaling Law)

Alokasi token optimal-komputasi dimodelkan sebagai fungsi hukum daya (power-law) dari anggaran komputasi $C$:

$$N^{\star }(C)=A{C}^{\alpha }$$

Pencocokan empiris pada anggaran komputasi antara $6\times 10^{18}$ dan $10^{22}$ FLOPs mengidentifikasi $(\alpha ,A)=(0,53,0,29)$. Ekstrapolasi ke anggaran target $3,8\times 10^{25}$ FLOPs menyarankan pelatihan model berparameter 402B pada 16,55T token, yang memandu arsitektur akhir sebesar 405B parameter.

2. Perluasan Jendela Konteks dan Attention Masking

Penskalaan konteks dari 8K ke 128K token dilakukan dalam enam tahap pra-pelatihan berkelanjutan pada ~800B token. Untuk mencegah kontaminasi silang antar dokumen yang dipadatkan dalam satu sekuens konteks panjang yang sama, diterapkan masker atensi (document attention mask) khusus.

Context Parallelism (CP) membagi sekuens input menjadi potongan-potongan berukuran $2\times \text{CP}$, menjalankan pola komunikasi all-gather atas representasi kunci ($K$) dan nilai ($V$). Karena GQA mengurangi ukuran $K$ dan $V$ relatif terhadap kueri ($Q$), overhead komunikasi all-gather $O(S)$ dapat diabaikan jika dibandingkan dengan komputasi atensi $O(S^2)$.

3. Adaptasi Direct Preference Optimization (DPO)

Dalam optimasi preferensi, token pemformatan (tajuk dan penanda penghentian) secara eksplisit di-mask keluar dari loss DPO untuk mencegah ekor kalimat berulang atau penghentian prematur. Selain itu, istilah regularisasi negative log-likelihood (NLL) tambahan ditambahkan ke sekuens terpilih:

$${\mathcal{L}}_{\text{reg}}=0,2\cdot {\mathcal{L}}_{\text{NLL}}(\text{chosen})$$

Hasil (dengan angka-angka terpenting)

• Tolok Ukur Model Utama 405B:
  • MMLU (5-shot): 87,3% (0-shot CoT: 88,6%)
  • GSM8K (8-shot, CoT): 96,8%
  • MATH (0-shot, CoT): 73,8%
  • HumanEval (0-shot): 89,0%
  • ARC Challenge (0-shot): 96,9%
  • IFEval: 88,6%
• Model Lebih Kecil (8B dan 70B): Kedua model mengungguli rekan sejawat sumber terbuka yang sebanding (misalnya Gemma 2 9B, Mistral 7B, Mixtral 8x22B). Sebagai contoh, Llama 3 8B mencapai 73,0% pada MMLU 0-shot CoT dan 84,5% pada GSM8K.
• Konteks Panjang: Temu balik sempurna 100% pada Needle-In-A-Haystack tunggal hingga 128K token, dan 98,1% pada recall Multi-needle untuk model 405B.
• Efisiensi Pra-Pelatihan: Model FLOPs Utilization (MFU) BF16 mencapai 38–43% di berbagai konfigurasi pada 16.384 GPU H100, mempertahankan waktu pelatihan efektif di atas 90% selama cuplikan pemantauan 54 hari meskipun terjadi 466 gangguan.

Batasan dan pertanyaan terbuka

• Keandalan Perangkat Keras dan Fluktuasi Daya: Pada skala 16K GPU, gangguan perangkat keras terjadi rata-rata beberapa kali per hari (78% gangguan tak terduga disebabkan oleh masalah perangkat keras/GPU). Fluktuasi daya serentak sebesar puluhan megawatt selama pencatatan checkpoint atau langkah kolektif menantang jaringan listrik pusat data.
• Celah Ketahanan Adversarial: Meskipun tangguh pada tolok ukur parafrase (PAWS), penalaran matematis dan tolok ukur QA adversarial (GSM-Plus, Adv SQuAD) menunjukkan penurunan yang signifikan dibandingkan dengan tolok ukur non-adversarial.
• Ketersediaan Multimodal: Adapter visi dan ucapan menunjukkan kemampuan yang kompetitif dalam pengaturan penelitian, namun tetap disimpan dalam tahap pengembangan aktif dan tidak disertakan dalam rilis publik awal.