Llama 2: Model Obrolan Fondasi Terbuka dan Hasil Fine-Tuning

Panduan membaca

Masalah dan motivasi

Meskipun model fondasi pra-terlatih dengan akses terbuka seperti LLaMA-1, BLOOM, dan Falcon dapat menandingi performa dasar model mentah seperti GPT-3, asisten obrolan komersial tertutup (misalnya ChatGPT, Claude) masih mempertahankan keunggulan signifikan. Keunggulan performa ini berasal dari penyelarasan (alignment) pasca-pra-pelatihan yang intensif melalui instruction tuning dan Reinforcement Learning with Human Feedback (RLHF), yang membutuhkan komputasi masif, alur anotasi kepemilikan (proprietary), dan pengujian red-teaming. Meta mengembangkan dan merilis secara terbuka Llama 2 serta Llama 2-Chat (parameter 7B, 13B, dan 70B, ditambah varian 34B yang tidak dirilis) untuk mendemokratisasi model dialog yang selaras serta menyediakan metodologi yang transparan untuk penyelarasan dan keamanan.

Gagasan utama

• Pra-pelatihan yang Diperluas: Dilatih terlebih dahulu pada 2,0 triliun token (peningkatan 40% dibandingkan Llama 1) dengan panjang konteks yang digandakan menjadi 4.096 token, serta memperkenalkan Grouped-Query Attention (GQA) untuk model 34B dan 70B guna mempercepat dekoding autoregresif.
• SFT Berorientasi Kualitas: Menunjukkan bahwa puluhan ribu anotasi vendor berkualitas tinggi mengungguli jutaan contoh pihak ketiga yang bising, membatasi SFT hanya pada 27.540 demonstrasi yang terkurasi.
• Pemodelan Reward Ganda: Melatih dua model reward terpisah—satu untuk Kegunaan (Helpfulness) dan satu untuk Keamanan (Safety)—untuk menghindari tensi di mana batasan keamanan justru menurunkan kegunaan.
• Penyelarasan RLHF Dua Tahap: Menggabungkan fine-tuning Rejection Sampling iteratif (didistilasi dari 70B) dengan Proximal Policy Optimization (PPO) sesudahnya.
• Ghost Attention (GAtt): Teknik distilasi konteks yang diterapkan pada dialog multi-turn untuk mempertahankan instruksi sistem secara konsisten selama lebih dari 20 giliran percakapan tanpa mengalami pemudaran instruksi.

Metode

Arsitektur Pra-pelatihan

Llama 2 menggunakan arsitektur transformer autoregresif yang dilengkapi pra-normalisasi RMSNorm, fungsi aktivasi SwiGLU, dan rotary positional embeddings (RoPE), dengan GQA ditambahkan pada skala yang lebih besar (34B dan 70B). Model dilatih menggunakan pengoptimal AdamW (${\beta }_1=0.9,{\beta }_2=0.95$), penurunan laju pembelajaran cosinus hingga 10%, weight decay 0,1, dan pemotongan gradien (gradient clipping) 1,0.

Pemodelan Reward

Anotator manusia memberikan preferensi komparatif berskala 4 poin antara dua respons yang disampel. Model reward diinisialisasi dari checkpoint obrolan pra-terlatih dan dioptimalkan dengan fungsi kerugian pemeringkatan biner berpembeda margin (margin-augmented binary ranking loss): $${\mathcal{L}}_{\text{ranking}}=-\log \left(\sigma \left(r_{\theta }(x,y_c)-r_{\theta }(x,y_r)-m(r)\right)\right)$$ di mana $x$ adalah konteks prompt, $y_c$ adalah respons yang dipilih, $y_r$ adalah respons yang ditolak, dan $m(r)$ adalah margin diskret yang bergantung pada intensitas preferensi anotator.

Tujuan RLHF

Optimasi dilakukan melalui Rejection Sampling (mengambil $K$ sampel keluaran dari kebijakan terbaru dan memilih keluaran dengan reward tertinggi) serta PPO. Tujuan PPO memaksimalkan ekspektasi reward sekaligus membatasi pergeseran kebijakan melalui divergensi KL terhadap kebijakan awal ${\pi }_0$: $$R(g\mid p)={\tilde{R}}_c(g\mid p)-\beta D_{\text{KL}}({\pi }_{\theta }(g\mid p)\parallel {\pi }_0(g\mid p))$$ di mana ${\tilde{R}}_c(g\mid p)$ adalah kombinasi piecewise yang diputihkan (whitened) dan ditransformasi secara logit dari model reward keamanan ($R_s$) serta kegunaan ($R_h$): $$R_c(g\mid p)=\{\begin{array}{ll}{R}_s(g\mid p)& \text{jika }\text{textsc}is\_safety(p)\text{ atau }{R}_s(g\mid p)<0.15\\ R_h(g\mid p)& \text{sebaliknya}\end{array}$$

Ghost Attention (GAtt)

Untuk memaksa konsistensi multi-turn, instruksi $inst$ secara sintetis ditambahkan ke setiap prompt pengguna dalam dialog yang ada. Respons disampel dari kebijakan terbaru, namun loss dihitung secara eksklusif hanya pada token giliran target (meniadakan loss pada giliran sebelumnya) sembari tetap mempertahankan $inst$ hanya pada giliran pertama saat fase inferensi.

Hasil

• Tolok Ukur Model Dasar: Llama 2 70B mengungguli semua model dasar open-source, mencatat skor 68,9 pada MMLU (5-shot), 56,8 pada GSM8K (8-shot), dan 51,2 pada Big-Bench Hard (3-shot), menyaingi GPT-3.5 dan PaLM-540B.
• Evaluasi Dialog oleh Manusia: Dalam evaluasi manusia yang mencakup sekitar 4.000 prompt, Llama 2-Chat 70B mencatat win rate 36% dan tie rate 31,5% melawan ChatGPT (gpt-3.5-turbo-0301). Llama 2-Chat 34B memenangkan lebih dari 75% perbandingan head-to-head melawan Vicuna-33B dan Falcon 40B.
• Keamanan & Toksisitas: Llama 2-Chat yang diselaraskan keamanannya menurunkan tingkat generasi toksik pada ToxiGen dari 24,60% (basis 70B) menjadi 0,01%, serta memperlihatkan persentase pelanggaran keamanan yang lebih rendah daripada ChatGPT dan Falcon di seluruh tolok ukur red-teaming manusia.

Keterbatasan dan pertanyaan terbuka

• Pemrograman & Penalaran Kompleks: Llama 2 70B masih tertinggal cukup jauh di belakang GPT-4 dan PaLM-2-L pada tolok ukur pengodean (pass@1 HumanEval sebesar 29,9% vs. 67,0% untuk GPT-4).
• Cakupan Bahasa: Sekitar 89,7% data pra-pelatihan adalah bahasa Inggris, menyebabkan performa model dan penyelarasan keamanannya rentan rapuh dalam bahasa lain.
• Penolakan Keliru (False Refusals) & Terlalu Konservatif: Penyetelan keamanan yang ketat memicu penolakan keliru pada prompt ambigu (misalnya, menolak kueri aman yang mengandung kata-kata seperti 'bomb' atau 'Christmas Crack').
• Penundaan Rilis 34B: Varian model 34B tidak dirilis ke publik karena keterbatasan waktu pengujian red-teaming sebelum publikasi.