LLaMA: Open and Efficient Foundation Language Models

Hugo Touvron; Thibaut Lavril; Gautier Izacard; Xavier Martinet; Marie-Anne Lachaux; Timothée Lacroix; Baptiste Rozière; Naman Goyal; Eric Hambro; Faisal Azhar; Aurelien Rodriguez; Armand Joulin; Edouard Grave; Guillaume Lample

Makalah · arXiv 2302.13971

LLaMA: Open and Efficient Foundation Language Models

Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin et al.

Terbit 2023-02-27cs.CL arXiv PDF

Baca dengan terjemahan dan AI

Ringkasan tiga baris

🎯 Sebagian besar LLM terkemuka mengandalkan parameter masif atau dataset privat, memicu biaya penyajian tinggi dan hambatan akses riset.
🔧 Melatih model transformer kompak (7B hingga 65B) pada 1,0T hingga 1,4T token menggunakan data sumber terbuka, RMSNorm, SwiGLU, dan RoPE.
📈 LLaMA-13B melampaui GPT-3 (175B) pada mayoritas tolok ukur, sementara LLaMA-65B meraih 68,9% di MMLU pasca-instruction tuning sederhana.

Abstrak

Kami memperkenalkan LLaMA, kumpulan model bahasa fondasi dengan ukuran berkisar antara 7B hingga 65B parameter. Kami melatih model-model kami pada triliunan token, dan menunjukkan bahwa melatih model berkinerja state-of-the-art dapat dilakukan secara eksklusif menggunakan dataset yang tersedia untuk umum, tanpa bergantung pada dataset privat yang tidak dapat diakses. Secara khusus, LLaMA-13B mengungguli GPT-3 (175B) di sebagian besar tolok ukur, dan LLaMA-65B mampu bersaing dengan model terbaik seperti Chinchilla-70B dan PaLM-540B. Kami merilis seluruh model kami kepada komunitas riset.

Abstrak asli (bahasa Inggris)

We introduce LLaMA, a collection of foundation language models ranging from 7B to 65B parameters. We train our models on trillions of tokens, and show that it is possible to train state-of-the-art models using publicly available datasets exclusively, without resorting to proprietary and inaccessible datasets. In particular, LLaMA-13B outperforms GPT-3 (175B) on most benchmarks, and LLaMA-65B is competitive with the best models, Chinchilla-70B and PaLM-540B. We release all our models to the research community.

Panduan membaca

Masalah dan motivasi

Hukum penskalaan standar (seperti Chinchilla) menghitung trade-off optimal antara ukuran parameter dan ukuran dataset untuk anggaran komputasi pelatihan yang tetap. Namun, kerangka ini mengabaikan anggaran inferensi, yang mendominasi biaya operasional seumur hidup saat menyajikan model bahasa. Demi efisiensi penyajian, model yang lebih kecil namun dilatih pada data yang jauh lebih banyak daripada rekomendasi compute-optimal lebih disukai karena jauh lebih murah untuk di-host dan dijalankan.

Selain itu, model-model mutakhir terkemuka (seperti GPT-3, Chinchilla, dan PaLM) bergantung pada dataset privat yang tidak dapat direproduksi atau arsitektur yang terlampau besar. LLaMA membuktikan bahwa model fondasi yang kompetitif dapat dilatih secara eksklusif pada data yang tersedia untuk umum, memungkinkan distribusi terbuka bagi para peneliti.

Gagasan utama

Pelatihan berpusat pada inferensi: Alih-alih menghentikan pelatihan pada ukuran dataset yang compute-optimal (misalnya, ~200B token untuk model 10B), LLaMA melatih model 7B dan 13B pada 1,0T token, serta model 33B dan 65B pada 1,4T token.
Hanya dataset terbuka: Seluruh data pra-pelatihan diambil dari sumber publik: CommonCrawl (67%), C4 (15%), GitHub (4,5%), Wikipedia (4,5%), Books (4,5%), ArXiv (2,5%), dan Stack Exchange (2%).
Arsitektur Transformer yang dimodernisasi: Menyertakan pra-normalisasi dengan RMSNorm untuk stabilitas, fungsi aktivasi SwiGLU, dan Rotary Positional Embeddings (RoPE) sebagai pengganti posisi absolut.
Efisiensi rekayasa: Memanfaatkan memory-efficient attention (melalui xformers), activation checkpointing kustom, serta paralelisme sekuens dan model.

Metode

LLaMA menggunakan dekoder Transformer autoregresif dengan beberapa modifikasi:

Pra-normalisasi: Normalisasi input menggunakan RMSNorm sebelum setiap sub-lapisan: $\overset{a}{ˉ}_{i} = \frac{a _{i}}{RMS ( a )} g_{i}, dengan RMS (a) = \frac{1}{d} i = 1 \sum d a_{i}^{2}$
Aktivasi SwiGLU: Mengganti aktivasi standar ReLU/GELU dengan SwiGLU, dengan dimensi perantara berukuran $\frac{2}{3} 4 d$ alih-alih $4 d$ .
Rotary Embeddings (RoPE): Diterapkan pada setiap lapisan untuk mengodekan posisi relatif tanpa embedding posisi absolut.
Optimasi: AdamW dengan $β_{1} = 0, 9, β_{2} = 0, 95$ , weight decay sebesar $0, 1$ , gradient clipping sebesar $1, 0$ , $2.000$ langkah warmup, dan jadwal learning rate kosinus yang meluruh hingga 10% dari learning rate maksimum. Ukuran batch adalah 4M token di semua skala model.

Estimasi jejak energi dan karbon di seluruh sesi pelatihan mengikuti: $Wh = GPU-h \times (konsumsi daya GPU) \times PUE$ $tCO_{2} eq = MWh \times 0, 385$

Hasil

Penalaran Akal Sehat (Common Sense Reasoning): LLaMA-13B mengalahkan GPT-3 (175B) di berbagai tolok ukur (misalnya, 78,1% vs 60,5% pada BoolQ; 73,0% vs 70,2% pada WinoGrande). LLaMA-65B menyamai atau melampaui PaLM-540B pada PIQA (82,8% vs 82,3%) dan HellaSwag (84,2% vs 83,4%).
Closed-book QA: Pada TriviaQA (0-shot), LLaMA-65B mencapai 68,2%, dan LLaMA-13B mencapai 56,6% (melampaui kinerja GPT-3 yang sebanding meskipun hanya berjalan pada satu GPU V100).
Generasi Kode: Pada HumanEval (pass@1), LLaMA-65B mencapai 23,7%, mengungguli PaLM-62B (15,9%) dan menyamai PaLM-cont 62B (23,7%).
MMLU & Instruction Finetuning: Model dasar LLaMA-65B meraih akurasi 5-shot sebesar 63,4% pada MMLU (tertinggal dari PaLM-540B yang meraih 69,3%, kemungkinan karena korpus buku pra-pelatihan yang lebih sedikit). Namun, penyesuaian instruksi (instruction finetuning) pada prompt dasar (LLaMA-I 65B) mendongkrak performa hingga 68,9%.

Keterbatasan dan pertanyaan terbuka

Halusinasi dan Kebenaran: Skor pada TruthfulQA masih tergolong moderat (LLaMA-65B meraih 0,57 pada Truthful dan 0,53 pada Truthful*Informative), menunjukkan kecenderungan halusinasi yang masih ada.
Penskalaan toksisitas: Pada RealToxicityPrompts, tingkat toksisitas meningkat seiring bertambahnya ukuran model, terutama pada prompt bernada santun (0,141 untuk 65B vs 0,081 untuk 7B).
Kesenjangan pengetahuan akademik: Performa pada MMLU tertinggal di belakang Chinchilla-70B dan PaLM-540B, yang diduga oleh para penulis disebabkan oleh pelatihan yang hanya menggunakan ~177GB buku dan makalah ilmiah dibandingkan dengan ~2TB pada dataset privat.

Istilah kunci

LLaMA: Kumpulan model bahasa fondasi berukuran mulai dari 7B hingga 65B parameter yang dilatih pada hingga 1,4 triliun token hanya menggunakan dataset publik.
Inference Budget (Anggaran Inferensi): Biaya komputasi dan latensi yang timbul saat melayani model yang telah dilatih, yang diprioritaskan dengan cara melatih model yang lebih kecil pada lebih banyak token.
RMSNorm: Root Mean Square Layer Normalization, digunakan untuk menormalisasi input ke sub-lapisan transformer demi stabilitas pelatihan.
SwiGLU: Varian gated linear unit yang menggunakan fungsi aktivasi Swish, dengan dimensi tersembunyi berukuran 2/3 * 4d.
Rotary Positional Embeddings (RoPE): Teknik yang menyuntikkan informasi posisi relatif ke dalam lapisan attention transformer dengan memutar representasi kueri dan kunci.
xformers: Pustaka sumber terbuka yang menyediakan implementasi causal multi-head attention yang efisien untuk menghindari penyimpanan matriks bobot attention yang besar.
LLaMA-I: Versi instruction-finetuned dari LLaMA-65B yang dilatih mengikuti protokol Flan untuk meningkatkan kemampuan mengikuti instruksi dan kinerja MMLU.
TruthfulQA: Tolok ukur yang mengukur kecenderungan LLM untuk meniru kepalsuan dan halusinasi manusia pada berbagai pertanyaan faktual yang bersifat adversarial.

Pertanyaan

Dataset apa saja yang digunakan untuk melatih LLaMA?

Pra-pelatihan secara eksklusif menggunakan data publik: English CommonCrawl (67%), C4 (15%), GitHub (4,5%), Wikipedia dalam 20 bahasa (4,5%), Gutenberg dan Books3 (4,5%), ArXiv (2,5%), dan Stack Exchange (2%).

Bagaimana perbandingan LLaMA-13B dengan GPT-3 (175B)?

LLaMA-13B mengungguli GPT-3 di sebagian besar tolok ukur standar—termasuk BoolQ, PIQA, dan WinoGrande—meskipun ukurannya lebih dari 10 kali lebih kecil dan mampu menjalankan inferensi pada satu GPU tingkat konsumen atau pusat data.

Berapa lama waktu yang dibutuhkan untuk melatih LLaMA-65B?

Pelatihan LLaMA-65B pada 1,4 triliun token memproses sekitar 380 token/detik/GPU di 2.048 GPU A100 80GB, selesai dalam waktu sekitar 21 hari.

Modifikasi arsitektur apa yang diterapkan LLaMA dibandingkan Transformer orisinal?

LLaMA menerapkan pra-normalisasi RMSNorm pada input sub-lapisan, mengganti ReLU dengan aktivasi SwiGLU (dimensi 2/3 * 4d), dan menukar positional embedding absolut dengan rotary positional embedding (RoPE).

Ulasan di halaman ini ditulis oleh AI dari makalah dan mungkin mengandung kesalahan. Baca makalahnya untuk detail.

Baca dengan terjemahan dan AI