Training Compute-Optimal Large Language Models

Jordan Hoffmann; Sebastian Borgeaud; Arthur Mensch; Elena Buchatskaya; Trevor Cai; Eliza Rutherford; Diego de Las Casas; Lisa Anne Hendricks; Johannes Welbl; Aidan Clark; Tom Hennigan; Eric Noland; Katie Millican; George van den Driessche; Bogdan Damoc; Aurelia Guy; Simon Osindero; Karen Simonyan; Erich Elsen; Jack W. Rae; Oriol Vinyals; Laurent Sifre

Makalah · arXiv 2203.15556

Training Compute-Optimal Large Language Models

Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland et al.

Terbit 2022-03-29cs.CLcs.LG arXiv PDF

Baca dengan terjemahan dan AI

Ringkasan tiga baris

🎯 Menentukan trade-off optimal antara parameter model dan token pelatihan di bawah anggaran komputasi yang tetap.
🔧 Mencocokkan hukum penskalaan secara empiris di >400 pengujian transformer menggunakan envelope kerugian minimum, irisan IsoFLOP, dan pemodelan kerugian parametrik.
📈 Parameter dan token harus diskalakan secara seimbang ( $a \approx 0, 5$ , $b \approx 0, 5$ ). Model Chinchilla 70B yang dilatih pada 1,4T token menyamai anggaran komputasi Gopher dan mencapai 67,6% pada MMLU.

Abstrak

Kami menyelidiki ukuran model dan jumlah token yang optimal untuk melatih model bahasa transformer di bawah anggaran komputasi tertentu. Kami menemukan bahwa model bahasa besar saat ini secara signifikan kurang terlatih (undertrained), sebagai konsekuensi dari fokus terkini pada penskalaan ukuran model bahasa sementara jumlah data pelatihan dibuat konstan. Dengan melatih lebih dari 400 model bahasa mulai dari 70 juta hingga lebih dari 16 miliar parameter pada 5 hingga 500 miliar token, kami menemukan bahwa untuk pelatihan yang optimal secara komputasi (compute-optimal), ukuran model dan jumlah token pelatihan harus diskalakan secara setara: untuk setiap penggandaan ukuran model, jumlah token pelatihan juga harus digandakan. Kami menguji hipotesis ini dengan melatih model compute-optimal yang diprediksi, Chinchilla, yang menggunakan anggaran komputasi yang sama dengan Gopher tetapi dengan 70B parameter dan data 4 $\times$ lebih banyak. Chinchilla secara seragam dan signifikan mengungguli Gopher (280B), GPT-3 (175B), Jurassic-1 (178B), dan Megatron-Turing NLG (530B) pada berbagai tugas evaluasi downstream. Ini juga berarti Chinchilla menggunakan komputasi yang jauh lebih sedikit untuk fine-tuning dan inferensi, sangat memfasilitasi penggunaan downstream. Sebagai sorotan utama, Chinchilla mencapai akurasi rata-rata state-of-the-art sebesar 67,5% pada tolok ukur MMLU, peningkatan lebih dari 7% dibandingkan Gopher.

Abstrak asli (bahasa Inggris)

We investigate the optimal model size and number of tokens for training a transformer language model under a given compute budget. We find that current large language models are significantly undertrained, a consequence of the recent focus on scaling language models whilst keeping the amount of training data constant. By training over 400 language models ranging from 70 million to over 16 billion parameters on 5 to 500 billion tokens, we find that for compute-optimal training, the model size and the number of training tokens should be scaled equally: for every doubling of model size the number of training tokens should also be doubled. We test this hypothesis by training a predicted compute-optimal model, Chinchilla, that uses the same compute budget as Gopher but with 70B parameters and 4 $\times$ more more data. Chinchilla uniformly and significantly outperforms Gopher (280B), GPT-3 (175B), Jurassic-1 (178B), and Megatron-Turing NLG (530B) on a large range of downstream evaluation tasks. This also means that Chinchilla uses substantially less compute for fine-tuning and inference, greatly facilitating downstream usage. As a highlight, Chinchilla reaches a state-of-the-art average accuracy of 67.5% on the MMLU benchmark, greater than a 7% improvement over Gopher.

Panduan membaca

Masalah dan motivasi

Karya sebelumnya (terutama Kaplan et al., 2020) menyarankan bahwa ketika komputasi meningkat, parameter model harus diskalakan secara agresif ( $N \propto C^{0.73}$ ) sementara jumlah token meningkat jauh lebih lambat ( $D \propto C^{0.27}$ ). Akibatnya, model-model besar seperti GPT-3 (175B), Jurassic-1 (178B), Gopher (280B), dan MT-NLG (530B) secara konsisten dilatih hanya pada sekitar 300 miliar token. Namun, hal ini membuat model-model besar kurang terlatih (undertrained) secara signifikan relatif terhadap investasi komputasinya. Karya ini meninjau kembali trade-off tersebut: untuk anggaran komputasi tetap $C$ , bagaimana jumlah parameter $N$ dan jumlah token $D$ harus dialokasikan untuk meminimalkan kerugian uji (test loss)?

Ide-ide utama

Penskalaan setara: Untuk setiap penggandaan parameter model, token pelatihan juga harus berlipat ganda ( $N_{o pt} \propto C^{0.5}$ , $D_{o pt} \propto C^{0.5}$ ).
Penyelarasan jadwal kosinus: Jadwal learning rate harus cocok dengan horizon pelatihan aktual. Menggunakan titik-titik perantara dari proses yang meluruh sepanjang horizon tetap yang panjang (misalnya, 130B token) memperkirakan kerugian terlalu tinggi untuk jumlah token yang lebih kecil dan membiaskan perkiraan penskalaan empiris.
Efisiensi downstream: Melatih model yang lebih kecil pada token yang jauh lebih banyak menghasilkan akurasi yang identik atau lebih baik pada paritas komputasi pra-pelatihan sekaligus secara dramatis memangkas jejak memori, biaya fine-tuning, dan latensi inferensi.

Metode (dengan persamaan-persamaan kunci)

Para penulis mengevaluasi lebih dari 400 model (70M hingga 16B parameter, dilatih pada 5B hingga 500B token) menggunakan tiga strategi yang saling melengkapi:

Nilai minimum di sepanjang kurva pelatihan: Memvariasikan horizon pada 4 durasi untuk arsitektur model tetap. Mengekstrak envelope dari kerugian minimum per FLOP dan mencocokkan hukum daya (power laws): $N_{o pt} \propto C^{a}, D_{o pt} \propto C^{b}$ menghasilkan $a = 0, 50$ , $b = 0, 50$ .
Profil IsoFLOP: Menetapkan jumlah total FLOP pada 9 anggaran diskret ( $6 \times 1 0^{18}$ hingga $3 \times 1 0^{21}$ ) dengan peluruhan kosinus yang diselaraskan dengan horizon. Mencocokkan parabola di atas jumlah parameter untuk menemukan titik minimum kerugian, menghasilkan $a = 0, 49$ , $b = 0, 51$ .
Pencocokan kerugian parametrik: Memodelkan kerugian yang diperhalus menggunakan dekomposisi risiko: $\hat{L} (N, D) ≜ E + \frac{A}{N ^{α}} + \frac{B}{D ^{β}}$ di mana $E$ mewakili entropi teks alami, $A / N^{α}$ mewakili suboptimalitas representasi, dan $B / D^{β}$ menangkap suboptimalitas penghentian dini/data berhingga. Meminimalkan Huber loss pada log residu menghasilkan $E = 1, 69$ , $A = 406, 4$ , $B = 410, 7$ , $α = 0, 34$ , $β = 0, 28$ . Di bawah kendala $FLOPs (N, D) \approx 6 N D$ : $a = \frac{β}{α + β} = 0, 46, b = \frac{α}{α + β} = 0, 54$

Hasil (dengan angka-angka terpenting)

Chinchilla 70B: Dilatih dengan anggaran FLOP yang sama dengan Gopher ( $5, 76 \times 1 0^{23}$ FLOP, atau $6, 3 \times 1 0^{23}$ di bawah perhitungan tepat) menggunakan 70B parameter dan 1,4 triliun token.
Tolok Ukur MMLU: Chinchilla mencapai akurasi rata-rata 5-shot sebesar 67,6%, mengungguli Gopher (60,0%), GPT-3 (43,9%), dan melampaui prakiraan pakar manusia pada Juni 2023 (63,4%). Model ini mencapai akurasi $> 90%$ pada 4 tugas MMLU yang berbeda.
Tolok ukur downstream: Mengungguli Gopher pada BIG-bench (65,1% vs 54,4%), LAMBADA (77,4% vs 74,5%), dan Natural Questions closed-book (31,5% 5-shot vs 24,5%).
Bias dan Toksisitas: Toksisitas tanpa arahan (unprompted toxicity) tetap sebanding antara Gopher dan Chinchilla (median 0,064 vs 0,066), sementara akurasi Winogender meningkat dari 71,4% menjadi 78,3% secara keseluruhan.

Keterbatasan dan pertanyaan terbuka

Hanya dua titik perbatasan skala besar pada paritas yang diverifikasi secara langsung (Gopher 280B vs Chinchilla 70B) karena biaya pelatihan yang tinggi.
Analisis ini mengasumsikan pelatihan single-epoch pada kumpulan data web; perilaku saat mengulang data di beberapa epoch tidak dieksplorasi.
Terdapat bukti empiris mengenai sedikit kelengkungan negatif (konkavitas) pada $lo g (N_{o pt})$ pada anggaran komputasi tinggi, menunjukkan bahwa power laws mungkin masih sedikit memperkirakan ukuran model optimal terlalu besar.

Istilah kunci

Chinchilla: Model bahasa autoregresif 70 miliar parameter yang dilatih pada 1,4 triliun token menggunakan anggaran komputasi Gopher.
Gopher: Model bahasa transformer 280 miliar parameter yang dilatih pada 300 miliar token yang berfungsi sebagai baseline setara komputasi.
IsoFLOP profiles: Metodologi di mana jumlah parameter model divariasikan sementara total FLOP pelatihan dibuat konstan untuk menemukan ukuran parameter dengan kerugian minimum.
Compute-optimal frontier: Kurva matematis yang menghubungkan FLOP pelatihan yang tersedia dengan alokasi optimal dari jumlah parameter dan volume token pelatihan.
Parametric loss function: Dekomposisi statistik dari kerugian LM menjadi entropi Bayes yang tidak dapat direduksi, defisit kapasitas parameter, dan galat optimisasi sampel token.
Huber loss: Fungsi kerugian kuat (robust) yang digunakan dalam Pendekatan 3 untuk mencocokkan pengujian LM empiris sekaligus melemahkan efek pencilan residu pada skala komputasi kecil.
MassiveText: Korpus pra-pelatihan multi-domain yang berisi halaman web, buku, berita, kode, dan Wikipedia yang digunakan untuk melatih Gopher dan Chinchilla.
FLOPs calculation: Anggaran operasi multiply-accumulate, dihitung sekitar $6 N D$ di seluruh forward dan backward pass atau melalui perhitungan lapisan demi lapisan.

Pertanyaan

Mengapa Kaplan et al. menyimpulkan bahwa parameter harus diskalakan lebih cepat daripada token?

Kaplan et al. menggunakan jadwal kosinus learning rate yang tetap (misalnya diluruhkan ke 130B token) dan menggunakan evaluasi pelatihan perantara yang belum konvergen untuk titik-titik token yang lebih kecil. Karena jadwal learning rate kosinus terdegradasi jika panjang siklus secara signifikan melebihi total langkah, kerugian perantara tersebut menjadi tinggi secara artifisial, meremehkan efektivitas melatih model yang lebih kecil pada token yang lebih sedikit.

Apa aturan praktis untuk penskalaan optimal komputasi menurut Chinchilla?

Baik jumlah parameter model maupun jumlah token pelatihan harus diskalakan dalam proporsi yang kira-kira setara: untuk setiap peningkatan komputasi sebesar $2 \times$ , ukuran model harus meningkat sebesar $\approx 2^{0, 5} \approx 1, 41 \times$ dan token pelatihan harus meningkat sebesar $\approx 2^{0, 5} \approx 1, 41 \times$ .

Berapa banyak token yang direkomendasikan untuk melatih model 175B yang compute-optimal?

Menurut prediksi makalah ini, model dengan 175 miliar parameter membutuhkan sekitar 3,7 hingga 4,3 triliun token dan $3, 85 \times 1 0^{24}$ hingga $4, 54 \times 1 0^{24}$ FLOP agar compute-optimal, jauh melebihi 300 miliar token yang biasanya digunakan untuk GPT-3.

Perubahan arsitektur apa yang dilakukan antara Gopher dan Chinchilla?

Selain mengurangi jumlah lapisan dan dimensi tersembunyi dari 280B menjadi 70B, Chinchilla mengganti pengoptimal Adam dengan AdamW, mempertahankan bobot utama float32 dalam status pengoptimal terdistribusi, dan menghapus normalisasi NFKC dari tokenizer SentencePiece.

Ulasan di halaman ini ditulis oleh AI dari makalah dan mungkin mengandung kesalahan. Baca makalahnya untuk detail.

Baca dengan terjemahan dan AI