Training Compute-Optimal Large Language Models

Jordan Hoffmann; Sebastian Borgeaud; Arthur Mensch; Elena Buchatskaya; Trevor Cai; Eliza Rutherford; Diego de Las Casas; Lisa Anne Hendricks; Johannes Welbl; Aidan Clark; Tom Hennigan; Eric Noland; Katie Millican; George van den Driessche; Bogdan Damoc; Aurelia Guy; Simon Osindero; Karen Simonyan; Erich Elsen; Jack W. Rae; Oriol Vinyals; Laurent Sifre

Makaleler · arXiv 2203.15556

Hesaplama Açısından Optimal Büyük Dil Modellerinin Eğitilmesi

Training Compute-Optimal Large Language Models

Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland et al.

Yayımlanma 2022-03-29cs.CLcs.LG arXiv PDF

Çeviri ve yapay zekâ ile oku

Üç satırda özet

🎯 Sabit bir hesaplama bütçesi altında model parametreleri ile eğitim token'ları arasındaki en uygun dengeyi belirleyin.
🔧 Minimum kayıp zarfları, IsoFLOP kesitleri ve parametrik kayıp modellemesi kullanarak 400'den fazla transformer çalıştırması üzerinden ölçekleme yasalarını ampirik olarak uyarlayın.
📈 Parametreler ve token'lar eşit şekilde ölçeklenmelidir ( $a \approx 0.5$ , $b \approx 0.5$ ). 1,4T token ile eğitilen 70B'lik Chinchilla modeli, Gopher'ın hesaplama bütçesine eşittir ve MMLU'da %67,6 başarısı elde eder.

Özet

Belirli bir hesaplama bütçesi altında bir transformer dil modelini eğitmek için en uygun model boyutunu ve token sayısını araştırıyoruz. Mevcut büyük dil modellerinin, eğitim verisi miktarını sabit tutarken yalnızca model boyutunu büyütmeye odaklanmanın bir sonucu olarak, belirgin şekilde yetersiz eğitildiğini tespit ediyoruz. 70 milyondan 16 milyarın üzerinde parametreye kadar uzanan 400'den fazla dil modelini 5 ila 500 milyar token ile eğiterek; hesaplama açısından en uygun eğitim için model boyutu ile eğitim token sayısının eşit oranda ölçeklenmesi gerektiğini buluyoruz: model boyutunun her iki katına çıkışında, eğitim token sayısı da iki katına çıkarılmalıdır. Bu hipotezi, Gopher ile aynı hesaplama bütçesini kullanan ancak 70B parametreye ve 4 $\times$ daha fazla veriye sahip, hesaplama açısından optimal olarak tahmin edilen Chinchilla modelini eğiterek test ediyoruz. Chinchilla; geniş bir nihai görev değerlendirme yelpazesinde Gopher (280B), GPT-3 (175B), Jurassic-1 (178B) ve Megatron-Turing NLG (530B) modellerinden tutarlı ve belirgin şekilde daha üstün performans sergilemektedir. Bu durum aynı zamanda Chinchilla'nın ince ayar (fine-tuning) ve çıkarım (inference) için önemli ölçüde daha az işlem gücü kullandığı ve nihai kullanımı büyük ölçüde kolaylaştırdığı anlamına gelir. Öne çıkan bir sonuç olarak Chinchilla, MMLU karşılaştırmasında %67,5'lik son teknoloji (state-of-the-art) ortalama doğruluğa ulaşarak Gopher'a kıyasla %7'den fazla bir gelişme kaydetmiştir.

Orijinal özet (İngilizce)

We investigate the optimal model size and number of tokens for training a transformer language model under a given compute budget. We find that current large language models are significantly undertrained, a consequence of the recent focus on scaling language models whilst keeping the amount of training data constant. By training over 400 language models ranging from 70 million to over 16 billion parameters on 5 to 500 billion tokens, we find that for compute-optimal training, the model size and the number of training tokens should be scaled equally: for every doubling of model size the number of training tokens should also be doubled. We test this hypothesis by training a predicted compute-optimal model, Chinchilla, that uses the same compute budget as Gopher but with 70B parameters and 4 $\times$ more more data. Chinchilla uniformly and significantly outperforms Gopher (280B), GPT-3 (175B), Jurassic-1 (178B), and Megatron-Turing NLG (530B) on a large range of downstream evaluation tasks. This also means that Chinchilla uses substantially less compute for fine-tuning and inference, greatly facilitating downstream usage. As a highlight, Chinchilla reaches a state-of-the-art average accuracy of 67.5% on the MMLU benchmark, greater than a 7% improvement over Gopher.

Okuma rehberi

Problem ve motivasyon

Önceki çalışmalar (özellikle Kaplan et al., 2020), hesaplama bütçesi arttığında model parametrelerinin agresif bir şekilde ölçeklenmesi gerektiğini ( $N \propto C^{0.73}$ ), token sayısının ise çok daha yavaş artması gerektiğini ( $D \propto C^{0.27}$ ) öne sürmüştü. Sonuç olarak GPT-3 (175B), Jurassic-1 (178B), Gopher (280B) ve MT-NLG (530B) gibi büyük modeller tutarlı bir şekilde yaklaşık 300 milyar token ile eğitildi. Ancak bu durum, büyük modellerin hesaplama yatırımlarına kıyasla önemli ölçüde yetersiz eğitilmesine (undertrained) yol açtı. Bu çalışma bahsi geçen ödünleşimi yeniden ele almaktadır: Sabit bir $C$ hesaplama bütçesi için, test kaybını en aza indirmek adına $N$ parametre sayısı ve $D$ token sayısı nasıl paylaştırılmalıdır?

Temel fikirler

Eşit ölçekleme: Model parametrelerinin her iki katına çıkışında, eğitim token'ları da iki katına çıkarılmalıdır ( $N_{o pt} \propto C^{0.5}$ , $D_{o pt} \propto C^{0.5}$ ).
Kosinüs çizelgesi uyumu: Öğrenme oranı çizelgeleri gerçek eğitim ufkuyla eşleşmelidir. Sabit ve uzun bir ufukta (ör. 130B token) sönümlenen bir eğitimden ara noktalar kullanmak, daha küçük token sayıları için kaybı olduğundan fazla gösterir ve ampirik ölçekleme tahminlerini saptırır.
Sonraki aşama (downstream) verimliliği: Ön eğitim hesaplama denkliğinde, daha küçük bir modeli önemli ölçüde daha fazla token ile eğitmek, bellek ayak izini, ince ayar maliyetlerini ve çıkarım gecikmesini çarpıcı biçimde azaltırken aynı veya daha iyi doğruluk sağlar.

Yöntem (temel denklemlerle)

Yazarlar üç tamamlayıcı strateji kullanarak 400'den fazla modeli (70M ila 16B parametre, 5B ila 500B token aralığında eğitilmiş) değerlendirmektedir:

Eğitim eğrileri üzerinden minimum: Sabit model mimarileri için ufku 4 farklı süre boyunca değiştirin. FLOP başına minimum kayıp zarfını çıkarın ve güç yasalarını uyarlayın: $N_{o pt} \propto C^{a}, D_{o pt} \propto C^{b}$ bu işlem $a = 0.50$ , $b = 0.50$ sonucunu verir.
IsoFLOP profilleri: Ufukla hizalanmış kosinüs sönümlemesi ile toplam FLOP sayısını 9 ayrık bütçede ( $6 \times 1 0^{18}$ ila $3 \times 1 0^{21}$ ) sabitleyin. Kayıp minimumlarını bulmak için parametre sayıları üzerine paraboller oturtun; bu işlem $a = 0.49$ , $b = 0.51$ verir.
Parametrik kayıp uyarlama: Düzeltilmiş kaybı bir risk ayrıştırması kullanarak modelleyin: $\hat{L} (N, D) ≜ E + \frac{A}{N ^{α}} + \frac{B}{D ^{β}}$ burada $E$ doğal metin entropisini temsil eder, $A / N^{α}$ temsil yetersizliğini gösterir ve $B / D^{β}$ erken durdurma/sonlu veri eksikliğini yakalar. Logaritmik artıklar üzerinde Huber kaybını en aza indirmek $E = 1.69$ , $A = 406.4$ , $B = 410.7$ , $α = 0.34$ , $β = 0.28$ değerlerini verir. $FLOPs (N, D) \approx 6 N D$ kısıtlaması altında: $a = \frac{β}{α + β} = 0.46, b = \frac{α}{α + β} = 0.54$

Sonuçlar (en önemli sayılarla)

Chinchilla 70B: Gopher ile aynı FLOP bütçesiyle ( $5.76 \times 1 0^{23}$ FLOP veya kesin hesaplama altında $6.3 \times 1 0^{23}$ ), 70B parametre ve 1,4 trilyon token kullanılarak eğitilmiştir.
MMLU Değerlendirmesi: Chinchilla, ortalama %67,6'lık 5-shot doğruluk oranına ulaşarak Gopher'ı (%60,0), GPT-3'ü (%43,9) ve Haziran 2023 insan uzman tahminini (%63,4) geride bırakmıştır. Farklı 4 MMLU görevinde $> %90$ doğruluk elde etmiştir.
Sonraki aşama kıyaslamaları: BIG-bench (%65,1'e karşı %54,4), LAMBADA (%77,4'e karşı %74,5) ve kapalı kitap Natural Questions (%31,5 5-shot'a karşı %24,5) görevlerinde Gopher'dan daha iyi performans gösterir.
Önyargı ve Toksisite: İstem dışı toksisite Gopher ve Chinchilla arasında benzer kalırken (medyan 0,064'e karşı 0,066), Winogender doğruluğu genel olarak %71,4'ten %78,3'e yükselmiştir.

Sınırlılıklar ve açık sorular

Eğitim maliyeti nedeniyle hesaplama denkliğinde yalnızca iki büyük ölçekli öncü nokta doğrudan doğrulanabilmiştir (Gopher 280B ve Chinchilla 70B).
Analiz, web veri kümeleri üzerinde tek dönemlik (single-epoch) eğitimi varsayar; verilerin birden fazla dönem boyunca tekrarlanması durumundaki davranış incelenmemiştir.
Yüksek hesaplama bütçelerinde $lo g (N_{o pt})$ eğrisinde hafif bir negatif eğrilik (içbükeylik) olduğuna dair ampirik kanıtlar bulunmaktadır; bu durum güç yasalarının optimal model boyutunu hâlâ bir miktar fazla tahmin ediyor olabileceğini düşündürmektedir.

Temel terimler

Chinchilla: Gopher'ın hesaplama bütçesi kullanılarak 1,4 trilyon token ile eğitilmiş 70 milyar parametreli bir otoregresif dil modeli.
Gopher: Hesaplama açısından eşdeğer bir referans noktası işlevi gören, 300 milyar token ile eğitilmiş 280 milyar parametreli bir transformer dil modeli.
IsoFLOP profiles: Kayıp açısından en optimal parametre boyutunu tespit etmek için toplam eğitim FLOP'u sabit tutulurken model parametre sayısının değiştirildiği bir metodoloji.
Compute-optimal frontier: Mevcut eğitim FLOP'larını, parametre sayısı ve eğitim token hacminin en uygun dağılımına bağlayan matematiksel eğri.
Parametric loss function: Dil modeli kaybının indirgenemez Bayes entropisi, parametre kapasitesi açığı ve token örnekleme optimizasyon hatası şeklinde istatistiksel olarak ayrıştırılması.
Huber loss: Küçük hesaplama ölçeklerindeki aykırı artık değerlerin etkisini zayıflatırken ampirik dil modeli çalışmalarını uyarlamak için Yaklaşım 3'te kullanılan dayanıklı bir kayıp fonksiyonu.
MassiveText: Hem Gopher hem de Chinchilla'yı eğitmek için kullanılan; web sayfaları, kitaplar, haberler, kodlar ve Wikipedia içeren çok alanlı ön eğitim külliyatı.
FLOPs calculation: İleri ve geri geçişler boyunca yaklaşık $6 N D$ olarak ya da katman bazlı hesaplama yoluyla bulunan çarpma-biriktirme (multiply-accumulate) işlem bütçesi.

Sorular

Kaplan et al. neden parametrelerin token'lardan daha hızlı ölçeklenmesi gerektiği sonucuna vardı?

Kaplan et al. sabit bir kosinüs öğrenme oranı çizelgesi (örneğin 130B token'a kadar sönümlenen) kullandı ve daha küçük token noktaları için henüz yakınsamamış ara eğitim değerlendirmelerinden yararlandı. Kosinüs öğrenme oranı çizelgeleri, döngü uzunluğu toplam adım sayısını önemli ölçüde aştığında kötüleştiğinden, bu ara kayıplar yapay olarak yüksek çıktı ve daha küçük modelleri daha az token ile eğitmenin etkinliği olduğundan düşük tahmin edildi.

Chinchilla'ya göre hesaplama açısından optimal ölçeklemenin pratik kuralı nedir?

Hem model parametrelerinin sayısı hem de eğitim token'larının sayısı yaklaşık olarak eşit oranlarda ölçeklenmelidir: hesaplama gücündeki her $2 \times$ artış için model boyutu $\approx 2^{0.5} \approx 1.41 \times$ artmalı ve eğitim token'ları $\approx 2^{0.5} \approx 1.41 \times$ artmalıdır.

Hesaplama açısından optimal 175B'lik bir modeli eğitmek için kaç token önerilir?

Makalenin tahminlerine göre, 175 milyar parametreli bir modelin hesaplama açısından optimal olması için yaklaşık 3,7 ila 4,3 trilyon token ve $3.85 \times 1 0^{24}$ ila $4.54 \times 1 0^{24}$ FLOP gerekir; bu da GPT-3 için yaygın olarak kullanılan 300 milyar token'ın oldukça üzerindedir.

Gopher ile Chinchilla arasında hangi mimari değişiklikler yapıldı?

Katman sayısını ve gizli boyutları 280B'den 70B'ye düşürmenin yanı sıra Chinchilla; Adam optimizasyon algoritmasını AdamW ile değiştirdi, dağıtık optimizasyon durumunda float32 ana ağırlıklarını korudu ve SentencePiece belirteçleyicisinden (tokenizer) NFKC normalizasyonunu kaldırdı.

Bu sayfadaki açıklama yapay zekâ tarafından makaleden yazılmıştır ve hata içerebilir. Ayrıntılar için makaleyi okuyun.

Çeviri ve yapay zekâ ile oku