LLaMA: Open and Efficient Foundation Language Models

Hugo Touvron; Thibaut Lavril; Gautier Izacard; Xavier Martinet; Marie-Anne Lachaux; Timothée Lacroix; Baptiste Rozière; Naman Goyal; Eric Hambro; Faisal Azhar; Aurelien Rodriguez; Armand Joulin; Edouard Grave; Guillaume Lample

Makaleler · arXiv 2302.13971

LLaMA: Açık ve Verimli Temel Dil Modelleri

LLaMA: Open and Efficient Foundation Language Models

Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin et al.

Yayımlanma 2023-02-27cs.CL arXiv PDF

Çeviri ve yapay zekâ ile oku

Üç satırda özet

🎯 Önde gelen LLM'lerin çoğu, devasa parametre sayılarına veya tescilli veri kümelerine dayanarak yüksek sunum maliyetleri ve araştırmaya erişim engelleri yaratır.
🔧 Yalnızca açık kaynaklı veriler, RMSNorm, SwiGLU ve RoPE kullanılarak 1.0T ila 1.4T token üzerinde kompakt transformer modelleri (7B - 65B) eğitildi.
📈 LLaMA-13B çoğu testte GPT-3'ü (175B) geçerken, LLaMA-65B basit talimat ince ayarıyla MMLU'da %68,9'a ulaşır.

Özet

7B ile 65B parametre aralığında bir dizi temel dil modeli olan LLaMA'yı sunuyoruz. Modellerimizi trilyonlarca token ile eğitiyor; tescilli veya erişilemeyen veri kümelerine başvurmadan, yalnızca herkese açık veri kümelerini kullanarak en güncel modelleri eğitmenin mümkün olduğunu gösteriyoruz. Özellikle LLaMA-13B, birçok kıyaslama testinde GPT-3'ü (175B) geride bırakmakta; LLaMA-65B ise en iyi modeller olan Chinchilla-70B ve PaLM-540B ile rekabet etmektedir. Tüm modellerimizi araştırma topluluğunun erişimine açıyoruz.

Orijinal özet (İngilizce)

We introduce LLaMA, a collection of foundation language models ranging from 7B to 65B parameters. We train our models on trillions of tokens, and show that it is possible to train state-of-the-art models using publicly available datasets exclusively, without resorting to proprietary and inaccessible datasets. In particular, LLaMA-13B outperforms GPT-3 (175B) on most benchmarks, and LLaMA-65B is competitive with the best models, Chinchilla-70B and PaLM-540B. We release all our models to the research community.

Okuma rehberi

Problem ve motivasyon

Standart ölçekleme yasaları (Chinchilla gibi), sabit bir eğitim hesaplama bütçesi için parametre boyutu ile veri kümesi boyutu arasındaki en uygun dengeyi hesaplar. Ancak bu yaklaşım, dil modellerinin sunulmasındaki kullanım ömrü işletme maliyetini domine eden çıkarım bütçesini (inference budget) göz ardı eder. Sunum verimliliği açısından, hesaplama açısından en uygun kılavuzların önerdiğinden önemli ölçüde daha fazla veriyle eğitilen daha küçük modeller tercih edilir; çünkü bunları barındırmak ve çalıştırmak çok daha ucuzdur.

Ayrıca, en önde gelen son teknoloji modeller (GPT-3, Chinchilla ve PaLM gibi) özel, yeniden üretilemeyen veri kümelerine veya aşırı büyük mimarilere dayanır. LLaMA, rekabetçi temel modellerin yalnızca herkese açık verilerle eğitilebileceğini göstererek araştırmacılara açık dağıtım olanağı sağlar.

Temel fikirler

Çıkarım odaklı eğitim: Eğitimi hesaplama açısından en uygun veri kümesi boyutlarında (örneğin 10B'lik bir model için ~200B token) durdurmak yerine LLaMA; 7B ve 13B modellerini 1.0T token, 33B ve 65B modellerini ise 1.4T token üzerinde eğitir.
Yalnızca açık veri kümeleri: Tüm ön eğitim verileri halka açık kaynaklardan elde edilmiştir: CommonCrawl (%67), C4 (%15), GitHub (%4,5), Wikipedia (%4,5), Books (%4,5), ArXiv (%2,5) ve Stack Exchange (%2).
Modernize edilmiş Transformer mimarisi: Kararlılık için RMSNorm ile ön normalleştirme (pre-normalization), SwiGLU aktivasyonları ve mutlak konumlar yerine Döner Konumsal Gömme (Rotary Positional Embeddings - RoPE) içerir.
Mühendislik verimliliği: Bellek açısından verimli dikkat mekanizması (xformers aracılığıyla), özel aktivasyon kontrol noktaları (activation checkpointing) ile dizi ve model paralelliği kullanır.

Yöntem

LLaMA, aşağıdaki değişikliklerle birlikte otoregresif bir Transformer kod çözücüsü (decoder) kullanır:

Ön normalleştirme (Pre-normalization): Her alt katmandan önce RMSNorm kullanılarak girdi normalleştirmesi yapılır: $\overset{a}{ˉ}_{i} = \frac{a _{i}}{RMS ( a )} g_{i}, burada RMS (a) = \frac{1}{d} i = 1 \sum d a_{i}^{2}$
SwiGLU aktivasyonu: Standart ReLU/GELU aktivasyonlarını SwiGLU ile değiştirir ve ara boyutu $4 d$ yerine $\frac{2}{3} 4 d$ olarak boyutlandırır.
Rotary Embeddings (RoPE): Mutlak konum gömmeleri olmadan göreli konumları kodlamak için her katmana uygulanır.
Optimizasyon: $β_{1} = 0, 9, β_{2} = 0, 95$ , $0, 1$ ağırlık azalması (weight decay), $1, 0$ gradyan kırpması (gradient clipping), $2, 000$ ısınma adımı (warmup steps) ve maksimum öğrenme oranının %10'una düşen bir kosinüs öğrenme oranı çizelgesi ile AdamW. Toplu işlem boyutu (batch size) tüm model ölçeklerinde 4M tokendir.

Eğitim süreçlerindeki enerji ve karbon ayak izi tahmini şu şekilde hesaplanır: $Wh = GPU-h \times (GPU g \overset{u}{¨} \overset{c}{¸} t \overset{u}{¨} ketimi) \times PUE$ $tCO_{2} eq = MWh \times 0, 385$

Sonuçlar

Sağduyu Akıl Yürütme (Common Sense Reasoning): LLaMA-13B, birçok kıyaslamada GPT-3'ü (175B) geride bırakır (örneğin BoolQ'da %78,1'e karşı %60,5; WinoGrande'de %73,0'a karşı %70,2). LLaMA-65B, PIQA'da (%82,8'e karşı %82,3) ve HellaSwag'de (%84,2'ye karşı %83,4) PaLM-540B'ye yetişir veya onu geçer.
Kapalı Kitap Soru-Cevap (Closed-book QA): TriviaQA'da (0-shot), LLaMA-65B %68,2'ye, LLaMA-13B ise %56,6'ya ulaşır (tek bir V100 GPU üzerinde çalışırken GPT-3'ün benzer performansını aşar).
Kod Üretimi: HumanEval üzerinde (pass@1), LLaMA-65B %23,7 elde ederek PaLM-62B'yi (%15,9) geçer ve PaLM-cont 62B (%23,7) ile eşleşir.
MMLU ve Talimat İnce Ayarı (Instruction Finetuning): Temel LLaMA-65B, MMLU'da %63,4 5-shot doğruluğuna ulaşır (muhtemelen daha küçük ön eğitim kitap külliyatı nedeniyle PaLM-540B'nin %69,3'lük skorunun gerisinde kalır). Bununla birlikte, temel istemler üzerinde yapılan talimat ince ayarı (LLaMA-I 65B), performansı %68,9'a çıkarır.

Sınırlılıklar ve açık sorular

Halüsinasyon ve Doğruluk: TruthfulQA puanları mütevazı kalmaktadır (LLaMA-65B Truthful'da 0,57 ve Truthful*Informative'de 0,53 puan almıştır), bu da süregelen bir halüsinasyon eğilimi olduğunu gösterir.
Toksisite ölçeklenmesi: RealToxicityPrompts üzerinde toksisite, özellikle saygılı istemlerde model boyutuyla birlikte artmaktadır (7B için 0,081'e karşılık 65B için 0,141).
Akademik bilgi açığı: MMLU'daki performans Chinchilla-70B ve PaLM-540B'nin gerisinde kalmıştır; yazarlar bunun, tescilli veri kümelerindeki ~2TB'a kıyasla yalnızca ~177GB kitap ve akademik makale üzerinde eğitim yapılmasından kaynaklandığını varsaymaktadır.

Temel terimler

LLaMA: Yalnızca halka açık veri kümeleri kullanılarak 1,4 trilyon token'a kadar eğitilmiş, 7B ila 65B parametre aralığında temel dil modelleri koleksiyonu.
Inference Budget (Çıkarım Bütçesi): Daha küçük modelleri daha fazla token üzerinde eğiterek önceliklendirilen, eğitilmiş bir model sunulurken ortaya çıkan hesaplama maliyeti ve gecikme süresi.
RMSNorm: Eğitim kararlılığı için transformer alt katmanlarının girdilerini normalleştirmede kullanılan Kök Ortalama Kare Katman Normalleştirmesi (Root Mean Square Layer Normalization).
SwiGLU: Swish aktivasyon fonksiyonunu kullanan ve gizli boyutu 2/3 * 4d olarak boyutlandırılmış bir kapılı doğrusal birim (gated linear unit) türevi.
Rotary Positional Embeddings (RoPE): Sorgu ve anahtar temsillerini döndürerek transformer dikkat katmanlarına göreli konum bilgisi enjekte eden bir teknik.
xformers: Büyük dikkat ağırlık matrislerini saklamaktan kaçınan, verimli bir nedensel çok başlı dikkat uygulaması sunan açık kaynaklı bir kütüphane.
LLaMA-I: Talimat takip etme ve MMLU performansını artırmak için Flan protokolü izlenerek eğitilen, LLaMA-65B'nin talimat ince ayarı yapılmış versiyonu.
TruthfulQA: Bir LLM'nin yanıltıcı olgusal sorular karşısında insan yanılgılarını ve halüsinasyonlarını taklit etme eğilimini ölçen bir kıyaslama testi.

Sorular

LLaMA'yı önceden eğitmek için hangi veri kümeleri kullanıldı?

Ön eğitimde yalnızca kamuya açık veriler kullanılmıştır: İngilizce CommonCrawl (%67), C4 (%15), GitHub (%4,5), 20 dilde Wikipedia (%4,5), Gutenberg ve Books3 (%4,5), ArXiv (%2,5) ve Stack Exchange (%2).

LLaMA-13B, GPT-3 (175B) ile nasıl karşılaştırılır?

LLaMA-13B, 10 kattan daha küçük olmasına ve çıkarımı tek bir tüketici/veri merkezi GPU'sunda çalıştırabilmesine rağmen BoolQ, PIQA ve WinoGrande dahil olmak üzere çoğu standart kıyaslamada GPT-3'ü geride bırakır.

LLaMA-65B'yi eğitmek ne kadar sürdü?

LLaMA-65B'nin 1,4 trilyon token üzerinde eğitilmesi, 2.048 adet 80GB A100 GPU genelinde yaklaşık 380 token/sn/GPU işleyerek kabaca 21 günde tamamlanmıştır.

LLaMA, orijinal Transformer üzerinde hangi mimari değişiklikleri yapar?

LLaMA, alt katman girdilerine RMSNorm ön normalleştirmesi uygular, ReLU'yu SwiGLU aktivasyonlarıyla (2/3 * 4d boyutu) değiştirir ve mutlak konumsal gömmeler yerine döner konumsal gömmeleri (RoPE) kullanır.

Bu sayfadaki açıklama yapay zekâ tarafından makaleden yazılmıştır ve hata içerebilir. Ayrıntılar için makaleyi okuyun.

Çeviri ve yapay zekâ ile oku