Llama 3 Model Ailesi

Okuma rehberi

Problem ve motivasyon

Modern yapay zekâ sistemleri büyük ölçüde devasa temel modellere dayanmaktadır; ancak en yetenekli modeller (örneğin GPT-4) kapalı kalmıştır. Açık erişimli, öncü sınıfta bir model geliştirmek; veri kürasyonu, hesaplama ölçeği ve karmaşıklığı yönetme gibi üç temel ayakta yer alan devasa mühendislik darboğazlarının aşılmasını gerektirir.

Yazarlar; 128K bağlam pencerelerini, sıfır atışlı (zero-shot) ve çok adımlı araç kullanımını, ileri düzey akıl yürütmeyi ve kod üretimini destekleyen 8B, 70B ve 405B parametreli çok dilli dil modellerinden oluşan Llama 3 ailesini geliştirmektedir.

Temel fikirler

• Yoğun Mimari ile Karmaşıklığı Yönetme: Yazarlar, Uzmanlar Karması (Mixture-of-Experts - MoE) mimarilerine geçmek yerine, ön eğitim kararlılığını en üst düzeye çıkarmak için Grouped-Query Attention (GQA) ve temel frekansı $\theta =500,000$ olan RoPE'ye sahip standart bir yoğun Transformer'a (405B için 126 katman, 16.384 boyut, 128 dikkat başlığı) bağlı kalmaktadır.
• Veri Ölçeklendirme ve Titiz Filtreleme: Ön eğitim, Llama 2'nin 1.8T belirtecinden çeşitli alanlara yayılan yaklaşık 15.6T belirtece genişletilmiştir (~%50 genel bilgi, %25 matematik/akıl yürütme, %17 kod, %8 çok dilli).
• Öngörülebilir Ölçekleme Yasaları (Scaling Laws): İki aşamalı bir ölçekleme yasası çerçevesi, eğitim başlamadan önce hesaplama miktarını dört büyüklük mertebesi boyunca nihai görev performansına (ARC Challenge gibi) bağlar.
• Yinelemeli Eğitim Sonrası (Iterative Post-Training): Hedeflenmiş sentetik veri üretimiyle birlikte Denetimli İnce Ayar (SFT), Redde Dayalı Örnekleme (RS) ve Doğrudan Tercih Optimizasyonunu (DPO) birleştiren altı turlu bir uyumlama (alignment) süreci.
• 4D Paralellik ve Altyapı: Tensör Paralelliği (TP), Bağlam Paralelliği (CP), İş Hattı Paralelliği (PP) ve Tam Parçalanmış Veri Paralelliği (FSDP/DP) kombinasyonu kullanılarak 16K'ya kadar H100 GPU üzerinde 405B modelinin ön eğitimi.

Yöntem (temel denklemlerle)

1. Ölçekleme Yasası Formülasyonu

Hesaplama açısından en uygun (compute-optimal) belirteç dağılımı, hesaplama bütçesi $C$'nin bir kuvvet yasası (power-law) fonksiyonu olarak modellenir:

$$N^{\star }(C)=A{C}^{\alpha }$$

$6\times 10^{18}$ ile $10^{22}$ FLOP arasındaki hesaplama bütçeleri üzerindeki ampirik uyarlamalar $(\alpha ,A)=(0.53,0.29)$ değerlerini belirlemiştir. $3.8\times 10^{25}$ FLOP'luk hedef bütçeye yapılan ekstrapolasyon, 16.55T belirteç üzerinde 402B parametreli bir modelin eğitilmesini önermiş ve bu da 405B parametrelik nihai mimariye rehberlik etmiştir.

2. Bağlam Penceresi Genişletme ve Dikkat Maskeleme

8K'dan 128K belirtece bağlam ölçeklendirmesi, ~800B belirteç boyunca altı sürekli ön eğitim aşamasında gerçekleşir. Aynı uzun bağlam dizisi içinde paketlenmiş belgeler arasında çapraz kirlenmeyi önlemek için özel bir belge dikkat maskesi (document attention mask) uygulanır.

Bağlam Paralelliği (CP), girdi dizilerini $2\times \text{CP}$ parçaya böler ve anahtar ($K$) ile değer ($V$) temsilleri üzerinde bir all-gather iletişim örüntüsü çalıştırır. GQA, sorguya ($Q$) kıyasla $K$ ve $V$ boyutlarını küçülttüğü için all-gather iletişim yükü $O(S)$, dikkat hesaplaması olan $O(S^2)$'nin yanında ihmal edilebilir düzeydedir.

3. Doğrudan Tercih Optimizasyonu (DPO) Uyarlamaları

Tercih optimizasyonunda, tekrarlayan kuyrukları veya erken durmaları önlemek amacıyla biçimlendirme belirteçleri (başlıklar ve sonlandırma işaretçileri) DPO kaybından açıkça maskelenerek çıkarılır. Ayrıca, seçilen diziye yardımcı bir negatif log-olabilirlik (NLL) düzenlileştirme terimi eklenir:

$${\mathcal{L}}_{\text{reg}}=0.2\cdot {\mathcal{L}}_{\text{NLL}}(\text{chosen})$$

Sonuçlar (en önemli rakamlarla)

• Amiral Gemisi 405B Kıyaslama Testleri:
  • MMLU (5-shot): %87,3 (0-shot CoT: %88,6)
  • GSM8K (8-shot, CoT): %96,8
  • MATH (0-shot, CoT): %73,8
  • HumanEval (0-shot): %89,0
  • ARC Challenge (0-shot): %96,9
  • IFEval: %88,6
• Daha Küçük Modeller (8B ve 70B): Her iki model de karşılaştırılabilir açık kaynaklı emsallerinden (ör. Gemma 2 9B, Mistral 7B, Mixtral 8x22B) daha iyi performans göstermektedir. Örneğin, Llama 3 8B, 0-shot CoT MMLU'da %73,0 ve GSM8K'da %84,5 elde etmektedir.
• Uzun Bağlam: 128K belirtece kadar tekli Needle-In-A-Haystack testinde kusursuz %100 geri çağırma ve 405B modeli için Multi-needle hatırlamada %98,1 başarı.
• Ön Eğitim Verimliliği: 16.384 H100 GPU genelindeki yapılandırmalarda BF16 Model FLOPs Kullanımı (MFU) %38-43'e ulaşmış; 466 kesintiye rağmen 54 günlük bir kesitte %90'ın üzerinde etkin eğitim süresi korunmuştur.

Sınırlılıklar ve açık sorular

• Donanım Güvenilirliği ve Ölçek Dalgalanması: 16K GPU ölçeğinde, donanım kesintileri günde ortalama birkaç kez meydana gelmiştir (beklenmeyen kesintilerin %78'i donanım/GPU sorunlarından kaynaklanmıştır). Denetim noktası alma (checkpointing) veya toplu iletişim adımları sırasında on binlerce megavatlık eşzamanlı güç dalgalanmaları veri merkezi elektrik şebekelerini zorlamaktadır.
• Çekişmeli Sağlamlık (Adversarial Robustness) Açığı: Açımlama kıyaslamalarında (PAWS) dirençli olsa da matematiksel akıl yürütme ve soru-cevap çekişmeli kıyaslamaları (GSM-Plus, Adv SQuAD), çekişmeli olmayan testlere kıyasla belirgin bir performans düşüşü sergilemektedir.
• Çok Modelliğin Erişilebilirliği: Görme ve konuşma bağdaştırıcıları (adapters) araştırma ortamlarında rekabetçi yetenekler sergilemiştir; ancak bunlar aktif geliştirme aşamasında tutulmuş ve ilk genel sürüme dâhil edilmemiştir.