Llama 2: Open Foundation and Fine-Tuned Chat Models

Hugo Touvron; Louis Martin; Kevin Stone; Peter Albert; Amjad Almahairi; Yasmine Babaei; Nikolay Bashlykov; Soumya Batra; Prajjwal Bhargava; Shruti Bhosale; Dan Bikel; Lukas Blecher; Cristian Canton Ferrer; Moya Chen; Guillem Cucurull; David Esiobu; Jude Fernandes; Jeremy Fu; Wenyin Fu; Brian Fuller; Cynthia Gao; Vedanuj Goswami; Naman Goyal; Anthony Hartshorn; Saghar Hosseini; Rui Hou; Hakan Inan; Marcin Kardas; Viktor Kerkez; Madian Khabsa; Isabel Kloumann; Artem Korenev; Punit Singh Koura; Marie-Anne Lachaux; Thibaut Lavril; Jenya Lee; Diana Liskovich; Yinghai Lu; Yuning Mao; Xavier Martinet; Todor Mihaylov; Pushkar Mishra; Igor Molybog; Yixin Nie; Andrew Poulton; Jeremy Reizenstein; Rashi Rungta; Kalyan Saladi; Alan Schelten; Ruan Silva

Makaleler · arXiv 2307.09288

Llama 2: Açık Temel ve İnce Ayarlı Sohbet Modelleri

Llama 2: Open Foundation and Fine-Tuned Chat Models

Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher et al.

Yayımlanma 2023-07-18cs.CLcs.AI arXiv PDF

Çeviri ve yapay zekâ ile oku

Üç satırda özet

🎯 Açık erişimli LLM'ler, daha önce kapalı tescilli sohbet modelleriyle güvenli ve etkili bir şekilde rekabet edebilmek için gereken kapsamlı hizalamadan (RLHF) yoksundu.
🔧 Grouped-Query Attention kullanılarak 2T belirteç (token) üzerinde 7B–70B modeller önceden eğitildi; ardından yüksek kaliteli SFT, çift ödül modelleme (güvenlik ve yardımseverlik), reddetme örneklemeli ince ayar, PPO ve Ghost Attention (GAtt) uygulandı.
📈 Llama 2 70B, MMLU'da 68,9 ve GSM8K'da 56,8 skoruna ulaştı; Llama 2-Chat insan değerlendirmelerinde ChatGPT'ye karşı %36 kazanma ve %31,5 beraberlik oranı elde etti.

Özet

Bu çalışmada, 7 milyardan 70 milyar parametreye kadar uzanan ölçeklerde önceden eğitilmiş ve ince ayarlanmış büyük dil modelleri (LLM'ler) koleksiyonu olan Llama 2'yi geliştirip kullanıma sunuyoruz. Llama 2-Chat olarak adlandırdığımız ince ayarlı LLM'lerimiz, diyalog kullanım senaryoları için optimize edilmiştir. Modellerimiz, test ettiğimiz kıyaslama testlerinin çoğunda açık kaynaklı sohbet modellerinden daha iyi performans göstermekte ve yardımseverlik ile güvenlik alanındaki insan değerlendirmelerimize göre kapalı kaynaklı modellere uygun bir alternatif olabilmektedir. Topluluğun çalışmalarımız üzerine geliştirmeler yapmasını ve LLM'lerin sorumlu bir şekilde geliştirilmesine katkıda bulunmasını sağlamak amacıyla, Llama 2-Chat'in ince ayar ve güvenlik iyileştirme yaklaşımlarımızın ayrıntılı bir açıklamasını sunuyoruz.

Orijinal özet (İngilizce)

In this work, we develop and release Llama 2, a collection of pretrained and fine-tuned large language models (LLMs) ranging in scale from 7 billion to 70 billion parameters. Our fine-tuned LLMs, called Llama 2-Chat, are optimized for dialogue use cases. Our models outperform open-source chat models on most benchmarks we tested, and based on our human evaluations for helpfulness and safety, may be a suitable substitute for closed-source models. We provide a detailed description of our approach to fine-tuning and safety improvements of Llama 2-Chat in order to enable the community to build on our work and contribute to the responsible development of LLMs.

Okuma rehberi

Problem ve motivasyon

LLaMA-1, BLOOM ve Falcon gibi açık erişimli önceden eğitilmiş temel modeller, GPT-3 gibi modellerin ham temel performansını yakalamış olsa da, kapalı ticari sohbet asistanları (örneğin ChatGPT, Claude) belirgin bir üstünlüğü korumaya devam etti. Bu performans avantajı; yüksek işlem gücü, tescilli veri etiketleme süreçleri ve kırmızı takım (red-teaming) çalışmaları gerektiren talimat ayarlama (instruction tuning) ve İnsan Geri Bildirimiyle Pekiştirmeli Öğrenme (RLHF) yoluyla yapılan yoğun ön eğitim sonrası hizalamadan kaynaklanıyordu. Meta, hizalanmış diyalog modellerini demokratikleştirmek, hizalama ve güvenlik için şeffaf metodolojiler sunmak amacıyla Llama 2 ve Llama 2-Chat modellerini (7B, 13B ve 70B parametreli versiyonlar ile yayınlanmamış 34B varyantı) geliştirdi ve açık olarak yayınladı.

Temel fikirler

Genişletilmiş Ön Eğitim: 2,0 trilyon belirteç üzerinde önceden eğitildi (Llama 1'e göre %40 artış), bağlam uzunluğu ikiye katlanarak 4.096 belirtece çıkarıldı ve otoregresif kod çözmeyi hızlandırmak için 34B ile 70B modellerine Grouped-Query Attention (GQA) eklendi.
Kalite Odaklı SFT: Milyonlarca gürültülü üçüncü taraf örneğine kıyasla, özenle seçilmiş on binlerce kaliteli etiketlemenin daha üstün performans gösterdiğini kanıtladı ve SFT verisi 27.540 seçilmiş örnekle sınırlandırıldı.
Çift Ödül Modellemesi: Güvenlik kısıtlamalarının yardımseverliği düşürdüğü optimizasyon gerilimini önlemek için biri Yardımseverlik (Helpfulness), diğeri Güvenlik (Safety) için olmak üzere iki ayrı ödül modeli eğitildi.
İki Aşamalı RLHF Hizalaması: 70B modelinden damıtılan yinelemeli Reddetme Örneklemesi (Rejection Sampling) ince ayarı ile ardından uygulanan Proximal Policy Optimization (PPO) bir araya getirildi.
Ghost Attention (GAtt): Talimatların unutulmasını önleyerek 20'den fazla konuşma turu boyunca sistem talimatlarının kalıcı olmasını sağlamak için çok turlu diyaloglara uygulanan bir bağlam damıtma (context distillation) tekniği.

Yöntem

Ön Eğitim Mimarisi

Llama 2; RMSNorm ön normalizasyonu, SwiGLU aktivasyonları ve döner konumsal gömmeleri (RoPE) içeren otoregresif bir transformer mimarisi kullanır; daha büyük ölçeklere (34B ve 70B) GQA eklenmiştir. Modeller AdamW ( $β_{1} = 0.9, β_{2} = 0.95$ ), %10'a kadar düşen kosinüs öğrenme oranı azalması, 0,1 ağırlık azalması (weight decay) ve 1,0 gradyan kırpma ile eğitilmiştir.

Ödül Modellemesi

İnsan etiketleyiciler, örneklenen iki yanıt arasında 4 puanlık bir ölçekte karşılaştırmalı tercihler sunar. Ödül modelleri, önceden eğitilmiş sohbet denetim noktalarından (checkpoint) başlatılır ve marjin artırımlı ikili sıralama kaybı (margin-augmented binary ranking loss) ile optimize edilir: $L_{ranking} = - lo g (σ (r_{θ} (x, y_{c}) - r_{θ} (x, y_{r}) - m (r)))$ burada $x$ istem bağlamı, $y_{c}$ tercih edilen yanıt, $y_{r}$ reddedilen yanıt ve $m (r)$ etiketleyici tercihinin yoğunluğuna bağlı ayrık bir marjindir.

RLHF Hedefleri

Optimizasyon, Reddetme Örneklemesi (en son ilkeden (policy) $K$ adet tamamlama örnekleyip en yüksek ödüllü tamamlamayı seçme) ve PPO ile gerçekleştirilir. PPO hedefi, beklenen ödülü en üst düzeye çıkarırken ilk ilke olan $π_{0}$ 'a göre KL ıraksaması yoluyla ilkeden sapmayı cezalandırır: $R (g ∣ p) = \tilde{R}_{c} (g ∣ p) - β D_{KL} (π_{θ} (g ∣ p) ∥ π_{0} (g ∣ p))$ burada $\tilde{R}_{c} (g ∣ p)$ , güvenlik ( $R_{s}$ ) ve yardımseverlik ( $R_{h}$ ) ödül modellerinin beyazlatılmış (whitened) ve logit dönüşümü uygulanmış parçalı birleşimidir: $R_{c} (g ∣ p) = {R_{s} (g ∣ p) R_{h} (g ∣ p) e \overset{g}{˘} er \textsc i s_s a f e t y (p) veya R_{s} (g ∣ p) < 0.15 ise aksi halde$

Ghost Attention (GAtt)

Çok turlu tutarlılığı zorlamak için, mevcut bir diyalogtaki her kullanıcı istemine sentetik olarak $in s t$ talimatı eklenir. Yanıtlar en son ilkeden örneklenir, ancak çıkarım anında $in s t$ yalnızca ilk turda tutulurken, kayıp (loss) sadece hedef turun belirteçleri üzerinden hesaplanır (önceki turlardaki kayıplar sıfırlanır).

Sonuçlar

Temel Model Kıyaslamaları: Llama 2 70B, MMLU'da 68,9 (5-shot), GSM8K'da 56,8 (8-shot) ve Big-Bench Hard'da 51,2 (3-shot) skorları alarak tüm açık kaynaklı temel modelleri geride bırakmış, GPT-3.5 ve PaLM-540B ile rekabet edebilir düzeye ulaşmıştır.
İnsan Diyalog Değerlendirmeleri: Yaklaşık 4.000 istemi kapsayan insan değerlendirmelerinde Llama 2-Chat 70B, ChatGPT'ye (gpt-3.5-turbo-0301) karşı %36 kazanma ve %31,5 beraberlik oranı yakalamıştır. Llama 2-Chat 34B, Vicuna-33B ve Falcon 40B ile yapılan bire bir karşılaştırmaların %75'inden fazlasını kazanmıştır.
Güvenlik ve Toksiklik: Güvenlik hizalaması yapılmış Llama 2-Chat, ToxiGen üzerindeki toksik üretim oranını %24,60'tan (temel 70B) %0,01'e düşürmüş ve kırmızı takım insan kıyaslamalarında ChatGPT ve Falcon'a kıyasla daha düşük güvenlik ihlali oranları sergilemiştir.

Kısıtlamalar ve açık sorular

Kodlama ve Karmaşık Akıl Yürütme: Llama 2 70B, kodlama kıyaslamalarında GPT-4 ve PaLM-2-L'nin oldukça gerisinde kalmaktadır (GPT-4 için %67,0 olan HumanEval pass@1 skoru Llama 2 70B için %29,9'dur).
Dil Kapsamı: Ön eğitim verilerinin yaklaşık %89,7'si İngilizcedir; bu durum modelin diğer dillerdeki performansını ve güvenlik hizalamasını kırılgan hale getirmektedir.
Hatalı Reddetmeler ve Aşırı Muhafazakarlık: Titiz güvenlik ince ayarı, sınırda kalan istemlerde hatalı retlere (false refusals) yol açmaktadır (örneğin, 'bomb' veya bir tatlı türü olan 'Christmas Crack' gibi kelimeleri içeren zararsız sorguların reddedilmesi).
34B Modelinin Gecikmesi: 34B varyantı, yayınlanma öncesinde kırmızı takım testlerine yeterli zaman ayrılamaması nedeniyle kamuya açık olarak sunulmamıştır.

Temel terimler

Grouped-Query Attention (GQA): KV önbellek bellek bant genişliğini azaltmak ve büyük modellerde çıkarım hızını artırmak için anahtar ve değer başlıklarını sorgu başlık grupları arasında paylaşan bir dikkat varyantı.
Reinforcement Learning with Human Feedback (RLHF): PPO ve reddetme örneklemesi yoluyla ilke optimizasyonuna rehberlik eden ödül modellerini eğitmek için insan ikili tercihlerini kullanan bir hizalama prosedürü.
Rejection Sampling fine-tuning: İstem başına birden fazla aday örnekleyen, ödül modeline göre en yüksek puanı alan çıktıyı seçen ve bunu denetimli gradyan güncellemeleri için referans olarak kullanan bir teknik.
Ghost Attention (GAtt): İstem bağlamını ayarlayarak ve ara belirteç kaybını maskeleyerek çok turlu diyaloglar boyunca talimatları sentetik olarak koruyan bir ince ayar yöntemi.
Safety RM and Helpfulness RM: Optimizasyon ödünleşimlerini önlemek için güvenliğe dayalı saldırgan ve genel yardımseverlik karşılaştırmaları üzerinde ayrı ayrı eğitilmiş iki farklı ödül modeli.
Context Distillation: Bir güvenlik ön istemine dayalı model tamamlamaları üreten ve ardından temel modeli bu ön istem olmadan çıktılar üzerinde ince ayarlayan bir teknik.
False Refusal: Aşırı duyarlı güvenlik sezgiselleri veya tetikleyici kelimeler nedeniyle modelin meşru ve güvenli bir kullanıcı istemini yanıtlamayı reddettiği hatalı bir davranış.
Inter-Rater Reliability (IRR): Güvenlik ve yardımseverliği değerlendiren insan etiketleyiciler arasındaki uyum düzeyini ölçen (Gwet'in AC1/2'si kullanılarak değerlendirilen) istatistiksel bir ölçüm.

Sorular

Llama 2'nin hangi parametre boyutları herkese açık olarak yayınlandı?

Meta, hem temel Llama 2 hem de diyalog için optimize edilmiş Llama 2-Chat için 7B, 13B ve 70B parametreli varyantları yayınladı; 34B varyantı makalede değerlendirildi ancak kırmızı takım testlerindeki zaman kısıtlamaları nedeniyle yayınlanmadı.

Llama 2, ön eğitim verileri ve mimari açısından Llama 1'den nasıl farklıdır?

Llama 2, 2,0 trilyon belirteç üzerinde eğitildi (Llama 1'den %40 daha fazla), bağlam penceresini iki katına çıkararak 4.096 belirtece yükseltti ve 34B ile 70B yapılandırmaları için Grouped-Query Attention (GQA) ekledi.

Yazarlar neden ayrı güvenlik ve yardımseverlik ödül modelleri eğitti?

Yardımseverlik ve güvenlik, tercih modellemesi sırasında sıklıkla birbiriyle çelişir (örneğin, güvenli olmayan bir talebi yerine getirmek yardımseverdir ancak kuralları ihlal eder). Bunları birbirinden ayırmak, bağımsız optimizasyon sağlar ve bir hedefin diğerini olumsuz etkilemesini önler.

Ghost Attention (GAtt), çok turlu diyaloglarda talimatların unutulmasını nasıl önler?

GAtt, sistem talimatını sentetik çok turlu sohbetlerdeki kullanıcı turlarına ekler, yanıtları örnekler ve talimatı ara turlardan çıkararak kaybı yalnızca hedef tura uygular; böylece dikkat katmanlarına uzun diyaloglar boyunca ilk sistem mesajına odaklanmayı öğretir.

Bu sayfadaki açıklama yapay zekâ tarafından makaleden yazılmıştır ve hata içerebilir. Ayrıntılar için makaleyi okuyun.

Çeviri ve yapay zekâ ile oku