GPT-4 Teknik Raporu

Okuma rehberi

Problem ve motivasyon

Büyük dil modelleri (LLM'ler) doğal dil işleme genelinde umut vadetse de önceki sürümler (örneğin GPT-3.5); karmaşık akıl yürütme, güvenilirlik, olgusal doğruluk ve güvenlik konularında belirgin zayıflıklar sergilemiştir. Dahası, çok büyük öncü modellerin eğitimi, nihai ölçekte standart hiperparametre ayarının imkânsız olduğu muazzam hesaplama bütçeleri gerektirir. GPT-4'ün hedefi; öngörülebilir ölçeklenme davranışını korurken ve güvenlik ile uyumlamayı (alignment) büyük ölçüde artırırken, görüntü ve metin girdilerinin keyfi karışımlarını işleyebilen büyük ölçekli, çok modlu bir model inşa etmektir.

Temel fikirler

• Öngörülebilir Ölçeklenme (Predictable Scaling): Optimizasyon süreçleri ve mimariler, nihai test kaybı ve aşağı yönlü kodlama değerlendirmeleri (HumanEval geçme oranları gibi) $1.000\times$ ila $10.000\times$ daha az işlem gücüyle eğitilen daha küçük modellerden güvenilir bir şekilde tahmin edilebilecek şekilde stabilize edilebilir.
• Çok Modlu Anlama (Multimodal Understanding): GPT-4, keyfi olarak ardışık eklenmiş görüntü ve metinleri kabul eder; salt dil değerlendirmelerinden ödün vermeden grafikler, diyagramlar, sınav soruları ve görsel mizah üzerinde karmaşık akıl yürütmeler gerçekleştirebilir.
• Hedefli Eğitim Sonrası Süreçle Desteklenen Ön Eğitim Üstünlüğü: Temel modelin ön eğitimi, ana akıl yürütme ve sınav bilgisini sağlar (temel ve RLHF çoktan seçmeli ortalamaları %73,7'ye karşılık %74,0 ile neredeyse eşittir); RLHF ve kural tabanlı kontroller ise güvenlik, biçimlendirme ve olgusallığı yönlendirir.
• Kural Tabanlı Ödül Modelleri (RBRMs - Rule-Based Reward Models): Uyumlama; izin verilmeyen istemlerin uygun şekilde reddedilmesini sağlamak ve güvenli istemlerde aşırı kaçınmayı (over-hedging) azaltmak amacıyla RLHF sırasında hedeflenmiş yardımcı ödüller sunan model destekli güvenlik sınıflandırıcılarına dayanır.

Yöntem (temel denklemlerle)

GPT-4, herkese açık web verileri ve lisanslı veriler üzerinde bir sonraki belirteci tahmin etmek üzere önceden eğitilmiş, ardından Reinforcement Learning from Human Feedback (RLHF) uygulanmış Transformer tabanlı bir özbağlanımlı (autoregressive) modeldir.

1. Ölçeklenme Yasası Ekstrapolasyonu

Birincil çalıştırmada ampirik ayarlama yapmadan altyapı öngörülebilirliğini sağlamak için, dahili kod belirteçleri üzerindeki nihai kayıp, indirgenemez bir kayıp formülasyonu kullanılarak tahmin edilmiştir: $$L(C)=a{C}^b+c$$ burada $C$ normalize edilmiş işlem gücünü temsil eder; $a,b,c$ ise $10.000\times$'e kadar daha az işlem gücü kullanan çalıştırmalardan uyarlanan parametrelerdir.

HumanEval üzerindeki aşağı yönlü yetenek ölçeklenmesi için, $P$ problem alt kümeleri genelindeki ortalama logaritmik geçme oranı şu şekilde modellenmiştir: $$-{\mathbb{E}}_P[\log (pass\_rate(C))]=\alpha \cdot C^{-k}$$ bu formül, işlevsel kodlama performansının ön eğitim aşamasında kaydedilmesine olanak tanır.

2. Model Destekli Güvenlik Süreci

İnsan geri bildiriminin yanı sıra, RLHF optimizasyonu Rule-Based Reward Models (RBRMs) bileşenini içerir. Bir RBRM, şunları kabul eden bir zero-shot GPT-4 sınıflandırıcısıdır:

• Kullanıcı istemi (isteğe bağlı),
• Politika modeli tamamlaması,
• İnsan tarafından yazılmış bir yönerge (yanıtları; istenen ret, kaçamak/dağınık ret, güvenli yanıt veya izin verilmeyen içerik gibi kategorilere ayıran çok sınıflı bir rubrik).

Optimal RBRM ağırlıkları; politika modelini zararlı talepleri (örneğin KBRN tehditleri, siber saldırılar) reddederken ilişkili hassas konulardaki zararsız taleplere güvenilir bir şekilde yanıt verecek şekilde eğitmek için otomatik bir ödül sinyali sağlar.

Sonuçlar (en önemli sayılarla)

• Mesleki ve Akademik Sınavlar: GPT-4, Uniform Bar Examination sınavında 298/400 (90. yüzdelik dilim) puan almıştır (GPT-3.5 için bu değer 213/400 ve ~10. yüzdelik dilimdir). LSAT sınavında 163 (88. yüzdelik dilim) elde etmiş; AP Biology, AP Calculus BC (4), AP Chemistry (4) ve AP Art History (5) sınavlarında 5 üzerinden en yüksek puanları toplamıştır.
• Akademik NLP Değerlendirmeleri: GPT-4; 5-shot MMLU (%70,0 olan GPT-3.5'e kıyasla %86,4), 10-shot HellaSwag (%95,3), 25-shot ARC Challenge (%96,3) ve 0-shot HumanEval (%67,0) testlerinde yeni en son teknoloji (state-of-the-art) sonuçlarına imza atmıştır. 5-shot düşünce zinciri (chain-of-thought) GSM-8K testinde %92,0 başarı göstermiştir.
• Çok Dilli Yetkinlik: MMLU'nun 26 dile çevrilmiş versiyonlarında GPT-4; Letonca (%85,5), Galce (%71,4) ve Svahili (%82,6) gibi düşük kaynaklı diller de dahil olmak üzere 24 dilde GPT-3.5 ve PaLM'ın İngilizce temel performansını geride bırakmıştır.
• Güvenlik ve Olgusallık: GPT-4, dahili olgusallık değerlendirmelerinde en güncel GPT-3.5'ten 19 yüzdelik puan daha yüksek skor almıştır. İzin verilmeyen yanıt oranları %82 düşmüş, hassas taleplere uyum %29 artmış ve RealToxicityPrompts üzerindeki toksisite üretimi %6,48'den (GPT-3.5) %0,73'e gerilemiştir.

Sınırlılıklar ve açık sorular

• Halüsinasyonlar ve Kalibrasyon: Olgusal hatalardaki azalmaya rağmen GPT-4 hâlâ olguları uydurmakta (halüsinasyon) ve temel akıl yürütme hataları yapmaktadır. Önceden eğitilmiş temel model neredeyse kusursuz bir kalibrasyon sergilerken, RLHF eğitim sonrası süreci kalibrasyonu önemli ölçüde bozar ve uyumlanmış modelin yanlış olduğunda bile kendinden emin olmasına yol açar.
• Zamansal Bilgi Sınırı (Knowledge Cutoff): Ön eğitim verilerinin büyük çoğunluğu Eylül 2021'de son bulmaktadır; model dünya durumunu sürekli olarak güncellemez veya devam eden dağıtım etkileşimlerinden öğrenmez.
• Ters Ölçeklenme (Inverse Scaling) ve Jailbreak: Bazı sezgiye aykırı örüntüler yalnızca büyük ölçekte tersine döner (ör. Hindsight Neglect); ancak çekişmeli istemlere (adversarial prompting), sistem mesajı manipülasyonuna ve çok adımlı güvenlik açıklarına (jailbreak) karşı hassasiyet sürmektedir.
• Mimari Şeffaflık Eksikliği: Rekabet ve güvenlik gerekçeleriyle mimari özellikler (parametre sayısı, MoE tasarımı, veri kümesi boyutları, donanım ve tam işlem gücü) açıklanmamıştır.