Finetuned Language Models Are Zero-Shot Learners

Okuma rehberi

Problem ve motivasyon

Büyük dil modelleri (örneğin GPT-3 175B), bağlam içi örneklerden (in-context exemplars) yararlanarak az vuruşlu öğrenmede (few-shot learning) üstün başarı gösterir. Ancak sıfır vuruşlu (zero-shot) yetenekleri; okuduğunu anlama, doğal dil çıkarımı (NLI) ve soru yanıtlama gibi karmaşık NLP kıyaslamalarında oldukça zayıf kalmaktadır. Ayarlanmamış modeller, ön eğitim verilerinin devamı olarak biçimlendirilmiş istemlere dayanır; bu da tipik olarak açık talimatlar veya sorgular şeklinde ifade edilen görevler için doğal olmayan ve kırılgan bir formattır.

Yazarlar, doğal dil talimatları olarak açıkça ifade edilmiş geniş ve çeşitli bir NLP görevleri koleksiyonu üzerinde denetimli ince ayar (supervised finetuning) yapmanın, çıkarım anında dil modellerinin tamamen görülmemiş görev türlerine sıfır vuruşla genelleme yapmasını sağlayıp sağlamadığını araştırmaktadır.

Temel fikirler

• Instruction Tuning (Talimatla Ayarlama): Mevcut NLP veri kümelerini doğal dil istem şablonları kullanarak talimat-yanıt formatlarına dönüştürmek; çok görevli denetim (multitask supervision) ile istem tabanlı öğrenmeyi (prompting) birleştirmek.
• Task Cluster Holdout (Görev Kümesi Ayırma): Veri kümelerini tematik kümeler (ör. NLI, Closed-Book QA, Translation, Sentiment) halinde gruplandırmak. Hedeflenen bir $\mathcal{D}$ kümesi üzerinde sıfır vuruş genellemesi test edilirken, gerçek bir sıfır vuruşlu görevler arası değerlendirmeyi garanti etmek adına $\mathcal{D}$'ye (ve onunla yakından ilişkili kümelere) ait tüm veri kümeleri eğitimden hariç tutulur.
• Classification with Options (Seçenekli Sınıflandırma): Sınıflandırma görevlerinde, doğrudan istemin sonuna geçerli aday etiketleri listeleyen bir OPTIONS: soneki eklemek; böylece üretici modelin çıktı dağılımını salt logit sıralama karşılaştırmalarıyla sınırlamadan yönlendirmek.

Yöntem

Temel model, web belgeleri, kod, Wikipedia ve diyalog verilerinden (yaklaşık %10'u İngilizce dışı) oluşan 2.49T BPE belirteci üzerinde önceden eğitilmiş, 137 milyar parametreli yoğun, soldan sağa, yalnızca kod çözücüden (decoder-only) oluşan bir dönüştürücü olan LaMDA-PT'dir.

1. Veri Toplama: TensorFlow Datasets'ten alınan 62 veri kümesi 12 kümede toplanır. Her veri kümesi için 10 benzersiz doğal dil talimat şablonu oluşturulur (duygu verildiğinde metin üretmek gibi en fazla 3 'tersine çevrilmiş' şablon dahil).
2. Eğitim Kurulumu: Veri kümesi başına eğitim örnekleri 30 bin ile sınırlandırılmıştır. Büyük veri kümelerinin baskın gelmesini önlemek için maksimum 3.000 karıştırma oranı sınırına sahip, örneklerle orantılı bir karıştırma şeması kullanılarak yığınlar (batch) oluşturulur. Eğitim; Adafactor optimize edici (öğrenme oranı $3\times 10^{-5}$), 1024 (girdi) ve 256 (hedef) dizi uzunluğu ve dizi paketleme (sequence packing) kullanılarak 8.192 belirteçlik yığın boyutu ile 30 bin gradyan adımında gerçekleştirilir.
3. Değerlendirme Protokolü: Ayrılmış $c$ küme üzerinde değerlendirme yapmak için $c$ farklı FLAN modeli eğitilir. Performans, hem tüm talimat şablonlarının ortalaması olarak hem de bir doğrulama kümesinde seçilen en iyi şablonla raporlanır.
4. Az Vuruşlu Örneklerle Çıkarım: $k$ adet örnek $(x_i,y_i)$ mevcut olduğunda girdiler şu şekilde biçimlendirilir: $$\text{instruct}(x_1)\oplus y_1\oplus \text{instruct}(x_2)\oplus y_2\oplus \cdots \oplus \text{instruct}(x_k)\oplus y_k\oplus \text{instruct}(x)$$ burada $\oplus$, 16 örnek ve 960 belirteç ile sınırlandırılmış, bir ayırıcı belirteçle birleştirmeyi temsil eder.

Bulgular

• GPT-3 ile Sıfır Vuruş Karşılaştırması: En iyi geliştirme (dev) şablonu kullanıldığında, sıfır vuruşlu FLAN 137B, değerlendirilen 25 karşılaştırmanın 20'sinde sıfır vuruşlu GPT-3 175B'yi geride bırakır ve ANLI R1–R3, RTE, BoolQ, OpenbookQA ve StoryCloze dahil olmak üzere 10 veri kümesinde az vuruşlu GPT-3'ü geçer.
• Görev Türleri: Doğal olarak talimat şeklinde formüle edilen görevlerde (ör. NLI, okuduğunu anlama, kapalı uçlu QA, çeviri) büyük kazanımlar elde edilir. RTE'de FLAN %84,1 (en iyi geliştirme şablonu) elde ederken, sıfır vuruşlu GPT-3 %63,5 ve az vuruşlu GPT-3 %72,9 alır. BoolQ'da FLAN, GPT-3'ün %60,5 sıfır vuruş ve %77,5 az vuruş oranına kıyasla %82,9'a ulaşır.
• Ölçek Bağımlılığı: 422M, 2B, 8B, 68B ve 137B parametreleri üzerindeki ablasyonlar, talimatla ayarlamanın $\le 8\text{B}$ parametreli modellerde görülmemiş görevlerdeki sıfır vuruş genellemesine zarar verdiğini ortaya koymaktadır. Olumlu aktarım yalnızca büyük ölçekte ($\sim 68\text{B}$ ve $137\text{B}$) ortaya çıkmaktadır.
• Talimatların Önemi: Talimat şablonu olmadan (yalnızca girdi-çıktı: 4 küme ortalaması %37,3) veya yalnızca veri kümesi adlarıyla (%46,6) ince ayar yapmak, doğal talimatlara (%55,2) göre önemli ölçüde daha düşük sıfır vuruş performansı verir.
• İstem Ayarlama Uyumluluğu (Prompt Tuning Compatibility): FLAN'e uygulanan parametre açısından verimli istem ayarlama, özellikle 32 örnekli düşük kaynaklı rejimlerde, ayarlanmamış LaMDA-PT temel modeline kıyasla daha yüksek SuperGLUE doğruluğu sağlar.

Kısıtlamalar ve açık sorular

• Cümle Tamamlama Görevleri: Talimatla ayarlama, Winogrande veya sağduyusal akıl yürütmedeki cümle tamamlama gibi talimatların gereksiz kaldığı dil modelleme tarzı görevlerde minimum fayda sağlar (ve bazen performansı düşürür).
• Talimat Karmaşıklığı: Makale, insan değerlendiricilere verilen uzun ve ayrıntılı yönergeler yerine yalnızca kısa, tek cümlelik talimatları incelemektedir.
• Bağlam Penceresi ve Hesaplama Maliyeti: FLAN'in 1024 belirteçlik bağlam uzunluğu, özetleme görevlerinin titizlikle değerlendirilmesini engellemiştir. Ayrıca 137B parametreli yoğun bir modeli çalıştırmak ve sunmak yüksek hesaplama kaynakları gerektirir.