BERT: Dil Anlama için Derin Çift Yönlü Transformer'ların Ön Eğitimi

Okuma rehberi

Problem ve motivasyon

Önceki dil temsil modelleri ya özellik tabanlı yaklaşımlara (ELMo gibi) ya da ince ayar (fine-tuning) yaklaşımlarına (OpenAI GPT gibi) dayanıyordu. Her iki paradigma da etkili olmakla birlikte tek yönlü dil modelleme hedefleri nedeniyle kısıtlıydı: standart otoregresif modeller metni kesin bir şekilde soldan sağa (veya sağdan sola) işler. Tek yönlü modellerde, çok katmanlı bağlamlarda kelimelerin önemsiz bir şekilde "kendilerini görmelerini" engellemek amacıyla, özdikkat katmanlarındaki belirteçler yalnızca önceki belirteçlere dikkat edebilir. ELMo, ayrı olarak eğitilmiş soldan sağa ve sağdan sola LSTM'leri yüzeysel olarak birleştirerek çift yönlülük sağlamayı denemiştir; ancak bu yöntem, her katmanda çift yönlü bağlama derinlemesine ve ortaklaşa koşullanmayı yakalayamaz. Bu tek yönlülük cümle düzeyindeki temsilleri sınırlar ve özellikle soru yanıtlama gibi hem sol hem de sağ bağlamın aynı anda anlaşılmasının kritik olduğu belirteç düzeyindeki aşağı akış görevleri için son derece zararlıdır.

Temel fikirler

• Derin Çift Yönlü Transformer Mimarisi: BERT, çok katmanlı çift yönlü bir Transformer kodlayıcı kullanarak özdikkat katmanlarının tüm katmanlar boyunca hem sol hem de sağ bağlama ortaklaşa koşullanmasını sağlar.
• Maskelenmiş Dil Modeli (MLM): Cloze görevinden esinlenen BERT, girdi belirteçlerinin %15'ini rastgele maskeler ve modeli bağlamlarını kullanarak maskelenmiş belirteçleri tahmin edecek şekilde eğitir; böylece "kendini görme" sorununu çözer.
• Ön Eğitim/İnce Ayar Uyuşmazlığını Azaltma: [MASK] belirteçleri ince ayar sırasında görünmediğinden, seçilen %15'lik belirteçler zamanın %80'inde [MASK] ile değiştirilir, %10'unda rastgele bir belirteçle değiştirilir ve %10'unda değiştirilmeden bırakılır.
• Sonraki Cümle Tahmini (NSP): Doğal Dil Çıkarımı (NLI) ve Soru Yanıtlama (QA) için kritik olan cümle çifti ilişkilerini yakalamak amacıyla BERT, $B$ cümlesinin $A$ cümlesini doğal olarak takip edip etmediğini ($IsNext$) veya derlemden rastgele bir cümle olup olmadığını ($NotNext$) tahmin eden ikili bir görev üzerinde ön eğitime tabi tutulur.
• Aşağı Akış Görevleri için Birleşik Mimari: Birebir aynı önceden eğitilmiş mimari, minimum ek parametre ile (örneğin basit bir doğrusal sınıflandırma başlığı veya başlangıç/bitiş aralık işaretçileri) aşağı akış görevleri için yeniden kullanılır.

Yöntem

Model Yapılandırması

BERT öncelikli olarak iki boyutta değerlendirilir:

• ${\text{BERT}}_{\text{BASE}}$: $L=12$ katman, $H=768$ gizli boyut, $A=12$ dikkat başlığı, toplam parametre = $110\text{M}$.
• ${\text{BERT}}_{\text{LARGE}}$: $L=24$ katman, $H=1024$ gizli boyut, $A=16$ dikkat başlığı, toplam parametre = $340\text{M}$. İleri beslemeli filtre boyutları $4H$'dir.

Girdi ve Çıktı Temsilleri

Girdiler tek bir metin dizisini veya birlikte paketlenmiş bir çift cümleyi temsil edebilir. Gömme temsilleri şunlar toplanarak oluşturulur:

1. WordPiece belirteç gömmeleri (30.000 belirteçlik sözlük).
2. Segment gömmeleri (bir belirtecin $A$ cümlesine mi yoksa $B$ cümlesine mi ait olduğunu tanımlayan öğrenilmiş gömme).
3. Öğrenilmiş konumsal gömmeler.

Her dizi [CLS] ile başlar. Bunun nihai gizli vektörü $C\in {\mathbb{R}}^H$, dizinin toplu temsilini ifade eder. Cümle çiftleri [SEP] ile ayrılır. Belirteçlerin nihai gizli temsilleri $T_i\in {\mathbb{R}}^H$ olarak gösterilir.

Ön Eğitim Hedefleri

1. Maskelenmiş LM: Maskelenmiş $i$ belirteci verildiğinde, $T_i$ temsili çapraz entropi kaybı ile sözlük üzerindeki bir softmax katmanına beslenir: $${\mathcal{L}}_{\text{MLM}}=-\log P(w_i\mid T_i)$$
2. Sonraki Cümle Tahmini: Toplu vektör $C$ ikili sınıflandırmaya beslenir: $${\mathcal{L}}_{\text{NSP}}=-\log P(\text{IsNext}\mid C)$$ Genel ön eğitim kaybı, ortalama maskelenmiş LM olabilirlik değeri ile ortalama sonraki cümle tahmini olabilirlik değerinin toplamıdır.

İnce Ayar Uyarlamaları

• Sınıflandırma (GLUE): Bir $W\in {\mathbb{R}}^{K\times H}$ projeksiyon matrisi eklenerek kayıp $\log (\text{softmax}(C{W}^T))$ olarak hesaplanır.
• Aralık Çıkarımı (SQuAD v1.1): Başlangıç vektörü $S\in {\mathbb{R}}^H$ ve bitiş vektörü $E\in {\mathbb{R}}^H$ öğrenilir. $i$ belirtecinin cevap aralığının başlangıcı olma olasılığı şöyledir: $$P_i=\frac{e^{S\cdot T_i}}{{\sum }_j{e}^{S\cdot T_j}}$$ $(i,j)$ aralığının skoru $S\cdot T_i+E\cdot T_j$ olup, $j\ge i$ üzerinden maksimize edilir.
• Cevaplanamayan Sorular (SQuAD v2.0): [CLS] belirtecinin boş cevap aralığı olarak işlev görmesine izin verilerek genişletilmiştir; $s_{\text{null}}=S\cdot C+E\cdot C$ olarak puanlanır ve yalnızca ${\hat{s}}_{i,j}>s_{\text{null}}+\tau$ olduğunda boş olmayan bir cevap tahmin edilir.

Sonuçlar

BERT, 11 NLP görevi genelinde değerlendirilmiştir:

• GLUE Sıralaması: ${\text{BERT}}_{\text{LARGE}}$, ortalama %80,5 GLUE skoru (önceki son teknolojiye göre %7,7 mutlak iyileşme) ve MNLI üzerinde %86,7 doğruluk (%4,6 mutlak kazanç) elde etti.
• SQuAD v1.1: ${\text{BERT}}_{\text{LARGE}}$, tek bir model olarak Dev kümesinde 84,1 EM ve 90,9 F1 skoru elde etti; TriviaQA ön eğitimi içeren bir topluluk modeli Test kümesinde 87,4 EM ve 93,2 F1 skoruna ulaşarak insan performansını (82,3 EM / 91,2 F1) geride bıraktı.
• SQuAD v2.0: ${\text{BERT}}_{\text{LARGE}}$, Test kümesinde 80,0 EM ve 83,1 F1 skoruna ulaşarak önceki en iyi sistemi +5,1 F1 puanı ile aştı.
• SWAG: ${\text{BERT}}_{\text{LARGE}}$, Test kümesinde %86,3 doğruluk elde ederek OpenAI GPT (%78,0) ve insan uzman taban çizgisini (%85,0) geçti.
• Ablasyon Bulguları: NSP'nin kaldırılması MNLI (-%0,5), QNLI (-%3,5) ve SQuAD F1 (-0,6) genelinde performansı düşürdü. MLM yerine standart Soldan Sağa (LTR) bir LM kullanılması, SQuAD (-10,7 F1) ve MRPC'de (-%9,2 doğruluk) büyük düşüşlere neden oldu.

Sınırlılıklar ve açık sorular

• Ön Eğitim / İnce Ayar Uyuşmazlığı: Yapay [MASK] belirteci ince ayar sırasında hiçbir zaman görünmez; bu da uyuşmazlığı azaltmak için sezgisel değiştirme kuralları (80/10/10) gerektirir.
• Ön Eğitim Verimliliği: BERT, standart otoregresif modellerdeki belirteçlerin %100'ü yerine yığın başına yalnızca %15'ini tahmin ettiğinden, yakınsamak için daha fazla ön eğitim adımı (128.000 belirteç/yığın ile 1.000.000 adım) gerektirir.
• Karesel Dikkat Darboğazı: Standart Transformer dikkati dizi uzunluğu ile karesel ($O(N^2)$) olarak ölçeklenir; bu da uzun dizileri maliyetli hale getirir ve iki aşamalı bir ön eğitim stratejisi gerektirir (adımların %90'ı 128 dizi uzunluğunda, %10'u 512 uzunluğunda).
• Metin Üretimine Uygulanamama: Çift yönlü bir kodlayıcı olan BERT, doğrudan temsil ve ayırt edici (discriminative) aşağı akış görevleri için yapılandırılmıştır; mimari değişiklikler yapılmadan soldan sağa otoregresif üretim gerçekleştiremez.