BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Panduan membaca

Masalah dan motivasi

Model representasi bahasa terdahulu bergantung pada pendekatan berbasis fitur (seperti ELMo) atau pendekatan fine-tuning (seperti OpenAI GPT). Meskipun efektif, kedua paradigma tersebut dibatasi oleh objektif pemodelan bahasa searah: model autoregresif standar memproses teks secara ketat dari kiri-ke-kanan (atau kanan-ke-kiri). Dalam model searah, token hanya dapat memperhatikan token sebelumnya pada lapisan self-attention untuk mencegah kata "melihat dirinya sendiri" secara trivial di sepanjang konteks multi-lapisan. ELMo mencoba menerapkan sifat dua arah dengan menggabungkan LSTM kiri-ke-kanan dan kanan-ke-kiri yang dilatih secara terpisah secara dangkal, tetapi cara ini gagal menangkap pengondisian bersama yang mendalam pada konteks dua arah di setiap lapisan. Karakter searah ini membatasi representasi tingkat kalimat dan sangat merugikan untuk tugas hilir tingkat token seperti question answering, di mana pemahaman konteks kiri dan kanan secara simultan sangatlah penting.

Ide utama

• Arsitektur Deep Bidirectional Transformer: BERT menggunakan enkoder Transformer dua arah multi-lapisan, yang memungkinkan lapisan self-attention untuk mengondisikan konteks kiri dan kanan secara bersamaan di semua lapisan.
• Masked Language Model (MLM): Terinspirasi oleh tugas Cloze, BERT secara acak menyamarkan (mask) 15% dari token masukan dan melatih model untuk memprediksi token yang disamarkan tersebut menggunakan konteksnya, menyelesaikan masalah trivialitas "melihat dirinya sendiri".
• Mitigasi Ketidakcocokan Pra-pelatihan/Fine-tuning: Karena token [MASK] tidak muncul selama fine-tuning, 15% token yang dipilih diganti dengan [MASK] sebanyak 80% dari waktu, token acak sebanyak 10% dari waktu, dan dibiarkan tidak berubah sebanyak 10% dari waktu.
• Next Sentence Prediction (NSP): Untuk menangkap hubungan pasangan kalimat yang krusial bagi Natural Language Inference (NLI) dan Question Answering (QA), BERT melakukan pra-pelatihan pada tugas biner yang memprediksi apakah kalimat $B$ secara alami mengikuti kalimat $A$ ($IsNext$) atau merupakan kalimat acak dari korpus ($NotNext$).
• Arsitektur Terpadu untuk Tugas Hilir: Arsitektur pra-pelatihan yang sama persis digunakan kembali untuk tugas hilir dengan penambahan parameter minimal (misalnya, head klasifikasi linear sederhana atau penunjuk rentang awal/akhir).

Metode

Konfigurasi Model

BERT dievaluasi terutama pada dua ukuran:

• ${\text{BERT}}_{\text{BASE}}$: $L=12$ lapisan, ukuran tersembunyi $H=768$, $A=12$ attention head, total parameter = $110\text{M}$.
• ${\text{BERT}}_{\text{LARGE}}$: $L=24$ lapisan, ukuran tersembunyi $H=1024$, $A=16$ attention head, total parameter = $340\text{M}$. Ukuran filter feed-forward adalah $4H$.

Representasi Masukan dan Keluaran

Masukan dapat merepresentasikan satu sekuens teks tunggal atau sepasang kalimat yang dikemas bersama. Embedding dibangun dengan menjumlahkan:

1. Token embedding WordPiece (kosakata 30.000 token).
2. Segment embedding (embedding yang dipelajari untuk mengidentifikasi apakah sebuah token berasal dari kalimat $A$ atau kalimat $B$).
3. Positional embedding yang dipelajari.

Setiap sekuens dimulai dengan [CLS]. Vektor tersembunyi akhirnya, $C\in {\mathbb{R}}^H$, merepresentasikan agregat sekuens. Pasangan kalimat dipisahkan oleh [SEP]. Representasi tersembunyi token akhir dilambangkan dengan $T_i\in {\mathbb{R}}^H$.

Objektif Pra-pelatihan

1. Masked LM: Diberikan token yang disamarkan $i$, representasi $T_i$ diumpankan ke softmax atas seluruh kosakata dengan cross-entropy loss: $${\mathcal{L}}_{\text{MLM}}=-\log P(w_i\mid T_i)$$
2. Next Sentence Prediction: Vektor agregat $C$ diumpankan ke klasifikasi biner: $${\mathcal{L}}_{\text{NSP}}=-\log P(\text{IsNext}\mid C)$$ Loss pra-pelatihan keseluruhan adalah jumlah dari rata-rata likelihood masked LM dan rata-rata likelihood next sentence prediction.

Adaptasi Fine-tuning

• Klasifikasi (GLUE): Menambahkan matriks proyeksi $W\in {\mathbb{R}}^{K\times H}$, loss dihitung sebagai $\log (\text{softmax}(C{W}^T))$.
• Ekstraksi Rentang (SQuAD v1.1): Mempelajari vektor awal $S\in {\mathbb{R}}^H$ dan vektor akhir $E\in {\mathbb{R}}^H$. Probabilitas bahwa token $i$ adalah awal dari rentang jawaban adalah: $$P_i=\frac{e^{S\cdot T_i}}{{\sum }_j{e}^{S\cdot T_j}}$$ Skor untuk rentang $(i,j)$ adalah $S\cdot T_i+E\cdot T_j$, yang dimaksimalkan atas $j\ge i$.
• Pertanyaan Tanpa Jawaban (SQuAD v2.0): Diperluas dengan mengizinkan token [CLS] berfungsi sebagai rentang jawaban null, mencetak skor $s_{\text{null}}=S\cdot C+E\cdot C$, dan memprediksi jawaban non-null hanya jika ${\hat{s}}_{i,j}>s_{\text{null}}+\tau$.

Hasil

BERT dievaluasi pada 11 tugas NLP:

• Papan Peringkat GLUE: ${\text{BERT}}_{\text{LARGE}}$ mencapai skor rata-rata GLUE sebesar 80,5% (peningkatan absolut 7,7% dibandingkan model mutakhir sebelumnya) dan akurasi 86,7% pada MNLI (keuntungan absolut 4,6%).
• SQuAD v1.1: ${\text{BERT}}_{\text{LARGE}}$ mencapai 84,1 EM dan 90,9 F1 pada Dev sebagai model tunggal; ansambel dengan pra-pelatihan TriviaQA mencapai 87,4 EM dan 93,2 F1 pada Test set, melampaui performa manusia (82,3 EM / 91,2 F1).
• SQuAD v2.0: ${\text{BERT}}_{\text{LARGE}}$ mencapai 80,0 EM dan 83,1 F1 pada Test set, melampaui sistem terbaik sebelumnya sebesar +5,1 F1.
• SWAG: ${\text{BERT}}_{\text{LARGE}}$ mencetak akurasi 86,3% pada Test, mengungguli OpenAI GPT (78,0%) dan baseline pakar manusia (85,0%).
• Temuan Ablasi: Menghapus NSP menurunkan performa di seluruh MNLI (-0,5%), QNLI (-3,5%), dan F1 SQuAD (-0,6%). Mengganti MLM dengan LM Kiri-ke-Kanan (LTR) standar menyebabkan penurunan besar pada SQuAD (-10,7 F1) dan MRPC (akurasi -9,2%).

Keterbatasan dan pertanyaan terbuka

• Kesenjangan Pra-pelatihan / Fine-tuning: Token buatan [MASK] tidak pernah muncul selama fine-tuning, sehingga memerlukan aturan penggantian heuristik (80/10/10) untuk memitigasi ketidakcocokan.
• Efisiensi Pra-pelatihan: Karena BERT hanya memprediksi 15% token per batch alih-alih 100% token seperti pada model autoregresif standar, model ini memerlukan lebih banyak langkah pra-pelatihan (1.000.000 langkah dengan 128.000 token/batch) untuk konvergen.
• Bottleneck Komputasi Kuadratik Attention: Perhatian Transformer standar berskala kuadratik ($O(N^2)$) terhadap panjang sekuens, membuat sekuens panjang memakan biaya komputasi besar dan memerlukan strategi pra-pelatihan dua fase (90% langkah pada panjang sekuens 128, 10% langkah pada 512).
• Ketidaksesuaian untuk Pembangkitan Teks: Sebagai enkoder dua arah, BERT secara langsung distrukturkan untuk tugas representasi dan diskriminatif pada tahap hilir, serta tidak dapat melakukan pembangkitan teks autoregresif kiri-ke-kanan secara langsung tanpa modifikasi arsitektur.