BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Leseleitfaden

Problem und Motivation

Bisherige Sprachrepräsentationsmodelle stützten sich entweder auf merkmalsbasierte Ansätze (wie ELMo) oder Fine-Tuning-Ansätze (wie OpenAI GPT). Obwohl effektiv, waren beide Paradigmen durch unidirektionale Sprachmodellierungsziele eingeschränkt: Standardmäßige autoregressive Modelle verarbeiten Text strikt von links nach rechts (oder von rechts nach links). In unidirektionalen Modellen können Tokens in Self-Attention-Schichten nur auf vorherige Tokens zugreifen, um zu verhindern, dass Wörter sich über mehrschichtige Kontexte hinweg trivial "selbst sehen". ELMo versuchte Bidirektionalität durch flaches Konkatenieren separat trainierter Links-nach-Rechts- und Rechts-nach-Links-LSTMs zu erreichen, was jedoch eine tiefe, gemeinsame Konditionierung auf den bidirektionalen Kontext in jeder Schicht verfehlt. Diese Unidirektionalität limitiert Repräsentationen auf Satzebene und ist besonders nachteilig für Downstream-Aufgaben auf Token-Ebene wie Question Answering, bei denen das gleichzeitige Verstehen des linken und rechten Kontexts essenziell ist.

Kernideen

• Tiefe bidirektionale Transformer-Architektur: BERT nutzt einen mehrschichtigen bidirektionalen Transformer-Encoder, der es Self-Attention-Schichten ermöglicht, über alle Schichten hinweg gemeinsam auf den linken und rechten Kontext zu konditionieren.
• Masked Language Model (MLM): Inspiriert von der Cloze-Aufgabe maskiert BERT zufällig 15 % der Eingabe-Tokens und trainiert das Modell darauf, die maskierten Tokens anhand ihres Kontexts vorherzusagen, wodurch das Problem des trivialen "Sich-selbst-Sehens" gelöst wird.
• Milderung der Pre-train/Fine-tune-Diskrepanz: Da [MASK]-Tokens während des Fine-Tunings nicht vorkommen, werden die ausgewählten 15 % der Tokens zu 80 % durch [MASK] ersetzt, zu 10 % durch ein zufälliges Token und zu 10 % unverändert gelassen.
• Next Sentence Prediction (NSP): Um Beziehungen zwischen Satzpaaren zu erfassen, die für Natural Language Inference (NLI) und Question Answering (QA) entscheidend sind, wird BERT auf einer binarisierten Aufgabe vortrainiert, die vorhersagt, ob Satz $B$ natürlicherweise auf Satz $A$ folgt ($IsNext$) oder ein zufälliger Satz aus dem Korpus ist ($NotNext$).
• Einheitliche Architektur für Downstream-Aufgaben: Die exakt gleiche vortrainierte Architektur wird für Downstream-Aufgaben mit minimalen zusätzlichen Parametern wiederverwendet (z. B. ein einfacher linearer Klassifikationskopf oder Start-/End-Span-Zeiger).

Methode

Modellkonfiguration

BERT wird primär in zwei Größen evaluiert:

• ${\text{BERT}}_{\text{BASE}}$: $L=12$ Schichten, $H=768$ Hidden-Dimension, $A=12$ Attention-Köpfe, Gesamtzahl der Parameter = $110\text{M}$.
• ${\text{BERT}}_{\text{LARGE}}$: $L=24$ Schichten, $H=1024$ Hidden-Dimension, $A=16$ Attention-Köpfe, Gesamtzahl der Parameter = $340\text{M}$. Die Feed-Forward-Filtergrößen betragen $4H$.

Eingabe- und Ausgaberepräsentationen

Eingaben können eine einzelne Textsequenz oder ein zusammengepacktes Satzpaar darstellen. Embeddings werden konstruiert durch die Summation von:

1. WordPiece-Token-Embeddings (30.000 Token-Vokabular).
2. Segment-Embeddings (gelerntes Embedding, das identifiziert, ob ein Token aus Satz $A$ oder Satz $B$ stammt).
3. Gelernten Positions-Embeddings.

Jede Sequenz beginnt mit [CLS]. Dessen finaler Hidden-Vektor $C\in {\mathbb{R}}^H$ repräsentiert das Sequenzaggregat. Satzpaare werden durch [SEP] getrennt. Finale Token-Hidden-Repräsentationen werden als $T_i\in {\mathbb{R}}^H$ bezeichnet.

Pre-training-Ziele

1. Masked LM: Für ein maskiertes Token $i$ wird die Repräsentation $T_i$ in ein Softmax über das Vokabular mit Cross-Entropy-Verlust eingespeist: $${\mathcal{L}}_{\text{MLM}}=-\log P(w_i\mid T_i)$$
2. Next Sentence Prediction: Der aggregierte Vektor $C$ wird einer binären Klassifikation zugeführt: $${\mathcal{L}}_{\text{NSP}}=-\log P(\text{IsNext}\mid C)$$ Der gesamte Pre-training-Verlust ist die Summe der mittleren Masked-LM-Likelihood und der mittleren Next-Sentence-Prediction-Likelihood.

Fine-Tuning-Anpassungen

• Klassifikation (GLUE): Hinzufügen einer Projektionsmatrix $W\in {\mathbb{R}}^{K\times H}$; der Verlust wird berechnet als $\log (\text{softmax}(C{W}^T))$.
• Span-Extraktion (SQuAD v1.1): Lernen eines Startvektors $S\in {\mathbb{R}}^H$ und eines Endvektors $E\in {\mathbb{R}}^H$. Die Wahrscheinlichkeit, dass Token $i$ der Beginn der Antwortspanne ist, beträgt: $$P_i=\frac{e^{S\cdot T_i}}{{\sum }_j{e}^{S\cdot T_j}}$$ Der Score für die Spanne $(i,j)$ ist $S\cdot T_i+E\cdot T_j$, maximiert über $j\ge i$.
• Unbeantwortbare Fragen (SQuAD v2.0): Erweitert, indem das [CLS]-Token als Null-Antwortspanne dienen kann, mit dem Score $s_{\text{null}}=S\cdot C+E\cdot C$, wobei eine Nicht-Null-Antwort nur vorhergesagt wird, wenn ${\hat{s}}_{i,j}>s_{\text{null}}+\tau$.

Ergebnisse

BERT wurde über 11 NLP-Aufgaben hinweg evaluiert:

• GLUE-Leaderboard: ${\text{BERT}}_{\text{LARGE}}$ erzielte einen durchschnittlichen GLUE-Score von 80,5 % (eine absolute Verbesserung von 7,7 % gegenüber dem bisherigen State of the Art) und 86,7 % Genauigkeit auf MNLI (ein absoluter Zuwachs von 4,6 %).
• SQuAD v1.1: ${\text{BERT}}_{\text{LARGE}}$ erreichte als Einzelmodell 84,1 EM und 90,9 F1 auf dem Dev-Set; ein Ensemble mit TriviaQA-Pre-training erreichte 87,4 EM und 93,2 F1 auf dem Test-Set und übertraf damit die menschliche Leistung (82,3 EM / 91,2 F1).
• SQuAD v2.0: ${\text{BERT}}_{\text{LARGE}}$ erreichte 80,0 EM und 83,1 F1 auf dem Test-Set und übertraf das bisherige Spitzensystem um +5,1 F1.
• SWAG: ${\text{BERT}}_{\text{LARGE}}$ erreichte 86,3 % Genauigkeit auf dem Test-Set und übertraf damit OpenAI GPT (78,0 %) sowie die menschliche Experten-Baseline (85,0 %).
• Ablations-Erkenntnisse: Das Entfernen von NSP verschlechterte die Leistung bei MNLI (-0,5 %), QNLI (-3,5 %) und SQuAD F1 (-0,6 %). Das Ersetzen von MLM durch ein Standard-Left-to-Right-(LTR-)LM führte zu starken Einbrüchen bei SQuAD (-10,7 F1) und MRPC (-9,2 % Genauigkeit).

Limitationen und offene Fragen

• Diskrepanz zwischen Pre-train und Fine-tune: Das künstliche [MASK]-Token taucht während des Fine-Tunings nie auf, was heuristische Ersetzungsregeln (80/10/10) erfordert, um die Diskrepanz abzumildern.
• Effizienz des Pre-trainings: Da BERT pro Batch nur 15 % der Tokens vorhersagt statt 100 % der Tokens wie bei herkömmlichen autoregressiven Modellen, benötigt es mehr Pre-training-Schritte (1.000.000 Schritte mit 128.000 Tokens/Batch) zur Konvergenz.
• Quadratischer Attention-Flaschenhals: Die standardmäßige Transformer-Attention skaliert quadratisch ($O(N^2)$) mit der Sequenzlänge, was lange Sequenzen rechenintensiv macht und eine zweiphasige Pre-training-Strategie erforderlich machte (90 % der Schritte bei Sequenzlänge 128, 10 % der Schritte bei 512).
• Nichtanwendbarkeit auf Textgenerierung: Als bidirektionaler Encoder ist BERT direkt auf Repräsentations- und diskriminative Downstream-Aufgaben ausgelegt und kann ohne architektonische Modifikationen keine autoregressive Links-nach-Rechts-Generierung durchführen.