BERT : Pré-entraînement de Transformers bidirectionnels profonds pour la compréhension du langage

Guide de lecture

Problème et motivation

Les modèles de représentation linguistique antérieurs reposaient soit sur des approches basées sur l'extraction de caractéristiques (telles que ELMo), soit sur des approches avec fine-tuning (comme OpenAI GPT). Bien qu'efficaces, ces deux paradigmes étaient restreints par des objectifs de modélisation linguistique unidirectionnels : les modèles autorégressifs standards traitent le texte strictement de gauche à droite (ou de droite à gauche). Dans les modèles unidirectionnels, les tokens ne peuvent prêter attention qu'aux tokens précédents dans les couches d'auto-attention pour éviter que les mots ne « se voient eux-mêmes » trivialement à travers les contextes multicouches. ELMo a tenté d'apporter de la bidirectionnalité en concaténant superficiellement des LSTM de gauche à droite et de droite à gauche entraînés séparément, mais cela ne permet pas de capturer un conditionnement conjoint et profond sur un contexte bidirectionnel à chaque couche. Cette unidirectionnalité limite les représentations au niveau de la phrase et s'avère particulièrement néfaste pour les tâches en aval au niveau du token, telles que les questions-réponses, où la compréhension simultanée des contextes gauche et droit est essentielle.

Idées clés

• Architecture Transformer bidirectionnelle profonde : BERT utilise un encodeur Transformer bidirectionnel multicouche, permettant aux couches d'auto-attention de se conditionner conjointement sur les contextes gauche et droit à travers toutes les couches.
• Masked Language Model (MLM) : Inspiré du test de Cloze, BERT masque aléatoirement 15 % des tokens d'entrée et entraîne le modèle à prédire les tokens masqués à l'aide de leur contexte, résolvant ainsi le problème trivial où le token « se voit lui-même ».
• Atténuation de l'écart pré-entraînement/fine-tuning : Étant donné que les tokens [MASK] n'apparaissent pas lors du fine-tuning, les 15 % de tokens sélectionnés sont remplacés par [MASK] 80 % du temps, par un token aléatoire 10 % du temps, et laissés inchangés 10 % du temps.
• Next Sentence Prediction (NSP) : Pour capturer les relations entre paires de phrases, critiques pour l'inférence en langage naturel (NLI) et les questions-réponses (QA), BERT effectue un pré-entraînement sur une tâche binaire prédisant si la phrase $B$ suit logiquement la phrase $A$ ($IsNext$) ou s'il s'agit d'une phrase aléatoire provenant du corpus ($NotNext$).
• Architecture unifiée pour les tâches en aval : La même architecture pré-entraînée est réutilisée pour les tâches en aval avec un ajout minimal de paramètres (par exemple, une simple tête de classification linéaire ou des pointeurs d'empan de début/fin).

Méthode

Configuration du modèle

BERT est évalué principalement sur deux tailles :

• ${\text{BERT}}_{\text{BASE}}$ : $L=12$ couches, dimension cachée $H=768$, $A=12$ têtes d'attention, total des paramètres = $110\text{M}$.
• ${\text{BERT}}_{\text{LARGE}}$ : $L=24$ couches, dimension cachée $H=1024$, $A=16$ têtes d'attention, total des paramètres = $340\text{M}$. La taille des filtres feed-forward est de $4H$.

Représentations d'entrée et de sortie

Les entrées peuvent représenter une séquence de texte unique ou une paire de phrases regroupées ensemble. Les plongements sont construits en sommant :

1. Les plongements de tokens WordPiece (vocabulaire de 30 000 tokens).
2. Les plongements de segments (plongement appris indiquant si un token provient de la phrase $A$ ou de la phrase $B$).
3. Les plongements positionnels appris.

Chaque séquence commence par [CLS]. Son vecteur caché final $C\in {\mathbb{R}}^H$ représente l'agrégat de la séquence. Les paires de phrases sont séparées par [SEP]. Les représentations cachées finales des tokens sont notées $T_i\in {\mathbb{R}}^H$.

Objectifs de pré-entraînement

1. Masked LM : Étant donné le token masqué $i$, la représentation $T_i$ est injectée dans un softmax sur le vocabulaire avec une perte d'entropie croisée : $${\mathcal{L}}_{\text{MLM}}=-\log P(w_i\mid T_i)$$
2. Next Sentence Prediction : Le vecteur agrégé $C$ alimente une classification binaire : $${\mathcal{L}}_{\text{NSP}}=-\log P(\text{IsNext}\mid C)$$ La perte totale de pré-entraînement est la somme de la vraisemblance moyenne du Masked LM et de la vraisemblance moyenne de la prédiction de phrase suivante.

Adaptations pour le fine-tuning

• Classification (GLUE) : Ajout d'une matrice de projection $W\in {\mathbb{R}}^{K\times H}$, la perte étant calculée comme $\log (\text{softmax}(C{W}^T))$.
• Extraction d'empans (SQuAD v1.1) : Apprentissage d'un vecteur de début $S\in {\mathbb{R}}^H$ et d'un vecteur de fin $E\in {\mathbb{R}}^H$. La probabilité que le token $i$ soit le début de l'empan de réponse est : $$P_i=\frac{e^{S\cdot T_i}}{{\sum }_j{e}^{S\cdot T_j}}$$ Le score pour l'empan $(i,j)$ est $S\cdot T_i+E\cdot T_j$, maximisé pour $j\ge i$.
• Questions sans réponse (SQuAD v2.0) : Extension permettant au token [CLS] de servir d'empan de réponse nulle, avec un score $s_{\text{null}}=S\cdot C+E\cdot C$, et en prédisant une réponse non nulle seulement lorsque ${\hat{s}}_{i,j}>s_{\text{null}}+\tau$.

Résultats

BERT a été évalué sur 11 tâches de TAL :

• Classement GLUE : ${\text{BERT}}_{\text{LARGE}}$ a atteint un score GLUE moyen de 80,5 % (une amélioration absolue de 7,7 % par rapport à l'état de l'art précédent) et une exactitude de 86,7 % sur MNLI (un gain absolu de 4,6 %).
• SQuAD v1.1 : ${\text{BERT}}_{\text{LARGE}}$ a obtenu 84,1 en EM et 90,9 en F1 sur l'ensemble Dev en tant que modèle unique ; un ensemble avec pré-entraînement sur TriviaQA a atteint 87,4 en EM et 93,2 en F1 sur le jeu de test, surpassant la performance humaine (82,3 EM / 91,2 F1).
• SQuAD v2.0 : ${\text{BERT}}_{\text{LARGE}}$ a atteint 80,0 en EM et 83,1 en F1 sur l'ensemble de test, devançant le meilleur système précédent de +5,1 points de F1.
• SWAG : ${\text{BERT}}_{\text{LARGE}}$ a obtenu une exactitude de 86,3 % sur le test, surpassant OpenAI GPT (78,0 %) et la référence d'experts humains (85,0 %).
• Résultats de l'ablation : La suppression de NSP a dégradé les performances sur MNLI (-0,5 %), QNLI (-3,5 %) et SQuAD F1 (-0,6 %). Le remplacement de MLM par un modèle de langue standard de gauche à droite (LTR) a provoqué de fortes baisses sur SQuAD (-10,7 F1) et MRPC (-9,2 % d'exactitude).

Limites et questions ouvertes

• Écart pré-entraînement / fine-tuning : Le token artificiel [MASK] n'apparaît jamais durant le fine-tuning, nécessitant des règles de remplacement heuristiques (80/10/10) pour limiter ce décalage.
• Efficacité du pré-entraînement : Comme BERT ne prédit que 15 % des tokens par batch au lieu de 100 % des tokens comme dans les modèles autorégressifs standards, il nécessite plus d'étapes de pré-entraînement (1 000 000 d'étapes avec 128 000 tokens/batch) pour converger.
• Goulot d'étranglement quadratique de l'attention : L'attention standard des Transformers évolue de manière quadratique ($O(N^2)$) avec la longueur de séquence, rendant les longues séquences coûteuses et nécessitant une stratégie de pré-entraînement en deux phases (90 % des étapes à une longueur de séquence de 128, 10 % à 512).
• Inapplicabilité à la génération de texte : En tant qu'encodeur bidirectionnel, BERT est directement structuré pour les tâches de représentation et les tâches discriminatives en aval, et ne peut pas effectuer directement de génération autorégressive de gauche à droite sans modifications architecturales.