Estimation efficace de représentations de mots dans un espace vectoriel

Guide de lecture

Problème et motivation

Les systèmes de NLP traditionnels représentaient les mots sous forme d'indices atomiques discrets, ignorant les relations sémantiques et syntaxiques inhérentes. Bien que les représentations distribuées de mots entraînées à l'aide de modèles de langage neuronaux (NNLM) ou de modèles de langage neuronaux récurrents (RNNLM) surpassaient nettement les n-grammes, leur complexité de calcul rendait tout changement d'échelle excessivement coûteux. Les architectures précédentes étaient rarement entraînées sur plus de quelques centaines de millions de mots et se limitaient généralement à des dimensions comprises entre $50$ et $100$.

Dans les NNLM à propagation avant, le goulot d'étranglement computationnel provient de la couche cachée dense non linéaire ($N\times D\times H$) et de la couche de sortie non normalisée sur le vocabulaire ($H\times V$). L'objectif de cet article est d'éliminer le goulet d'étranglement de la couche cachée non linéaire, permettant aux modèles de s'adapter à des milliards de tokens d'entraînement et à des vocabulaires contenant des millions de mots, tout en conservant des relations linéaires subtiles (par exemple, $\text{vecteur}(\text{« King »})-\text{vecteur}(\text{« Man »})+\text{vecteur}(\text{« Woman »})\approx \text{vecteur}(\text{« Queen »})$).

Idées maîtresses

• Suppression des non-linéarités de la couche cachée : en supprimant la couche d'activation non linéaire, la complexité de l'entraînement chute considérablement, ce qui autorise une forte augmentation de la taille du corpus et de la dimensionnalité des plongements.
• Continuous Bag-of-Words (CBOW) : un classifieur log-linéaire prédisant un mot central cible à partir des mots de son contexte environnant (passé et futur). Les vecteurs de contexte sont moyennés dans une couche de projection partagée.
• Continuous Skip-gram : un classifieur log-linéaire prédisant les mots du contexte environnant au sein d'une fenêtre à partir du seul mot central courant, en échantillonnant moins fréquemment les mots éloignés.
• Hierarchical Softmax avec codage de Huffman : le coût de normalisation de la softmax est réduit de $V$ à environ ${\log }_2(V)$ (ou ${\log }_2(\text{Unigram\_perplexity}(V))$ via des arbres de Huffman, qui attribuent des codes plus courts aux mots fréquents).
• Benchmark d'évaluation par analogies : un nouvel ensemble de test de 19 544 questions évaluant les régularités linguistiques syntaxiques (ex. comparatif, passé) et sémantiques (ex. capitale-pays, devise) par arithmétique vectorielle et distance cosinus.

Méthode (avec les équations clés)

La complexité d'entraînement est définie comme le nombre d'accès aux paramètres sur $E$ époques, $T$ mots dans le jeu d'entraînement, et un coût par exemple $Q$ : $$O=E\times T\times Q$$

Modèle de référence NNLM à propagation avant

Pour une longueur de contexte $N$, une dimension de plongement $D$, $H$ unités cachées et une taille de vocabulaire $V$ : $$Q=N\times D+N\times D\times H+H\times V$$ Lors de l'utilisation de la hierarchical softmax, le terme de sortie se réduit à $H\times {\log }_2(V)$, laissant $N\times D\times H$ comme goulot d'étranglement principal.

Modèle de référence RNNLM (modèle de langage neuronal récurrent)

Avec une dimension d'état caché $H$ égale à la dimension de plongement $D$ : $$Q=H\times H+H\times V$$ En utilisant la hierarchical softmax, le terme de sortie est réduit à $H\times {\log }_2(V)$, faisant de la transition récurrente $H\times H$ le coût dominant.

Continuous Bag-of-Words (CBOW)

CBOW remplace la couche cachée par une couche de projection moyennée sur $N$ mots de contexte (généralement 4 mots passés et 4 mots futurs) : $$Q=N\times D+D\times {\log }_2(V)$$

Continuous Skip-gram

Skip-gram prend le mot central et prédit les mots de contexte dans une distance maximale $C$ (dans les expériences, $C=10$). Pour chaque mot, un décalage $R\in \{1,\dots ,C\}$ est tiré uniformément, prédisant $R$ mots avant et après : $$Q=C\times (D+D\times {\log }_2(V))$$

Recherche par analogie

Les questions de type « $A$ est à $B$ ce que $C$ est à $D$ » sont résolues en trouvant le vecteur $X$ du vocabulaire qui maximise : $$X=\arg \underset{w\notin \{B,C,A\}}{\max }\cos (v_w,v_B-v_A+v_C)$$

Résultats (avec les chiffres les plus marquants)

• Performances sur le benchmark d'analogie (640-D, 320M de mots) :
  • RNNLM : 9 % Sémantique, 36 % Syntaxique.
  • NNLM : 23 % Sémantique, 53 % Syntaxique.
  • CBOW : 24 % Sémantique, 64 % Syntaxique.
  • Skip-gram : 55 % Sémantique, 59 % Syntaxique.
• Mise à l'échelle sur Google News 6B de tokens (entraînement distribué DistBelief) :
  • NNLM ($100$-D) : 34,2 % Sémantique, 64,5 % Syntaxique, 50,8 % Total (a nécessité $14\times 180$ jours-cœur CPU).
  • CBOW ($1000$-D) : 57,3 % Sémantique, 68,9 % Syntaxique, 63,7 % Total (a nécessité $2\times 140$ jours-cœur CPU).
  • Skip-gram ($1000$-D) : 66,1 % Sémantique, 65,1 % Syntaxique, 65,6 % Total (a nécessité $2,5\times 125$ jours-cœur CPU).
• Microsoft Sentence Completion Challenge : Skip-gram seul a atteint une précision de 48,0 % ; combiné avec un ensemble de RNNLMs, il a atteint un niveau record de 58,9 %.
• Époques vs. Données : s'entraîner sur 1 époque avec deux fois plus de données a donné des résultats comparables ou supérieurs à 3 époques sur des données plus restreintes, tout en réduisant le temps d'entraînement effectif.

Limites et questions ouvertes

• Métrique d'évaluation par correspondance exacte : l'ensemble de test traite les synonymes comme des erreurs (par exemple, prédire une ville équivalente valide ou une forme au pluriel), fixant un plafond artificiel inférieur à 100 %.
• Absence de morphologie sous-lexicale : les mots sont traités comme des tokens atomiques uniques ; le modèle n'exploite pas la structure interne en caractères ou en morphèmes, ce qui limite sa généralisation syntaxique sur les mots rares ou fléchis.
• Expressions composées (multi-mots) : le modèle ne fonctionne que sur des mots à token unique et ne gère pas nativement les expressions de plusieurs mots (telles que « New York »).
• Performances en complétion de phrases : Skip-gram seul a obtenu un score inférieur (48,0 %) à la similarité LSA moyenne (49,0 %) sur la tâche du Microsoft Sentence Completion, nécessitant une hybridation avec des RNNLMs pour obtenir des résultats compétitifs.