Efficient Estimation of Word Representations in Vector Space

Leseleitfaden

Problem und Motivation

Traditionelle NLP-Systeme repräsentierten Wörter als diskrete atomare Indizes und ignorierten dabei inhärente semantische und syntaktische Beziehungen. Obwohl verteilte Wortrepräsentationen, die mit neuronalen Netz-Sprachmodellen (NNLMs) oder rekurrenten neuronalen Netz-Sprachmodellen (RNNLMs) trainiert wurden, n-Gramme deutlich übertrafen, machte ihre Rechenkomplexität eine Skalierung unerschwinglich teuer. Frühere Architekturen wurden selten auf mehr als einigen hundert Millionen Wörtern trainiert und waren üblicherweise auf Dimensionalitäten zwischen $50$ und $100$ beschränkt.

In Feedforward-NNLMs rührt der rechnerische Flaschenhals von der dichten, nichtlinearen verborgenen Schicht ($N\times D\times H$) und der unnormalisierten Vokabular-Ausgabeschicht ($H\times V$) her. Das Ziel dieser Arbeit ist es, den Engpass der nichtlinearen verborgenen Schicht zu beseitigen, sodass Modelle auf Milliarden von Trainings-Token und Vokabulare mit Millionen von Wörtern skalieren können, während subtile lineare Beziehungen erhalten bleiben (z. B. $\text{vector}(\text{"King"})-\text{vector}(\text{"Man"})+\text{vector}(\text{"Woman"})\approx \text{vector}(\text{"Queen"})$).

Kernideen

• Entfernung von Nichtlinearitäten in der verborgenen Schicht: Durch den Verzicht auf die nichtlineare Aktivierungsschicht sinkt die Trainingskomplexität drastisch, was enorme Steigerungen sowohl der Korpusgröße als auch der Embedding-Dimensionalität ermöglicht.
• Continuous Bag-of-Words (CBOW): Ein log-linearer Klassifikator, der ein Zielwort aus seinen umgebenden Kontextwörtern vorhersagt (sowohl Historie als auch Zukunft). Kontextvektoren werden in einer gemeinsamen Projektionsschicht gemittelt.
• Continuous Skip-gram: Ein log-linearer Klassifikator, der umgebende Kontextwörter innerhalb eines Fensters allein anhand des aktuellen Zielworts vorhersagt, wobei weiter entfernte Wörter seltener gesampelt werden.
• Hierarchical Softmax mit Huffman-Codierung: Die Softmax-Normalisierungskosten werden von $V$ auf etwa ${\log }_2(V)$ reduziert (oder via Huffman-Bäumen, die häufigen Wörtern kürzere Codes zuweisen, auf ${\log }_2(\text{Unigram\_perplexity}(V))$).
• Analogie-Evaluierungsbenchmark: Ein neues Testset mit 19.544 Fragen zur Bewertung syntaktischer (z. B. Komparativ, Vergangenheitsform) und semantischer (z. B. Hauptstadt–Land, Währung) linguistischer Regularitäten mittels Vektorarithmetik und Kosinus-Distanz.

Methode (mit den wichtigsten Gleichungen)

Die Trainingskomplexität ist definiert als die Anzahl der Parameterzugriffe über $E$ Epochen, $T$ Wörter im Trainingsset und die Kosten pro Beispiel $Q$: $$O=E\times T\times Q$$

Feedforward-NNLM-Baseline

Für die Kontextlänge $N$, die Embedding-Dimension $D$, die verborgenen Einheiten $H$ und die Vokabulargröße $V$: $$Q=N\times D+N\times D\times H+H\times V$$ Bei Verwendung von hierarchical softmax reduziert sich der Ausgabeterm auf $H\times {\log }_2(V)$, womit $N\times D\times H$ der Engpass bleibt.

Recurrent Neural Net Language Model (RNNLM) Baseline

Mit einer Dimension des verborgenen Zustands $H$ gleich der Embedding-Dimension $D$: $$Q=H\times H+H\times V$$ Unter Verwendung von hierarchical softmax reduziert sich der Ausgabeterm auf $H\times {\log }_2(V)$, sodass der rekurrente Übergang $H\times H$ die dominierende Komponente ist.

Continuous Bag-of-Words (CBOW)

CBOW ersetzt die verborgene Schicht durch eine gemittelte Projektionsschicht über $N$ Kontextwörter (typischerweise 4 vorhergehende und 4 nachfolgende Wörter): $$Q=N\times D+D\times {\log }_2(V)$$

Continuous Skip-gram

Skip-gram nimmt das Zielwort und sagt Kontextwörter innerhalb einer maximalen Distanz $C$ voraus (in Experimenten $C=10$). Für jedes Wort wird ein Offset $R\in \{1,\dots ,C\}$ gleichverteilt gezogen, wodurch $R$ Wörter davor und danach vorhergesagt werden: $$Q=C\times (D+D\times {\log }_2(V))$$

Analogiesuche

Fragen der Form „$A$ verhält sich zu $B$ wie $C$ zu $D$“ werden beantwortet, indem der Vokabularvektor $X$ gefunden wird, der Folgendes maximiert: $$X=\arg \underset{w\notin \{B,C,A\}}{\max }\cos (v_w,v_B-v_A+v_C)$$

Ergebnisse (mit den wichtigsten Zahlen)

• Leistung auf dem Analogie-Benchmark (640-D, 320 Mio. Wörter):
  • RNNLM: 9 % semantisch, 36 % syntaktisch.
  • NNLM: 23 % semantisch, 53 % syntaktisch.
  • CBOW: 24 % semantisch, 64 % syntaktisch.
  • Skip-gram: 55 % semantisch, 59 % syntaktisch.
• Skalierung auf Google News mit 6 Mrd. Token (verteiltes Training mit DistBelief):
  • NNLM ($100$-D): 34,2 % semantisch, 64,5 % syntaktisch, 50,8 % gesamt (dauerte $14\times 180$ CPU-Core-Tage).
  • CBOW ($1000$-D): 57,3 % semantisch, 68,9 % syntaktisch, 63,7 % gesamt (dauerte $2\times 140$ CPU-Core-Tage).
  • Skip-gram ($1000$-D): 66,1 % semantisch, 65,1 % syntaktisch, 65,6 % gesamt (dauerte $2,5\times 125$ CPU-Core-Tage).
• Microsoft Sentence Completion Challenge: Skip-gram allein erreichte eine Genauigkeit von 48,0 %; kombiniert mit einem Ensemble von RNNLMs erreichte es einen State-of-the-Art-Wert von 58,9 %.
• Epochen vs. Daten: Ein Training über 1 Epoche auf der doppelten Datenmenge schnitt vergleichbar oder besser ab als 3 Epochen auf kleineren Daten und reduzierte gleichzeitig die reale Trainingszeit.

Grenzen und offene Fragen

• Exact-Match-Evaluierungsmetrik: Das Testset wertet Synonyme als Fehler (z. B. die Vorhersage einer gleichwertigen gültigen Stadt oder Pluralform), was eine künstliche Obergrenze unter 100 % setzt.
• Fehlende Subwort-Morphologie: Wörter werden als einzelne Token behandelt; das Modell nutzt keine interne Zeichen- oder Morphemstruktur, was die syntaktische Generalisierung bei seltenen oder flektierten Wörtern einschränkt.
• Mehrwort-Phrasen: Das Modell arbeitet ausschließlich auf Einzelwort-Token und unterstützt Mehrwortausdrücke (wie „New York“) nicht nativ.
• Leistung bei Satzvervollständigung: Skip-gram allein erzielte bei der Microsoft Sentence Completion Task ein schlechteres Ergebnis (48,0 %) als die durchschnittliche LSA-Ähnlichkeit (49,0 %) und war auf eine Hybridisierung mit RNNLMs angewiesen, um konkurrenzfähige Ergebnisse zu erzielen.