Efficient Estimation of Word Representations in Vector Space

Panduan membaca

Masalah dan motivasi

Sistem NLP tradisional merepresentasikan kata sebagai indeks atomik diskret, mengabaikan hubungan semantik dan sintaktis yang melekat. Meskipun representasi kata terdistribusi yang dilatih menggunakan neural network language models (NNLM) atau recurrent neural network language models (RNNLM) secara signifikan mengungguli n-gram, kompleksitas komputasinya membuat penskalaan menjadi sangat mahal. Arsitektur sebelumnya jarang dilatih pada lebih dari beberapa ratus juta kata, dan biasanya dibatasi pada dimensionalitas antara $50$ dan $100$.

Pada NNLM feedforward, bottleneck komputasi berasal dari hidden layer non-linier yang padat ($N\times D\times H$) dan output layer kosakata yang belum dinormalisasi ($H\times V$). Tujuan dari makalah ini adalah untuk mengeliminasi bottleneck hidden layer non-linier, memungkinkan model untuk diskalakan ke miliaran token pelatihan dan kosakata yang mencakup jutaan kata, sambil tetap mempertahankan hubungan linier yang halus (misalnya, $\text{vector}(\text{"King"})-\text{vector}(\text{"Man"})+\text{vector}(\text{"Woman"})\approx \text{vector}(\text{"Queen"})$).

Ide-ide utama

• Menghilangkan Non-Linearitas Hidden Layer: Dengan menghapus lapisan aktivasi non-linier, kompleksitas pelatihan menurun secara drastis, memungkinkan peningkatan besar pada ukuran korpus maupun dimensi embedding.
• Continuous Bag-of-Words (CBOW): Pengklasifikasi log-linier yang memprediksi kata tengah target berdasarkan kata-kata konteks di sekitarnya (baik riwayat sebelumnya maupun kata berikutnya). Vektor-vektor konteks dirata-ratakan ke dalam projection layer bersama.
• Continuous Skip-gram: Pengklasifikasi log-linier yang memprediksi kata-kata konteks di sekitarnya dalam suatu jendela hanya berdasarkan kata tengah saat ini, dengan mengambil sampel kata-kata yang jauh secara lebih jarang.
• Hierarchical Softmax dengan Huffman Coding: Biaya normalisasi softmax dikurangi dari $V$ menjadi sekitar ${\log }_2(V)$ (atau ${\log }_2(\text{Unigram\_perplexity}(V))$ melalui pohon Huffman, yang menetapkan kode lebih pendek untuk kata-kata yang sering muncul).
• Tolak Ukur Evaluasi Analogi: Set pengujian baru berisi 19.544 pertanyaan yang mengevaluasi keteraturan linguistik sintaktis (misalnya, komparatif, past tense) dan semantik (misalnya, ibu kota-negara, mata uang) menggunakan aritmetika vektor dan jarak kosinus.

Metode (dengan persamaan-persamaan utama)

Kompleksitas pelatihan didefinisikan sebagai jumlah akses parameter di seluruh $E$ epoch, $T$ kata dalam set pelatihan, dan biaya per contoh $Q$: $$O=E\times T\times Q$$

Baseline NNLM Feedforward

Untuk panjang konteks $N$, dimensi embedding $D$, unit tersembunyi $H$, dan ukuran kosakata $V$: $$Q=N\times D+N\times D\times H+H\times V$$ Ketika menggunakan hierarchical softmax, suku keluaran berkurang menjadi $H\times {\log }_2(V)$, menyisakan $N\times D\times H$ sebagai bottleneck.

Baseline Recurrent Neural Net Language Model (RNNLM)

Dengan dimensi hidden state $H$ sama dengan dimensi embedding $D$: $$Q=H\times H+H\times V$$ Menggunakan hierarchical softmax, suku keluaran berkurang menjadi $H\times {\log }_2(V)$, menyisakan transisi rekuren $H\times H$ sebagai biaya dominan.

Continuous Bag-of-Words (CBOW)

CBOW menggantikan hidden layer dengan projection layer yang dirata-ratakan di seluruh $N$ kata konteks (biasanya 4 kata sebelum dan 4 kata sesudah): $$Q=N\times D+D\times {\log }_2(V)$$

Continuous Skip-gram

Skip-gram mengambil kata tengah dan memprediksi kata-kata konteks dalam jarak maksimum $C$ (dalam eksperimen, $C=10$). Untuk setiap kata, offset $R\in \{1,\dots ,C\}$ diambil secara seragam, memprediksi $R$ kata sebelum dan sesudahnya: $$Q=C\times (D+D\times {\log }_2(V))$$

Pencarian Analogi

Pertanyaan dalam bentuk "$A$ terhadap $B$ seperti halnya $C$ terhadap $D$" dijawab dengan mencari vektor kosakata $X$ yang memaksimalkan: $$X=\arg \underset{w\notin \{B,C,A\}}{\max }\cos (v_w,v_B-v_A+v_C)$$

Hasil (dengan angka-angka terpenting)

• Performa Tolak Ukur Analogi (640-D, 320 juta kata):
  • RNNLM: 9% Semantik, 36% Sintaktis.
  • NNLM: 23% Semantik, 53% Sintaktis.
  • CBOW: 24% Semantik, 64% Sintaktis.
  • Skip-gram: 55% Semantik, 59% Sintaktis.
• Penskalaan pada Google News 6 miliar token (pelatihan terdistribusi DistBelief):
  • NNLM ($100$-D): 34,2% Semantik, 64,5% Sintaktis, 50,8% Total (memerlukan waktu $14\times 180$ hari-core CPU).
  • CBOW ($1000$-D): 57,3% Semantik, 68,9% Sintaktis, 63,7% Total (memerlukan waktu $2\times 140$ hari-core CPU).
  • Skip-gram ($1000$-D): 66,1% Semantik, 65,1% Sintaktis, 65,6% Total (memerlukan waktu $2.5\times 125$ hari-core CPU).
• Microsoft Sentence Completion Challenge: Skip-gram mandiri mencapai akurasi 48,0%; digabungkan dengan ansambel RNNLM, model ini mencapai akurasi state-of-the-art sebesar 58,9%.
• Epoch vs. Data: Pelatihan selama 1 epoch pada data dua kali lebih banyak menunjukkan performa yang sebanding atau lebih baik daripada 3 epoch pada data yang lebih kecil, sekaligus mengurangi waktu pelatihan (wall-clock time).

Keterbatasan dan pertanyaan terbuka

• Metrik Evaluasi Exact Match: Set pengujian menganggap sinonim sebagai kesalahan (misalnya, memprediksi kota ekuivalen yang valid atau bentuk jamak), yang menetapkan batas atas artifisial di bawah 100%.
• Kurangnya Morfologi Subkata: Kata diperlakukan sebagai token tunggal; model tidak mengeksploitasi struktur karakter atau morfem internal, membatasi generalisasi sintaktisnya pada kata-kata langka atau terinfleksi.
• Frasa Multi-Kata: Model ini hanya beroperasi pada kata ber-token tunggal dan secara native tidak menangani ekspresi multi-kata (seperti "New York").
• Performa pada Sentence Completion: Skip-gram saja mencetak skor lebih rendah (48,0%) dibandingkan rata-rata kemiripan LSA (49,0%) pada tugas Microsoft Sentence Completion, sehingga bergantung pada hibridisasi dengan RNNLM untuk mencapai hasil yang kompetitif.