Vektör Uzayında Sözcük Temsillerinin Verimli Hesaplanması

Okuma rehberi

Problem ve motivasyon

Geleneksel NLP sistemleri, sözcükleri ayrık atomik indeksler olarak temsil ediyor ve doğal anlamsal ile sözdizimsel ilişkileri göz ardı ediyordu. Yapay sinir ağı dil modelleri (NNLMs) veya yinelemeli sinir ağı dil modelleri (RNNLMs) kullanılarak eğitilen dağıtık sözcük temsilleri n-gram modellerinden belirgin şekilde daha iyi performans gösterse de, hesaplama karmaşıklıkları ölçeklendirmeyi aşırı derecede maliyetli hale getiriyordu. Önceki mimariler nadiren birkaç yüz milyon sözcükten fazlası üzerinde eğitilebiliyor ve genellikle $50$ ile $100$ arasındaki boyutlarla sınırlı kalıyordu.

İleri beslemeli NNLM modellerinde hesaplama darboğazı, yoğun doğrusal olmayan gizli katmandan ($N\times D\times H$) ve normalize edilmemiş sözlük çıktı katmanından ($H\times V$) kaynaklanır. Bu makalenin amacı, doğrusal olmayan gizli katman darboğazını ortadan kaldırarak modellerin milyarlarca eğitim belirtecine ve milyonlarca sözcük içeren sözlüklere ölçeklenmesini sağlarken, ince doğrusal ilişkileri korumaktır (ör. $\text{vekto¨r}(\text{"Kral"})-\text{vekto¨r}(\text{"Erkek"})+\text{vekto¨r}(\text{"Kadın"})\approx \text{vekto¨r}(\text{"Kralic¸e"})$).

Temel fikirler

• Gizli Katmandaki Doğrusal Olmayan Yapıların Kaldırılması: Doğrusal olmayan aktivasyon katmanının çıkarılmasıyla eğitim karmaşıklığı çarpıcı biçimde düşer; bu da hem derlem boyutunun hem de gömme (embedding) boyutunun büyük oranda artırılmasına olanak tanır.
• Continuous Bag-of-Words (CBOW): Çevresindeki bağlam sözcükleri (hem geçmiş hem gelecek) verildiğinde hedef merkez sözcüğü tahmin eden log-lineer bir sınıflandırıcıdır. Bağlam vektörleri paylaşılan bir izdüşüm katmanında ortalanır.
• Continuous Skip-gram: Yalnızca mevcut merkez sözcük verildiğinde bir pencere içindeki çevre bağlam sözcüklerini tahmin eden ve uzak sözcükleri daha seyrek örnekleyen log-lineer bir sınıflandırıcıdır.
• Huffman Kodlamalı Hierarchical Softmax: Softmax normalizasyon maliyeti, sık kullanılan sözcüklere daha kısa kodlar atayan Huffman ağaçları aracılığıyla $V$'den yaklaşık ${\log }_2(V)$'ye (veya ${\log }_2(\text{Unigram\_perplexity}(V))$) düşürülür.
• Analoji Değerlendirme Kriteri: Vektör aritmetiği ve kosinüs benzerliği kullanarak sözdizimsel (ör. karşılaştırma, geçmiş zaman) ve anlamsal (ör. başkent-ülke, para birimi) dilbilimsel düzenlilikleri değerlendiren 19.544 soruluk yeni bir test seti.

Yöntem (anahtar denklemlerle)

Eğitim karmaşıklığı; $E$ devir (epoch), eğitim setindeki $T$ sözcük ve örnek başına maliyet $Q$ üzerinden parametre erişim sayısı olarak tanımlanır: $$O=E\times T\times Q$$

İleri Beslemeli NNLM Temel Modeli

$N$ bağlam uzunluğu, $D$ gömme boyutu, $H$ gizli birimler ve $V$ sözlük boyutu için: $$Q=N\times D+N\times D\times H+H\times V$$ hierarchical softmax kullanıldığında çıktı terimi $H\times {\log }_2(V)$ değerine düşer ve darboğaz olarak geriye $N\times D\times H$ kalır.

Yinelemeli Sinir Ağı Dil Modeli (RNNLM) Temel Modeli

Gizli durum boyutu $H$, gömme boyutu $D$'ye eşit olduğunda: $$Q=H\times H+H\times V$$ hierarchical softmax kullanıldığında çıktı terimi $H\times {\log }_2(V)$ değerine düşer ve baskın maliyet olarak yinelemeli geçiş $H\times H$ kalır.

Continuous Bag-of-Words (CBOW)

CBOW, gizli katmanın yerine $N$ bağlam sözcüğü (genellikle 4 geçmiş ve 4 gelecek sözcük) üzerinden ortalaması alınan bir izdüşüm katmanı koyar: $$Q=N\times D+D\times {\log }_2(V)$$

Continuous Skip-gram

Skip-gram merkez sözcüğü alır ve maksimum $C$ mesafesindeki bağlam sözcüklerini tahmin eder (deneylerde $C=10$). Her sözcük için $R\in \{1,\dots ,C\}$ aralığından tekdüze bir uzaklık değeri seçilir ve önceki ile sonraki $R$ sözcük tahmin edilir: $$Q=C\times (D+D\times {\log }_2(V))$$

Analoji Araması

"$A$, $B$ için ne ise, $C$ de $D$ için odur" biçimindeki sorular, aşağıdaki ifadeyi maksimize eden $X$ sözlük vektörü bulunarak yanıtlanır: $$X=\arg \underset{w\notin \{B,C,A\}}{\max }\cos (v_w,v_B-v_A+v_C)$$

Sonuçlar (en önemli sayılarla)

• Analoji Karşılaştırma Başarımı (640-D, 320M sözcük):
  • RNNLM: %9 Anlamsal, %36 Sözdizimsel.
  • NNLM: %23 Anlamsal, %53 Sözdizimsel.
  • CBOW: %24 Anlamsal, %64 Sözdizimsel.
  • Skip-gram: %55 Anlamsal, %59 Sözdizimsel.
• Google News 6B Belirteç Üzerinde Ölçeklendirme (DistBelief dağıtık eğitimi):
  • NNLM ($100$-D): %34,2 Anlamsal, %64,5 Sözdizimsel, %50,8 Toplam ($14\times 180$ CPU-çekirdek günü sürdü).
  • CBOW ($1000$-D): %57,3 Anlamsal, %68,9 Sözdizimsel, %63,7 Toplam ($2\times 140$ CPU-çekirdek günü sürdü).
  • Skip-gram ($1000$-D): %66,1 Anlamsal, %65,1 Sözdizimsel, %65,6 Toplam ($2,5\times 125$ CPU-çekirdek günü sürdü).
• Microsoft Cümle Tamamlama Görevi: Skip-gram tek başına %48,0 doğruluğa ulaştı; RNNLM topluluğu (ensemble) ile birleştirildiğinde %58,9 ile yeni bir son teknoloji (state-of-the-art) doğruluk elde etti.
• Devir Sayısı ve Veri Karşılaştırması: İki kat daha fazla veri üzerinde 1 devir eğitmek, daha az veri üzerinde 3 devir yapmaya kıyasla benzer veya daha iyi başarım gösterirken toplam eğitim süresini azalttı.

Kısıtlamalar ve açık sorular

• Tam Eşleşme Değerlendirme Ölçütü: Test seti eşanlamlıları hata olarak kabul eder (örneğin geçerli eşdeğer bir şehir veya çoğul form tahmini), bu da %100'ün altında yapay bir tavan oluşturur.
• Alt Sözcük Morfolojisinin Eksikliği: Sözcükler tek parça belirteçler olarak ele alınır; model iç karakter veya biçimbirim yapısından yararlanmaz, bu da nadir veya çekimli sözcüklerdeki sözdizimsel genellemeyi sınırlar.
• Çok Sözcüklü İfadeler: Model yalnızca tek belirteçli sözcükler üzerinde çalışır ve çok sözcüklü ifadeleri (örneğin "New York") doğal olarak ele alamaz.
• Cümle Tamamlama Performansı: Skip-gram tek başına Microsoft Cümle Tamamlama görevinde ortalama LSA benzerliğinden (%49,0) daha düşük puan almış (%48,0), rekabetçi sonuçlara ulaşmak için RNNLM'ler ile hibritleşmeye ihtiyaç duymuştur.