Efficient Estimation of Word Representations in Vector Space

Guia de leitura

Problema e motivação

Sistemas tradicionais de NLP representavam palavras como índices atômicos discretos, descartando relações semânticas e sintáticas inerentes. Embora representações distribuídas de palavras treinadas com modelos de linguagem baseados em redes neurais (NNLMs) ou redes neurais recorrentes (RNNLMs) superassem significativamente os n-grams, sua complexidade computacional tornava o escalonamento proibitivamente caro. Arquiteturas anteriores raramente eram treinadas em mais de algumas centenas de milhões de palavras, geralmente restritas a dimensionalidades entre $50$ e $100$.

Em NNLMs feedforward, o gargalo computacional decorre da camada oculta não linear densa ($N\times D\times H$) e da camada de saída não normalizada do vocabulário ($H\times V$). O objetivo deste artigo é eliminar o gargalo da camada oculta não linear, permitindo que os modelos escalem para bilhões de tokens de treinamento e vocabulários contendo milhões de palavras, enquanto retêm relações lineares sutis (ex.: $\text{vector}(\text{"King"})-\text{vector}(\text{"Man"})+\text{vector}(\text{"Woman"})\approx \text{vector}(\text{"Queen"})$).

Ideias-chave

• Remoção de não linearidades da camada oculta: Ao retirar a camada de ativação não linear, a complexidade de treinamento cai drasticamente, possibilitando aumentos expressivos tanto no tamanho do corpus quanto na dimensionalidade dos embeddings.
• Continuous Bag-of-Words (CBOW): Um classificador log-linear que prevê uma palavra central alvo com base em suas palavras de contexto circundantes (passadas e futuras). Os vetores de contexto são calculados pela média em uma camada de projeção compartilhada.
• Continuous Skip-gram: Um classificador log-linear que prevê palavras de contexto circundantes dentro de uma janela usando apenas a palavra central atual, amostrando palavras distantes com menor frequência.
• Hierarchical Softmax com codificação de Huffman: O custo de normalização da softmax é reduzido de $V$ para aproximadamente ${\log }_2(V)$ (ou ${\log }_2(\text{Unigram\_perplexity}(V))$ por meio de árvores de Huffman, que atribuem códigos mais curtos a palavras frequentes).
• Benchmark de avaliação de analogias: Um novo conjunto de testes com 19.544 perguntas que avalia regularidades linguísticas sintáticas (ex.: comparativo, passado) e semânticas (ex.: capital-país, moeda) usando aritmética vetorial e distância de cosseno.

Método (com as equações principais)

A complexidade de treinamento é definida como o número de acessos aos parâmetros ao longo de $E$ épocas, $T$ palavras no conjunto de treinamento e o custo por exemplo $Q$: $$O=E\times T\times Q$$

Linha de base NNLM Feedforward

Para o tamanho do contexto $N$, dimensão de embedding $D$, unidades ocultas $H$ e tamanho do vocabulário $V$: $$Q=N\times D+N\times D\times H+H\times V$$ Ao usar hierarchical softmax, o termo de saída reduz para $H\times {\log }_2(V)$, restando $N\times D\times H$ como o gargalo.

Linha de base Recurrent Neural Net Language Model (RNNLM)

Com a dimensão do estado oculto $H$ igual à dimensão de embedding $D$: $$Q=H\times H+H\times V$$ Usando hierarchical softmax, o termo de saída reduz para $H\times {\log }_2(V)$, deixando a transição recorrente $H\times H$ como o custo dominante.

Continuous Bag-of-Words (CBOW)

O CBOW substitui a camada oculta por uma camada de projeção com a média calculada sobre $N$ palavras de contexto (normalmente 4 palavras passadas e 4 futuras): $$Q=N\times D+D\times {\log }_2(V)$$

Continuous Skip-gram

O Skip-gram recebe a palavra central e prevê palavras de contexto dentro de uma distância máxima $C$ (nos experimentos, $C=10$). Para cada palavra, um deslocamento $R\in \{1,\dots ,C\}$ é sorteado uniformemente, prevendo $R$ palavras antes e depois: $$Q=C\times (D+D\times {\log }_2(V))$$

Busca de analogias

Perguntas da forma "$A$ está para $B$ assim como $C$ está para $D$" são respondidas encontrando o vetor $X$ do vocabulário que maximiza: $$X=\arg \underset{w\notin \{B,C,A\}}{\max }\cos (v_w,v_B-v_A+v_C)$$

Resultados (com os números mais importantes)

• Desempenho no benchmark de analogias (640-D, 320M palavras):
  • RNNLM: 9% Semântico, 36% Sintático.
  • NNLM: 23% Semântico, 53% Sintático.
  • CBOW: 24% Semântico, 64% Sintático.
  • Skip-gram: 55% Semântico, 59% Sintático.
• Escalonamento no Google News com 6 bilhões de tokens (treinamento distribuído via DistBelief):
  • NNLM ($100$-D): 34,2% Semântico, 64,5% Sintático, 50,8% Total (levou $14\times 180$ dias de CPU-core).
  • CBOW ($1000$-D): 57,3% Semântico, 68,9% Sintático, 63,7% Total (levou $2\times 140$ dias de CPU-core).
  • Skip-gram ($1000$-D): 66,1% Semântico, 65,1% Sintático, 65,6% Total (levou $2,5\times 125$ dias de CPU-core).
• Microsoft Sentence Completion Challenge: O Skip-gram sozinho alcançou 48,0% de precisão; combinado com um ensemble de RNNLMs, atingiu o estado da arte com 58,9% de precisão.
• Épocas vs. Dados: Treinar por 1 época com o dobro de dados teve desempenho comparável ou superior a 3 épocas em menos dados, reduzindo o tempo de execução real do treinamento.

Limitações e questões em aberto

• Métrica de avaliação por correspondência exata: O conjunto de testes considera sinônimos como erros (por exemplo, prever uma cidade equivalente válida ou forma no plural), impondo um teto artificial abaixo de 100%.
• Falta de morfologia de subpalavras: As palavras são tratadas como tokens únicos; o modelo não explora a estrutura interna de caracteres ou morfemas, limitando sua generalização sintática para palavras raras ou flexionadas.
• Expressões com múltiplas palavras: O modelo opera apenas com palavras de token único e não lida nativamente com expressões compostas (como "New York").
• Desempenho no Sentence Completion: O Skip-gram isoladamente obteve pontuação inferior (48,0%) à similaridade média do LSA (49,0%) na tarefa Microsoft Sentence Completion, dependendo da hibridização com RNNLMs para alcançar resultados competitivos.