Efficient Estimation of Word Representations in Vector Space

Guía de lectura

Problema y motivación

Los sistemas tradicionales de PLN representaban las palabras como índices atómicos discretos, descartando las relaciones semánticas y sintácticas inherentes. Aunque las representaciones distribuidas de palabras entrenadas mediante modelos de lenguaje basados en redes neuronales (NNLM) o modelos de lenguaje basados en redes neuronales recurrentes (RNNLM) superaban con creces a los n-gramas, su complejidad computacional hacía que escalar fuera prohibitivamente costoso. Rara vez se entrenaban arquitecturas anteriores con más de unos pocos cientos de millones de palabras, limitándose por lo general a dimensionalidades de entre $50$ y $100$.

En los NNLM prealimentados (feedforward), el cuello de botella computacional proviene de la capa oculta densa no lineal ($N\times D\times H$) y de la capa de salida no normalizada sobre el vocabulario ($H\times V$). El objetivo de este artículo es eliminar el cuello de botella de la capa oculta no lineal, permitiendo que los modelos escalen a miles de millones de tokens de entrenamiento y a vocabularios que contienen millones de palabras, al tiempo que se conservan relaciones lineales sutiles (p. ej., $\text{vector}(\text{"King"})-\text{vector}(\text{"Man"})+\text{vector}(\text{"Woman"})\approx \text{vector}(\text{"Queen"})$).

Ideas clave

• Eliminación de no linealidades en la capa oculta: Al suprimir la capa de activación no lineal, la complejidad del entrenamiento se reduce drásticamente, lo que permite incrementos sustanciales tanto en el tamaño del corpus como en la dimensionalidad de los embeddings.
• Continuous Bag-of-Words (CBOW): Un clasificador log-lineal que predice una palabra objetivo central a partir de las palabras del contexto que la rodean (tanto previas como posteriores). Los vectores del contexto se promedian en una capa de proyección compartida.
• Continuous Skip-gram: Un clasificador log-lineal que predice las palabras del contexto circundante dentro de una ventana dada únicamente la palabra central actual, muestreando las palabras más distantes con menor frecuencia.
• Hierarchical Softmax con codificación de Huffman: El costo de normalización de la softmax se reduce de $V$ a aproximadamente ${\log }_2(V)$ (o ${\log }_2(\text{Unigram\_perplexity}(V))$ mediante árboles de Huffman, que asignan códigos más cortos a las palabras frecuentes).
• Benchmark de evaluación de analogías: Un nuevo conjunto de prueba de 19 544 preguntas que evalúa regularidades lingüísticas sintácticas (p. ej., comparativos, tiempo pasado) y semánticas (p. ej., capital-país, moneda) utilizando aritmética vectorial y distancia coseno.

Método (con las ecuaciones clave)

La complejidad del entrenamiento se define como el número de accesos a parámetros a lo largo de $E$ épocas, $T$ palabras en el conjunto de entrenamiento y el costo por ejemplo $Q$: $$O=E\times T\times Q$$

Línea base NNLM prealimentada

Para una longitud de contexto $N$, dimensión del embedding $D$, unidades ocultas $H$ y tamaño de vocabulario $V$: $$Q=N\times D+N\times D\times H+H\times V$$ Cuando se utiliza hierarchical softmax, el término de salida se reduce a $H\times {\log }_2(V)$, dejando a $N\times D\times H$ como el cuello de botella.

Línea base de modelo de lenguaje neuronal recurrente (RNNLM)

Con la dimensión del estado oculto $H$ igual a la dimensión del embedding $D$: $$Q=H\times H+H\times V$$ Al utilizar hierarchical softmax, el término de salida se reduce a $H\times {\log }_2(V)$, dejando la transición recurrente $H\times H$ como el costo dominante.

Continuous Bag-of-Words (CBOW)

CBOW reemplaza la capa oculta con una capa de proyección promediada a lo largo de $N$ palabras de contexto (típicamente 4 palabras anteriores y 4 posteriores): $$Q=N\times D+D\times {\log }_2(V)$$

Continuous Skip-gram

Skip-gram toma la palabra central y predice las palabras de contexto dentro de una distancia máxima $C$ (en los experimentos, $C=10$). Para cada palabra, se extrae uniformemente un desplazamiento $R\in \{1,\dots ,C\}$, prediciendo $R$ palabras anteriores y posteriores: $$Q=C\times (D+D\times {\log }_2(V))$$

Búsqueda de analogías

Las preguntas de la forma «$A$ es a $B$ lo que $C$ es a $D$» se responden encontrando el vector del vocabulario $X$ que maximiza: $$X=\arg \underset{w\notin \{B,C,A\}}{\max }\cos (v_w,v_B-v_A+v_C)$$

Resultados (con los números más importantes)

• Rendimiento en el benchmark de analogías (640-D, 320M de palabras):
  • RNNLM: 9% semántico, 36% sintáctico.
  • NNLM: 23% semántico, 53% sintáctico.
  • CBOW: 24% semántico, 64% sintáctico.
  • Skip-gram: 55% semántico, 59% sintáctico.
• Escalado en Google News con 6000 millones de tokens (entrenamiento distribuido con DistBelief):
  • NNLM ($100$-D): 34.2% semántico, 64.5% sintáctico, 50.8% total (tomó $14\times 180$ días de núcleos de CPU).
  • CBOW ($1000$-D): 57.3% semántico, 68.9% sintáctico, 63.7% total (tomó $2\times 140$ días de núcleos de CPU).
  • Skip-gram ($1000$-D): 66.1% semántico, 65.1% sintáctico, 65.6% total (tomó $2.5\times 125$ días de núcleos de CPU).
• Microsoft Sentence Completion Challenge: Skip-gram por sí solo alcanzó un 48.0% de precisión; combinado con un ensamble de RNNLM, alcanzó una precisión de vanguardia del 58.9%.
• Épocas frente a datos: Entrenar durante 1 época con el doble de datos tuvo un rendimiento comparable o superior al de entrenar 3 épocas sobre un conjunto menor de datos, reduciendo al mismo tiempo el tiempo total de reloj de entrenamiento.

Limitaciones y preguntas abiertas

• Métrica de evaluación por coincidencia exacta: El conjunto de prueba penaliza los sinónimos como errores (p. ej., predecir una ciudad válida equivalente o una forma plural), estableciendo un límite superior artificial inferior al 100%.
• Falta de morfología a nivel de subpalabra: Las palabras se tratan como tokens únicos; el modelo no aprovecha la estructura interna de caracteres o morfemas, lo que limita su generalización sintáctica en palabras raras o flexionadas.
• Frases de múltiples palabras: El modelo opera únicamente sobre palabras de un solo token y no maneja de forma nativa expresiones compuestas por varias palabras (como «New York»).
• Rendimiento en compleción de oraciones: Skip-gram por sí solo obtuvo una puntuación más baja (48.0%) que la similitud promedio de LSA (49.0%) en la tarea de Microsoft Sentence Completion, requiriendo su combinación con RNNLM para alcanzar resultados competitivos.