Neural Machine Translation by Jointly Learning to Align and Translate

Dzmitry Bahdanau; Kyunghyun Cho; Yoshua Bengio

Artículos · arXiv 1409.0473

Neural Machine Translation by Jointly Learning to Align and Translate

Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio

Publicado 2014-09-01cs.CLcs.LGcs.NEstat.ML arXiv PDF

Leer con traducción e IA

Resumen en tres líneas

🎯 Los modelos NMT estándar de tipo encoder-decoder comprimen oraciones fuente completas en un vector de longitud fija, degradando drásticamente el rendimiento en oraciones largas.
🔧 Los autores introducen un mecanismo de atención donde un codificador RNN bidireccional produce anotaciones de palabras y un decodificador calcula pesos de alineación blanda de forma dinámica mediante un MLP.
📈 En la traducción de inglés a francés, RNNsearch-50 logra una puntuación BLEU de 28,45 en todas las oraciones de prueba y 36,15 en oraciones sin palabras desconocidas, superando al sistema basado en frases Moses (35,63).

Resumen

La traducción automática neuronal es un enfoque propuesto recientemente para la traducción automática. A diferencia de la traducción automática estadística tradicional, la traducción automática neuronal tiene como objetivo construir una única red neuronal que pueda ajustarse de forma conjunta para maximizar el rendimiento de la traducción. Los modelos propuestos recientemente para la traducción automática neuronal a menudo pertenecen a una familia de encoder-decoders y constan de un codificador que codifica una oración de origen en un vector de longitud fija a partir del cual un decodificador genera una traducción. En este artículo, conjeturamos que el uso de un vector de longitud fija es un cuello de botella para mejorar el rendimiento de esta arquitectura básica de encoder-decoder, y proponemos extender esto permitiendo que un modelo busque automáticamente (de forma blanda) partes de una oración de origen que sean relevantes para predecir una palabra de destino, sin tener que formar estas partes como un segmento rígido explícitamente. Con este nuevo enfoque, logramos un rendimiento de traducción comparable al del sistema basado en frases del estado del arte existente en la tarea de traducción de inglés a francés. Además, el análisis cualitativo revela que las (blandas) alineaciones encontradas por el modelo concuerdan bien con nuestra intuición.

Resumen original (inglés)

Neural machine translation is a recently proposed approach to machine translation. Unlike the traditional statistical machine translation, the neural machine translation aims at building a single neural network that can be jointly tuned to maximize the translation performance. The models proposed recently for neural machine translation often belong to a family of encoder-decoders and consists of an encoder that encodes a source sentence into a fixed-length vector from which a decoder generates a translation. In this paper, we conjecture that the use of a fixed-length vector is a bottleneck in improving the performance of this basic encoder-decoder architecture, and propose to extend this by allowing a model to automatically (soft-)search for parts of a source sentence that are relevant to predicting a target word, without having to form these parts as a hard segment explicitly. With this new approach, we achieve a translation performance comparable to the existing state-of-the-art phrase-based system on the task of English-to-French translation. Furthermore, qualitative analysis reveals that the (soft-)alignments found by the model agree well with our intuition.

Guía de lectura

Problema y motivación

Las arquitecturas estándar de traducción automática neuronal (NMT), como el RNN Encoder–Decoder básico, comprimen la totalidad de una oración fuente de longitud variable en un único vector de longitud fija $c$ . A partir de este vector de contexto fijo, el decodificador genera la traducción de destino. Esto crea un cuello de botella de información: a medida que aumenta la longitud de la oración, comprimir toda la semántica de origen en una representación de tamaño fijo se vuelve cada vez más difícil, lo que hace que la calidad de la traducción (puntuación BLEU) se deteriore significativamente en las oraciones más largas.

Ideas clave

Secuencia de anotaciones en lugar de un solo vector: en vez de forzar al codificador a comprimir toda la oración en un solo vector, el modelo preserva una secuencia de vectores de estado oculto (anotaciones) a lo largo de la oración fuente mediante una Red Neuronal Recurrente Bidireccional (BiRNN).
Mecanismo de alineación blanda (Atención): en lugar de tratar la alineación como una variable discreta o latente que requiere una extracción heurística, el decodificador calcula un peso continuo de "alineación blanda" sobre las anotaciones de origen en cada paso de salida.
Entrenamiento diferenciable de extremo a extremo: dado que la alineación se parametriza como una pequeña red neuronal prealimentada (feedforward), todo el sistema (codificador, mecanismo de atención y decodificador) se entrena conjuntamente mediante retropropagación (backpropagation).

Método

1. Codificador (RNN bidireccional)

La secuencia de origen $x = (x_{1}, \dots, x_{T_{x}})$ es procesada por una RNN hacia adelante $f$ y una RNN hacia atrás $f$ utilizando unidades ocultas con compuertas: $h_{j} = f (x_{j}, h_{j - 1}), h_{j} = f (x_{j}, h_{j + 1})$ La anotación para la palabra de origen $x_{j}$ concatena ambas direcciones: $h_{j} = [h_{j}^{⊤}; h_{j}^{⊤}]^{⊤}$

2. Decodificador con atención blanda

Para generar la palabra objetivo $y_{i}$ , el decodificador calcula un vector de contexto diferenciado $c_{i}$ como una suma ponderada de las anotaciones del codificador: $c_{i} = j = 1 \sum T_{x} α_{ij} h_{j}$ donde el peso de alineación $α_{ij}$ se calcula mediante un softmax sobre las puntuaciones de energía $e_{ij}$ : $α_{ij} = \frac{exp ( e _{ij} )}{\sum _{k = 1}^{T_{x}} exp ( e _{ik} )}$ La puntuación de energía $e_{ij}$ representa qué tan bien se alinea el estado del decodificador $s_{i - 1}$ con la anotación de origen $h_{j}$ y se parametriza como una red prealimentada de una sola capa: $e_{ij} = a (s_{i - 1}, h_{j}) = v_{a}^{⊤} tanh (W_{a} s_{i - 1} + U_{a} h_{j})$ Aquí $s_{i - 1}$ es el estado oculto del decodificador, actualizado a través de: $s_{i} = f (s_{i - 1}, y_{i - 1}, c_{i})$ La distribución de probabilidad de la siguiente palabra está condicionada al estado actual, el token anterior y el contexto dinámico: $p (y_{i} ∣ y_{1}, \dots, y_{i - 1}, x) = g (y_{i - 1}, s_{i}, c_{i})$

Resultados

En el benchmark WMT '14 de inglés a francés (news-test-2014, 3003 oraciones):

Robustez frente a la longitud: mientras que el encoder-decoder básico (RNNencdec-50) sufre una caída severa de BLEU cuando la longitud de la oración supera las 30 palabras, RNNsearch-50 mantiene puntuaciones de BLEU consistentes incluso más allá de las 50 palabras.
Calidad de traducción:
- En todas las oraciones de prueba, RNNsearch-50 obtiene 26,75 BLEU (y 28,45 BLEU cuando se entrena por más tiempo como RNNsearch-50*), superando a RNNencdec-50 (17,82 BLEU).
- En oraciones que no contienen palabras desconocidas (No UNK), RNNsearch-50* alcanza 36,15 BLEU, superando la línea base de traducción convencional basada en frases Moses (35,63 BLEU), a pesar de que Moses utiliza datos monolingües adicionales (418M de palabras).
Visualizaciones de alineación: los mapas de calor de $α_{ij}$ revelan alineaciones lingüísticas intuitivas, gestionando de forma natural reordenamientos de frases (por ejemplo, el orden sustantivo-adjetivo en inglés al orden adjetivo-sustantivo en francés) y frases compuestas de varias palabras.

Limitaciones y preguntas abiertas

Complejidad computacional: calcular $e_{ij}$ requiere $O (T_{x} \times T_{y})$ evaluaciones por par de oraciones, lo cual resulta costoso computacionalmente para secuencias muy largas.
Manejo de palabras raras o desconocidas: el modelo se basa en un vocabulario fijo (las 30.000 palabras más frecuentes), asignando las palabras fuera de vocabulario a [UNK], lo que perjudica el rendimiento en conjuntos de prueba abiertos.
Uso de datos monolingües: a diferencia de los sistemas estadísticos basados en frases que aprovechan fácilmente corpus monolingües masivos del lado de destino mediante modelos de lenguaje separados, la NMT puramente de extremo a extremo estaba limitada a datos paralelos.

Términos clave

RNNsearch: La arquitectura propuesta de traducción automática neuronal que utiliza un codificador RNN bidireccional y un decodificador basado en atención para alinear y traducir de forma conjunta.
soft alignment (alineación blanda): Una distribución de probabilidad continua sobre las posiciones de origen computada dinámicamente por un modelo de atención, en contraposición a un mapeo discreto o rígido 1 a 1.
context vector (vector de contexto): Un vector $c_{i}$ específico de cada paso temporal formado como una suma ponderada de las anotaciones de origen, que representa la información de origen relevante necesaria para generar la palabra de destino $y_{i}$ .
bidirectional RNN (BiRNN) (RNN bidireccional): Un codificador compuesto por pasadas recurrentes hacia adelante y hacia atrás cuyos estados ocultos se concatenan para capturar tanto el contexto precedente como el siguiente alrededor de cada palabra de origen.
alignment model (modelo de alineación): Una red neuronal prealimentada parametrizada como $v_{a}^{⊤} tanh (W_{a} s_{i - 1} + U_{a} h_{j})$ que puntúa la relevancia entre la anotación de origen $h_{j}$ y el estado oculto del decodificador $s_{i - 1}$ .
RNNencdec: La arquitectura estándar RNN Encoder–Decoder que condensa una oración fuente completa en un único vector de longitud fija antes de la decodificación.
gated hidden unit (unidad oculta con compuertas): Una unidad recurrente que cuenta con compuertas de reinicio y actualización (similar a una LSTM) diseñada para retener dependencias a largo plazo y mitigar el desvanecimiento del gradiente.

Preguntas

¿Por qué el RNN Encoder-Decoder estándar tiene dificultades con las oraciones largas?

Fuerza toda la información de una oración de longitud variable a un único vector de longitud fija, creando un cuello de botella de información que no logra preservar los detalles finos en entradas largas o complejas.

¿En qué se diferencia la atención de Bahdanau de métodos anteriores de alineación de secuencias como Graves (2013)?

La alineación para síntesis de escritura a mano de Graves forzaba a que los pesos de atención se movieran monotónicamente en una sola dirección, mientras que la atención de Bahdanau calcula puntuaciones en todas las posiciones de origen de forma no monotónica, lo que permite un reordenamiento flexible de las palabras.

¿Cómo se mantiene manejable el costo computacional del modelo de alineación?

Dado que el término de transformación de origen $U_{a} h_{j}$ no depende del paso $i$ del decodificador, se precalcula una sola vez para todos los tokens de origen antes de que comience la decodificación.

¿Qué tamaño de vocabulario se utilizó en los experimentos?

Los modelos utilizaron una lista corta de las 30.000 palabras más frecuentes para cada idioma; cualquier token fuera de esta lista se reemplazó con un token especial [UNK].

La explicación de esta página la escribió una IA a partir del artículo y puede contener errores. Consulte el artículo para los detalles.

Leer con traducción e IA