Neural Machine Translation by Jointly Learning to Align and Translate

Dzmitry Bahdanau; Kyunghyun Cho; Yoshua Bengio

Статьи · arXiv 1409.0473

Нейронный машинный перевод путем совместного обучения выравниванию и переводу

Neural Machine Translation by Jointly Learning to Align and Translate

Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio

Опубликовано 2014-09-01cs.CLcs.LGcs.NEstat.ML arXiv PDF

Читать с переводом и ИИ

Кратко в трёх строках

🎯 Стандартные NMT-модели encoder-decoder сжимают предложение в вектор фиксированной длины, что резко снижает качество на длинных фразах.
🔧 Авторы внедряют механизм внимания: двунаправленный RNN-энкодер формирует аннотации слов, а декодер динамически вычисляет веса выравнивания через MLP.
📈 На переводе с английского на французский RNNsearch-50 достигает 28.45 BLEU на всех тестах и 36.15 BLEU без неизвестных слов, опережая фразовый Moses (35.63).

Аннотация

Нейронный машинный перевод — недавно предложенный подход к машинному переводу. В отличие от традиционного статистического машинного перевода, нейросетевой подход нацелен на построение единой нейронной сети, которую можно оптимизировать целиком для максимизации качества перевода. Предложенные в последнее время модели нейронного перевода часто относятся к семейству encoder-decoder и состоят из энкодера, кодирующего исходное предложение в вектор фиксированной длины, и декодера, генерирующего перевод на его основе. В данной статье мы выдвигаем гипотезу о том, что использование вектора фиксированной длины является узким местом, препятствующим улучшению качества базовой архитектуры encoder-decoder. Мы предлагаем расширить ее, позволяя модели автоматически осуществлять (мягкий) поиск частей исходного предложения, релевантных для предсказания целевого слова, без необходимости явного выделения жестких сегментов. С помощью нового подхода мы достигли качества перевода, сопоставимого с существующей современной системой на основе фраз в задаче перевода с английского языка на французский. Кроме того, качественный анализ показывает, что найденные моделью (мягкие) выравнивания хорошо согласуются с человеческой интуицией.

Оригинальная аннотация (англ.)

Neural machine translation is a recently proposed approach to machine translation. Unlike the traditional statistical machine translation, the neural machine translation aims at building a single neural network that can be jointly tuned to maximize the translation performance. The models proposed recently for neural machine translation often belong to a family of encoder-decoders and consists of an encoder that encodes a source sentence into a fixed-length vector from which a decoder generates a translation. In this paper, we conjecture that the use of a fixed-length vector is a bottleneck in improving the performance of this basic encoder-decoder architecture, and propose to extend this by allowing a model to automatically (soft-)search for parts of a source sentence that are relevant to predicting a target word, without having to form these parts as a hard segment explicitly. With this new approach, we achieve a translation performance comparable to the existing state-of-the-art phrase-based system on the task of English-to-French translation. Furthermore, qualitative analysis reveals that the (soft-)alignments found by the model agree well with our intuition.

Разбор статьи

Проблема и мотивация

Стандартные архитектуры нейронного машинного перевода (NMT), такие как базовая RNN Encoder–Decoder, сжимают все исходное предложение переменной длины в один вектор фиксированной длины $c$ . На основе этого фиксированного вектора контекста декодер генерирует целевой перевод. Это создает информационное «узкое место»: по мере увеличения длины предложения сохранять всю семантику источника в представлении фиксированного размера становится все сложнее, из-за чего качество перевода (оценка BLEU) существенно снижается на длинных предложениях.

Ключевые идеи

Последовательность аннотаций вместо единого вектора: вместо сжатия всего предложения в один вектор модель сохраняет последовательность векторов скрытых состояний (аннотаций) по всему исходному предложению с помощью двунаправленной рекуррентной нейронной сети (BiRNN).
Механизм мягкого выравнивания (внимание): вместо того чтобы рассматривать выравнивание как дискретную или скрытую переменную, требующую эвристического извлечения, декодер на каждом шаге генерации вычисляет непрерывные веса «мягкого выравнивания» поверх аннотаций источника.
Дифференцируемое сквозное обучение (End-to-End): поскольку модель выравнивания параметризована небольшой полносвязной сетью, вся система целиком (энкодер, механизм внимания и декодер) обучается совместно методом обратного распространения ошибки.

Метод

1. Энкодер (Двунаправленная RNN)

Исходная последовательность $x = (x_{1}, \dots, x_{T_{x}})$ обрабатывается прямой RNN $f$ и обратной RNN $f$ с вентильными скрытыми элементами: $h_{j} = f (x_{j}, h_{j - 1}), h_{j} = f (x_{j}, h_{j + 1})$ Аннотация для исходного слова $x_{j}$ формируется конкатенацией обоих направлений: $h_{j} = [h_{j}^{⊤}; h_{j}^{⊤}]^{⊤}$

2. Декодер с механизмом мягкого внимания (Soft Attention)

Чтобы сгенерировать целевое слово $y_{i}$ , декодер вычисляет индивидуальный вектор контекста $c_{i}$ как взвешенную сумму аннотаций энкодера: $c_{i} = j = 1 \sum T_{x} α_{ij} h_{j}$ где вес выравнивания $α_{ij}$ вычисляется с помощью softmax от показателей энергии $e_{ij}$ : $α_{ij} = \frac{exp ( e _{ij} )}{\sum _{k = 1}^{T_{x}} exp ( e _{ik} )}$ Показатель энергии $e_{ij}$ отражает степень соответствия скрытого состояния декодера $s_{i - 1}$ аннотации источника $h_{j}$ и параметризуется однослойной сетью прямого распространения: $e_{ij} = a (s_{i - 1}, h_{j}) = v_{a}^{⊤} tanh (W_{a} s_{i - 1} + U_{a} h_{j})$ Здесь $s_{i - 1}$ — скрытое состояние декодера, обновляемое следующим образом: $s_{i} = f (s_{i - 1}, y_{i - 1}, c_{i})$ Распределение вероятностей следующего слова обусловлено текущим состоянием, предыдущим токеном и динамическим контекстом: $p (y_{i} ∣ y_{1}, \dots, y_{i - 1}, x) = g (y_{i - 1}, s_{i}, c_{i})$

Результаты

На бенчмарке WMT '14 для пары английский–французский (news-test-2014, 3 003 предложения):

Устойчивость к длине предложений: если у базового энкодер-декодера (RNNencdec-50) качество по BLEU резко падает при длине предложений свыше 30 слов, то RNNsearch-50 сохраняет стабильно высокие показатели BLEU даже на предложениях длиннее 50 слов.
Качество перевода:
- На всех тестовых предложениях RNNsearch-50 достигает 26.75 BLEU (и 28.45 BLEU при более длительном обучении — RNNsearch-50*), существенно превосходя RNNencdec-50 (17.82 BLEU).
- На предложениях без неизвестных слов (No UNK) RNNsearch-50* достигает 36.15 BLEU, опережая классическую фразовую систему Moses (35.63 BLEU), несмотря на то, что в Moses использовались дополнительные одноязычные данные (418 млн слов).
Визуализация выравнивания: тепловые карты $α_{ij}$ демонстрируют интуитивно понятные лингвистические соответствия, естественно обрабатывая перестановку порядка слов (например, порядок «существительное-прилагательное» в английском против «прилагательное-существительное» во французском) и многословные фразы.

Ограничения и открытые вопросы

Вычислительная сложность: вычисление $e_{ij}$ требует $O (T_{x} \times T_{y})$ операций для каждой пары предложений, что накладно для очень длинных последовательностей.
Обработка редких и неизвестных слов: модель опирается на фиксированный словарь (30 000 наиболее частотных слов), заменяя слова вне словаря на [UNK], что ухудшает качество на открытых тестах.
Использование монолингвальных данных: в отличие от систем статистического перевода, которые легко интегрируют огромные объемы неразмеченных целевых текстов через отдельные языковые модели, чистый сквозной NMT был ограничен только параллельными корпусами.

Ключевые термины

RNNsearch: Предложенная архитектура нейронного машинного перевода, использующая двунаправленный RNN-энкодер и декодер с механизмом внимания для совместного выравнивания и перевода.
soft alignment: Мягкое выравнивание — непрерывное вероятностное распределение по позициям источника, динамически вычисляемое моделью внимания, в отличие от дискретного жесткого отображения «один к одному».
context vector: Вектор контекста $c_{i}$ , вычисляемый на каждом шаге декодирования как взвешенная сумма аннотаций источника и несущий релевантную информацию для генерации целевого слова $y_{i}$ .
bidirectional RNN (BiRNN): Двунаправленная рекуррентная нейронная сеть — энкодер с прямым и обратным рекуррентными проходами, чьи скрытые состояния конкатенируются для учета контекста слева и справа от каждого слова.
alignment model: Модель выравнивания — сеть прямого распространения вида $v_{a}^{⊤} tanh (W_{a} s_{i - 1} + U_{a} h_{j})$ , оценивающая соответствие между аннотацией источника $h_{j}$ и скрытым состоянием декодера $s_{i - 1}$ .
RNNencdec: Стандартная архитектура RNN Encoder–Decoder, сжимающая все исходное предложение в единый вектор фиксированной длины перед декодированием.
gated hidden unit: Вентильный рекуррентный блок со скрытым состоянием (наподобие LSTM или GRU), снабженный вентилями сброса и обновления для сохранения долговременных зависимостей и борьбы с затуханием градиента.

Вопросы

Почему стандартная архитектура RNN Encoder-Decoder плохо справляется с длинными предложениями?

Она принудительно сжимает всю информацию из предложения переменной длины в один вектор фиксированного размера, создавая «бутылочное горлышко», из-за чего теряются важные детали длинных и сложных входных фраз.

Чем внимание Бахданау отличается от предшествующих методов выравнивания последовательностей, таких как Graves (2013)?

В задаче синтеза рукописного текста у Грейвса веса внимания монотонно сдвигались только в одном направлении, тогда как внимание Бахданау оценивает все позиции источника без ограничений на монотонность, допуская произвольный порядок перестановки слов.

Как удалось оптимизировать вычислительную сложность модели выравнивания?

Поскольку часть линейного преобразования источника $U_{a} h_{j}$ не зависит от шага декодирования $i$ , ее предварительно рассчитывают один раз для всех исходных токенов до начала работы декодера.

Какой размер словаря использовался в экспериментах?

Модели использовали ограниченный словарь из 30 000 наиболее частотных слов для каждого языка; любые токены за пределами этого списка заменялись специальным токеном [UNK].

Обзор на этой странице написан ИИ по тексту статьи и может содержать ошибки. Подробности смотрите в самой статье.

Читать с переводом и ИИ