Neural Machine Translation by Jointly Learning to Align and Translate

Dzmitry Bahdanau; Kyunghyun Cho; Yoshua Bengio

论文 · arXiv 1409.0473

Neural Machine Translation by Jointly Learning to Align and Translate

Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio

发表于 2014-09-01cs.CLcs.LGcs.NEstat.ML arXiv PDF

用 XYZNOT 阅读（全文翻译与 AI 讲解）

三句话总结

🎯 标准编码器-解码器 NMT 模型将完整的源句子压缩为固定长度向量，导致在长句上的性能急剧下降。
🔧 作者引入了一种注意力机制：双向 RNN 编码器生成词级标注，解码器通过 MLP 动态计算软对齐权重。
📈 在英法翻译任务中，RNNsearch-50 在所有测试句子上取得了 28.45 的 BLEU 分数，在不含未登录词的句子上达到了 36.15，优于基于短语的 Moses（35.63）。

摘要

神经机器翻译是近期提出的一种机器翻译方法。与传统的统计机器翻译不同，神经机器翻译旨在构建一个可以联合调优以最大化翻译性能的单一神经网络。近期提出的神经机器翻译模型通常属于编码器-解码器家族，包含将源句子编码为固定长度向量的编码器，以及据此生成翻译的解码器。在本文中，我们推测使用固定长度向量是提升这种基础编码器-解码器架构性能的瓶颈，并提议对其进行扩展：允许模型自动（软）搜索与预测目标词相关的源句子部分，而无需显式地将这些部分形成为硬分段。借助这种新方法，我们在英语到法语的翻译任务上取得了与现有最先进的基于短语的系统相当的翻译性能。此外，定性分析表明，模型发现的（软）对齐与我们的直觉高度吻合。

英文原文摘要

Neural machine translation is a recently proposed approach to machine translation. Unlike the traditional statistical machine translation, the neural machine translation aims at building a single neural network that can be jointly tuned to maximize the translation performance. The models proposed recently for neural machine translation often belong to a family of encoder-decoders and consists of an encoder that encodes a source sentence into a fixed-length vector from which a decoder generates a translation. In this paper, we conjecture that the use of a fixed-length vector is a bottleneck in improving the performance of this basic encoder-decoder architecture, and propose to extend this by allowing a model to automatically (soft-)search for parts of a source sentence that are relevant to predicting a target word, without having to form these parts as a hard segment explicitly. With this new approach, we achieve a translation performance comparable to the existing state-of-the-art phrase-based system on the task of English-to-French translation. Furthermore, qualitative analysis reveals that the (soft-)alignments found by the model agree well with our intuition.

论文解读

问题与动机

标准的神经机器翻译（NMT）架构（如基础的 RNN Encoder–Decoder）将整个变长源句子压缩为一个单一的固定长度向量 $c$ 。解码器据此固定上下文向量生成目标翻译。这造成了信息瓶颈：随着句子长度的增加，将所有源端语义压缩到固定大小的表示中变得愈发困难，导致长句的翻译质量（BLEU 分数）显著恶化。

核心思想

使用标注序列代替单一向量：模型不再强求编码器将整句压缩为一个向量，而是利用双向循环神经网络（BiRNN）保留贯穿源句子的隐藏状态向量序列（标注）。
软对齐机制（注意力机制）：解码器不再将对齐视为需要启发式提取的离散或隐变量，而是在每个输出步计算源端标注上的连续“软对齐”权重。
可微的端到端训练：由于对齐被参数化为一个小型前馈神经网络，整个系统（编码器、注意力机制和解码器）可以通过反向传播联合训练。

方法

1. 编码器（双向 RNN）

源序列 $x = (x_{1}, \dots, x_{T_{x}})$ 由前向 RNN $f$ 和后向 RNN $f$ 使用门控隐藏单元处理： $h_{j} = f (x_{j}, h_{j - 1}), h_{j} = f (x_{j}, h_{j + 1})$ 源词 $x_{j}$ 的标注拼接了两个方向的隐藏状态： $h_{j} = [h_{j}^{⊤}; h_{j}^{⊤}]^{⊤}$

2. 带有软注意力的解码器

为了生成目标词 $y_{i}$ ，解码器通过编码器标注的加权和计算一个独特的上下文向量 $c_{i}$ ： $c_{i} = j = 1 \sum T_{x} α_{ij} h_{j}$ 其中对齐权重 $α_{ij}$ 通过对能量得分 $e_{ij}$ 进行 softmax 计算得出： $α_{ij} = \frac{exp ( e _{ij} )}{\sum _{k = 1}^{T_{x}} exp ( e _{ik} )}$ 能量得分 $e_{ij}$ 衡量了解码器状态 $s_{i - 1}$ 与源端标注 $h_{j}$ 的匹配程度，并被参数化为单层前馈网络： $e_{ij} = a (s_{i - 1}, h_{j}) = v_{a}^{⊤} tanh (W_{a} s_{i - 1} + U_{a} h_{j})$ 此处 $s_{i - 1}$ 为解码器隐藏状态，其更新方式为： $s_{i} = f (s_{i - 1}, y_{i - 1}, c_{i})$ 下一个词的概率分布以当前状态、上一标记和动态上下文为条件： $p (y_{i} ∣ y_{1}, \dots, y_{i - 1}, x) = g (y_{i - 1}, s_{i}, c_{i})$

实验结果

在 WMT '14 英语-法语基准测试（news-test-2014，3,003 句）上：

对长度的鲁棒性：当句子长度超过 30 个词时，基础编码器-解码器（RNNencdec-50）的 BLEU 发生严重下滑，而 RNNsearch-50 即使在超过 50 个词时也能保持稳定的 BLEU 分数。
翻译质量：
- 在所有测试句子上，RNNsearch-50 获得 26.75 BLEU（延长训练的 RNNsearch-50* 达到 28.45 BLEU），显著优于 RNNencdec-50（17.82 BLEU）。
- 在不包含未知词的句子（No UNK）上，RNNsearch-50* 达到 36.15 BLEU，超越了传统的基于短语的翻译基线 Moses（35.63 BLEU），尽管 Moses 使用了额外的单语数据（4.18 亿词）。
对齐可视化： $α_{ij}$ 的热力图展现了符合语言学直觉的对齐关系，能够自然地处理语序重排（例如英语的名词-形容词顺序转换为法语的形容词-名词顺序）以及多词短语。

局限性与开放问题

计算复杂度：计算 $e_{ij}$ 对每个句对需要 $O (T_{x} \times T_{y})$ 的计算量，处理超长序列时开销较大。
罕见词/未登录词处理：模型依赖固定大小的词表（30,000 个最高频词），词表外的词被映射为 [UNK]，这影响了在开放测试集上的表现。
单语数据的利用：与基于短语的统计系统能通过独立语言模型轻松利用海量目标端单语语料不同，纯端到端的 NMT 仅限于使用双语平行数据。

关键术语

RNNsearch: 本论文提出的神经机器翻译架构，使用双向 RNN 编码器和基于注意力的解码器来联合学习对齐与翻译。
soft alignment: 软对齐（Soft Alignment）：由注意力模型动态计算出的源端位置上的连续概率分布，与离散或硬性的一对一映射相对。
context vector: 上下文向量（Context Vector）：特定于每个时间步的向量 $c_{i}$ ，由源端标注加权求和构成，代表生成目标词 $y_{i}$ 所需的相关源端信息。
bidirectional RNN (BiRNN): 双向循环神经网络（Bidirectional RNN）：包含前向和后向循环传递的编码器，其隐藏状态拼接在一起，用以捕捉每个源词的前后上下文。
alignment model: 对齐模型（Alignment Model）：参数化为 $v_{a}^{⊤} tanh (W_{a} s_{i - 1} + U_{a} h_{j})$ 的前馈神经网络，用于为源端标注 $h_{j}$ 与解码器隐藏状态 $s_{i - 1}$ 之间的相关性打分。
RNNencdec: 标准的 RNN Encoder–Decoder 架构，在解码之前将整个源句子压缩为单一的固定长度向量。
gated hidden unit: 门控隐藏单元（Gated Hidden Unit）：具有重置门和更新门的循环单元（类似于 LSTM），旨在保留长期依赖性并缓解梯度消失。

常见问题

为什么标准的 RNN Encoder-Decoder 在处理长句时表现吃力？

因为它强制将可变长句子的所有信息压缩进一个固定长度的向量中，形成了信息瓶颈，无法为较长或复杂的输入保留细粒度的细节。

Bahdanau 注意力与先前的序列对齐方法（如 Graves (2013)）有何不同？

Graves 的手写合成对齐强行要求注意力权重沿单向单调移动，而 Bahdanau 注意力以非单调方式计算所有源端位置的得分，从而允许灵活的词序重排。

对齐模型的计算开销是如何保持在可控范围内的？

由于源端变换项 $U_{a} h_{j}$ 不依赖于解码步 $i$ ，因此可以在解码开始前对所有源端标记一次性预先计算完成。

实验中使用了多大的词表规模？

模型对每种语言使用了 30,000 个最常用词的缩减词表；该词表之外的任何词标记都会被替换为特殊的 [UNK] 标记。

本页解读由 AI 根据论文生成，可能有错误；细节请以原文为准。

用 XYZNOT 阅读（全文翻译与 AI 讲解）