Neural Machine Translation by Jointly Learning to Align and Translate

Dzmitry Bahdanau; Kyunghyun Cho; Yoshua Bengio

論文 · arXiv 1409.0473

Neural Machine Translation by Jointly Learning to Align and Translate

Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio

發表於 2014-09-01cs.CLcs.LGcs.NEstat.ML arXiv PDF

用 XYZNOT 閱讀（全文翻譯與 AI 講解）

三句話總結

🎯 標準編碼器－解碼器 NMT 模型將整個來源句壓縮為固定長度向量，導致在長句上的效能急劇下降。
🔧 作者引入了一種注意力機制（attention mechanism），其中雙向 RNN 編碼器生成詞註解，解碼器則透過 MLP 動態計算軟性對齊權重。
📈 在英法翻譯任務中，RNNsearch-50 在所有測試句子上達到 28.45 BLEU，在無未登錄詞的句子上達到 36.15 BLEU，超越了基於片語的 Moses（35.63 BLEU）。

摘要

神經機器翻譯（Neural machine translation）是近年提出的一種機器翻譯方法。與傳統的統計機器翻譯不同，神經機器翻譯旨在建立單一神經網絡，並能進行聯合微調以最大化翻譯效能。近期提出的神經機器翻譯模型通常屬於編碼器－解碼器（encoder-decoder）家族，包含一個將來源句子編碼為固定長度向量的編碼器，以及一個據此生成翻譯的解碼器。在本文中，我們推測使用固定長度向量是提升此基本編碼器－解碼器架構效能的瓶頸，並提出對其進行擴展：允許模型自動（軟性）搜尋與預測目標詞相關的來源句部分，而無需明確形成硬性區段。透過此新方法，我們在英法翻譯任務上取得了與現有最先進基於片語的系統相當的翻譯效能。此外，質性分析顯示模型所發現的（軟性）對齊結果高度符合我們的語言學直覺。

英文原文摘要

Neural machine translation is a recently proposed approach to machine translation. Unlike the traditional statistical machine translation, the neural machine translation aims at building a single neural network that can be jointly tuned to maximize the translation performance. The models proposed recently for neural machine translation often belong to a family of encoder-decoders and consists of an encoder that encodes a source sentence into a fixed-length vector from which a decoder generates a translation. In this paper, we conjecture that the use of a fixed-length vector is a bottleneck in improving the performance of this basic encoder-decoder architecture, and propose to extend this by allowing a model to automatically (soft-)search for parts of a source sentence that are relevant to predicting a target word, without having to form these parts as a hard segment explicitly. With this new approach, we achieve a translation performance comparable to the existing state-of-the-art phrase-based system on the task of English-to-French translation. Furthermore, qualitative analysis reveals that the (soft-)alignments found by the model agree well with our intuition.

論文解讀

問題與研究動機

標準神經機器翻譯（NMT）架構（如基本的 RNN Encoder–Decoder）會將長度可變的來源句整體壓縮為單一固定長度向量 $c$ 。解碼器再依據這個固定語境向量生成目標翻譯。這造成了資訊瓶頸：隨著句子長度增加，要將所有來源語意壓縮至固定大小的表示中變得愈發困難，導致長句的翻譯品質（BLEU 分數）顯著劣化。

核心概念

以註解序列取代單一向量：模型不再強迫編碼器將整個句子壓縮為單一向量，而是使用雙向循環神經網絡（BiRNN）保留貫穿來源句的隱藏狀態向量序列（註解）。
軟性對齊機制（注意力）：解碼器並未將對齊視為需要啟發式擷取的離散或隱性變數，而是在每個輸出步驟計算來源註解上的連續「軟性對齊」權重。
可微的端到端訓練：由於對齊被參數化為小型前饋神經網絡，整個系統（編碼器、注意力機制與解碼器）可透過反向傳播進行聯合訓練。

方法

1. 編碼器（雙向 RNN）

來源序列 $x = (x_{1}, \dots, x_{T_{x}})$ 由前向 RNN $f$ 與後向 RNN $f$ 透過門控隱藏單元進行處理： $h_{j} = f (x_{j}, h_{j - 1}), h_{j} = f (x_{j}, h_{j + 1})$ 來源詞 $x_{j}$ 的註解串接了兩個方向： $h_{j} = [h_{j}^{⊤}; h_{j}^{⊤}]^{⊤}$

2. 具軟性注意力的解碼器

為了生成目標詞 $y_{i}$ ，解碼器透過編碼器註解的加權總和計算出特定的語境向量 $c_{i}$ ： $c_{i} = j = 1 \sum T_{x} α_{ij} h_{j}$ 其中對齊權重 $α_{ij}$ 是透過對能量分數 $e_{ij}$ 進行 softmax 計算而得： $α_{ij} = \frac{exp ( e _{ij} )}{\sum _{k = 1}^{T_{x}} exp ( e _{ik} )}$ 能量分數 $e_{ij}$ 代表解碼器狀態 $s_{i - 1}$ 與來源註解 $h_{j}$ 的匹配程度，並參數化為單層前饋網絡： $e_{ij} = a (s_{i - 1}, h_{j}) = v_{a}^{⊤} tanh (W_{a} s_{i - 1} + U_{a} h_{j})$ 此處 $s_{i - 1}$ 為解碼器隱藏狀態，更新方式如下： $s_{i} = f (s_{i - 1}, y_{i - 1}, c_{i})$ 下一個詞的機率分佈則取決於當前狀態、前一個 token 以及動態語境： $p (y_{i} ∣ y_{1}, \dots, y_{i - 1}, x) = g (y_{i - 1}, s_{i}, c_{i})$

結果

在 WMT '14 英法基準測試（news-test-2014，3,003 個句子）上：

對長度的強健性：雖然基本編碼器－解碼器（RNNencdec-50）在句長超過 30 個詞時 BLEU 分數嚴重下滑，但 RNNsearch-50 即使超過 50 個詞仍能保持穩定的 BLEU 分數。
翻譯品質：
- 在所有測試句子上，RNNsearch-50 獲得 26.75 BLEU（訓練更久的版本 RNNsearch-50* 達 28.45 BLEU），超越了 RNNencdec-50（17.82 BLEU）。
- 在不含未登錄詞的句子（No UNK）上，RNNsearch-50* 達到 36.15 BLEU，超越傳統基於片語的翻譯基準模型 Moses（35.63 BLEU），儘管 Moses 額外使用了單語資料（4.18 億詞）。
對齊視覺化： $α_{ij}$ 的熱圖展現了直觀的語言學對齊，能自然處理詞序調換（例如英文的名詞－形容詞詞序轉換為法文的形容詞－名詞詞序）與多詞片語。

限制與開放研究問題

計算複雜度：計算 $e_{ij}$ 每個句對需要 $O (T_{x} \times T_{y})$ 次評估，對於非常長的序列計算成本很高。
罕見詞／未登錄詞處理：該模型依賴固定詞彙表（前 30,000 個最常見詞），將詞彙表外的詞對齊到 [UNK]，損害了在開放測試集上的表現。
單語資料利用：與能輕鬆透過獨立語言模型利用大量目標端單語語料庫的片語統計系統不同，純端對端 NMT 當時僅受限於平行語料。

關鍵術語

RNNsearch: 本研究提出的神經機器翻譯架構，採用雙向 RNN 編碼器與基於注意力機制的解碼器來聯合學習對齊與翻譯。
soft alignment: 軟性對齊（soft alignment）：由注意力模型動態計算出的來源位置連續機率分佈，有別於離散或硬性的 1 對 1 映射。
context vector: 語境向量（context vector）：針對特定時間步形成的向量 $c_{i}$ ，為來源註解的加權總和，代表生成目標詞 $y_{i}$ 所需的相關來源資訊。
bidirectional RNN (BiRNN): 雙向循環神經網絡（bidirectional RNN）：包含前向與後向遞歸遍歷的編碼器，其隱藏狀態串接以捕捉每個來源詞前後的雙向語境。
alignment model: 對齊模型（alignment model）：參數化為 $v_{a}^{⊤} tanh (W_{a} s_{i - 1} + U_{a} h_{j})$ 的前饋神經網絡，用於為來源註解 $h_{j}$ 與解碼器隱藏狀態 $s_{i - 1}$ 之間的相關性評分。
RNNencdec: 標準的 RNN Encoder–Decoder 架構，在解碼之前將整個來源句壓縮為單一固定長度向量。
gated hidden unit: 門控隱藏單元（gated hidden unit）：具備重置門與更新門的循環單元（類似 LSTM），旨在保留長距離相依性並減緩梯度消失問題。

常見問題

為什麼標準 RNN 編碼器－解碼器在長句上表現吃力？

因為它強迫將可變長度句子的所有資訊壓縮至單一固定長度向量中，造成資訊瓶頸，無法為冗長或複雜的輸入保留細微資訊。

Bahdanau 注意力與以往如 Graves (2013) 的序列對齊方法有何不同？

Graves 的筆跡合成對齊強制注意力權重只能單向單調移動，而 Bahdanau 注意力則在所有來源位置上以非單調方式計算分數，允許靈活的詞序重排。

對齊模型的計算成本是如何保持在可控範圍內的？

由於來源轉換項 $U_{a} h_{j}$ 不依賴解碼步驟 $i$ ，因此在解碼開始前，該項只需對所有來源 token 預先計算一次即可。

實驗中使用了多大的詞彙表？

模型對每種語言使用前 30,000 個最常見詞的候選列表；任何超出此範圍的 token 皆會被替換為特殊的 [UNK] token。

本頁解讀由 AI 根據論文生成，可能有錯誤；細節請以原文為準。

用 XYZNOT 閱讀（全文翻譯與 AI 講解）