Neural Machine Translation by Jointly Learning to Align and Translate

Dzmitry Bahdanau; Kyunghyun Cho; Yoshua Bengio

論文 · arXiv 1409.0473

Neural Machine Translation by Jointly Learning to Align and Translate

Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio

公開日 2014-09-01cs.CLcs.LGcs.NEstat.ML arXiv PDF

XYZNOT で読む（全文翻訳と AI 解説）

3行まとめ

🎯 標準的なエンコーダ・デコーダNMTモデルは原言語文全体を固定長ベクトルに圧縮するため、長文で性能が大幅に低下する。
🔧 双方向RNNエンコーダで単語のアノテーションを生成し、デコーダがMLPを介して動的にソフトアライメント重みを計算するアテンション機構を導入。
📈 英仏翻訳において、RNNsearch-50は全テスト文でBLEU 28.45、未知語なし文でBLEU 36.15を達成し、フレーズベースのMoses（35.63）を上回った。

概要

ニューラル機械翻訳は、近年提案された機械翻訳へのアプローチである。従来の統計的機械翻訳とは異なり、ニューラル機械翻訳は翻訳性能を最大化するようにエンドツーエンドで協調学習できる単一のニューラルネットワークの構築を目指す。近年提案されているニューラル機械翻訳モデルの多くはエンコーダ・デコーダの系統に属し、原言語の文を固定長ベクトルに符号化するエンコーダと、そこから訳文を生成するデコーダで構成される。本論文では、固定長ベクトルの使用がこの基本的なエンコーダ・デコーダアーキテクチャの性能向上におけるボトルネックになっていると推測し、訳語の予測に関連する原言語文の箇所を明示的にハードなセグメントとして分割することなく、モデルが自動的に（ソフトに）探索できるように拡張することを提案する。この新しい手法により、英語からフランス語への翻訳タスクにおいて、既存の最先端のフレーズベースシステムに匹敵する翻訳性能を達成した。さらに定性的分析により、モデルによって見出された（ソフトな）アライメントが我々の直感とよく一致することが明らかになった。

英語の原文概要

Neural machine translation is a recently proposed approach to machine translation. Unlike the traditional statistical machine translation, the neural machine translation aims at building a single neural network that can be jointly tuned to maximize the translation performance. The models proposed recently for neural machine translation often belong to a family of encoder-decoders and consists of an encoder that encodes a source sentence into a fixed-length vector from which a decoder generates a translation. In this paper, we conjecture that the use of a fixed-length vector is a bottleneck in improving the performance of this basic encoder-decoder architecture, and propose to extend this by allowing a model to automatically (soft-)search for parts of a source sentence that are relevant to predicting a target word, without having to form these parts as a hard segment explicitly. With this new approach, we achieve a translation performance comparable to the existing state-of-the-art phrase-based system on the task of English-to-French translation. Furthermore, qualitative analysis reveals that the (soft-)alignments found by the model agree well with our intuition.

論文解説

問題設定と動機

基本的なRNN Encoder–Decoderなどの標準的なニューラル機械翻訳（NMT）アーキテクチャは、可変長の原言語文全体を単一の固定長ベクトル $c$ に圧縮する。デコーダはこの固定されたコンテキストベクトルからターゲット訳文を生成する。これにより情報ボトルネックが発生する。文長が長くなるにつれて、原言語のすべての意味を固定サイズの表現に圧縮することが困難になり、長文において翻訳品質（BLEUスコア）が著しく低下する。

主要なアイデア

単一ベクトルの代わりにアノテーションの系列を使用: エンコーダに文全体を1つのベクトルへ圧縮させるのではなく、双方向リカレントニューラルネットワーク（BiRNN）を用いて、原言語文全体にわたる隠れ状態ベクトルの系列（アノテーション）を保持する。
ソフトアライメント機構（アテンション）: アライメントをヒューリスティックな抽出が必要な離散変数や潜在変数として扱うのではなく、デコーダが各出力ステップで原言語アノテーション全体に対する連続的な「ソフトアライメント」重みを計算する。
微分可能なエンドツーエンド学習: アライメントは小規模なフィードフォワードニューラルネットワークとしてパラメータ化されているため、システム全体（エンコーダ、アテンション機構、デコーダ）がバックプロパゲーションを介して一括で学習される。

手法

1. エンコーダ（双方向RNN）

入力系列 $x = (x_{1}, \dots, x_{T_{x}})$ は、ゲート付き隠れユニットを用いた順方向RNN $f$ および逆方向RNN $f$ によって処理される： $h_{j} = f (x_{j}, h_{j - 1}), h_{j} = f (x_{j}, h_{j + 1})$ 入力単語 $x_{j}$ のアノテーションは両方向の状態を連結したものである： $h_{j} = [h_{j}^{⊤}; h_{j}^{⊤}]^{⊤}$

2. ソフトアテンションを備えたデコーダ

ターゲット単語 $y_{i}$ を生成するために、デコーダはエンコーダのアノテーションの重み付き和として個別のコンテキストベクトル $c_{i}$ を計算する： $c_{i} = j = 1 \sum T_{x} α_{ij} h_{j}$ ここでアライメント重み $α_{ij}$ は、エネルギースコア $e_{ij}$ に対するソフトマックスを用いて計算される： $α_{ij} = \frac{exp ( e _{ij} )}{\sum _{k = 1}^{T_{x}} exp ( e _{ik} )}$ エネルギースコア $e_{ij}$ は、デコーダの状態 $s_{i - 1}$ と入力アノテーション $h_{j}$ がどれだけ一致しているかを表し、単層フィードフォワードネットワークとしてパラメータ化される： $e_{ij} = a (s_{i - 1}, h_{j}) = v_{a}^{⊤} tanh (W_{a} s_{i - 1} + U_{a} h_{j})$ ここで $s_{i - 1}$ はデコーダの隠れ状態であり、以下のように更新される： $s_{i} = f (s_{i - 1}, y_{i - 1}, c_{i})$ 次の単語の確率分布は、現在の状態、前ステップのトークン、および動的コンテキストを条件とする： $p (y_{i} ∣ y_{1}, \dots, y_{i - 1}, x) = g (y_{i - 1}, s_{i}, c_{i})$

実験結果

WMT '14 英仏翻訳ベンチマーク（news-test-2014、3,003文）において：

文長に対する頑健性: 基本的なエンコーダ・デコーダ（RNNencdec-50）は文長が30単語を超えるとBLEUが著しく低下するが、RNNsearch-50 は50単語を超えても安定したBLEUスコアを維持する。
翻訳品質:
- すべてのテスト文において、RNNsearch-50 は26.75 BLEU（長時間の学習を行った RNNsearch-50* では28.45 BLEU）を達成し、RNNencdec-50（17.82 BLEU）を大きく上回った。
- 未知語を含まない文（No UNK）において、RNNsearch-50* は36.15 BLEUに達し、追加の単一言語データ（4億1,800万語）を使用している従来のフレーズベース翻訳ベースラインである Moses（35.63 BLEU）を上回った。
アライメントの可視化: $α_{ij}$ のヒートマップは、語順の並び替え（例：英語の「名詞-形容詞」からフランス語の「形容詞-名詞」への変化）や複数語からなる成句を自然に捉え、直感に沿った言語的アライメントを示した。

限界と未解決の課題

計算量: $e_{ij}$ の計算には文ペアごとに $O (T_{x} \times T_{y})$ 回の評価が必要であり、非常に長い系列では計算コストが高くなる。
希少語・未知語の処理: 最も頻出する30,000語の固定語彙に依存しており、語彙外の単語は [UNK] にマッピングされるため、オープンなテストセットでの性能が低下する。
単一言語データの活用: 独立した言語モデルを介してターゲット側の膨大な単一言語コーパスを容易に活用できるフレーズベースの統計的システムとは異なり、純粋なエンドツーエンドNMTは並行データのみに依存していた。

重要用語

RNNsearch: 双方向RNNエンコーダとアテンションベースのデコーダを使用して、アライメントと翻訳を協調的に学習する提案されたニューラル機械翻訳アーキテクチャ。
soft alignment: 離散的またはハードな1対1のマッピングではなく、アテンションモデルによって動的に計算される入力位置に対する連続的な確率分布。
context vector: 入力アノテーションの重み付き和として形成されるタイムステップ固有のベクトル $c_{i}$ であり、ターゲット単語 $y_{i}$ の生成に必要な関連入力情報を表す。
bidirectional RNN (BiRNN): 順方向と逆方向のリカレント処理で構成され、各隠れ状態を連結して入力単語の前後の文脈の両方を捉えるエンコーダ。
alignment model: $v_{a}^{⊤} tanh (W_{a} s_{i - 1} + U_{a} h_{j})$ としてパラメータ化され、入力アノテーション $h_{j}$ とデコーダの隠れ状態 $s_{i - 1}$ の間の関連度をスコアリングするフィードフォワードニューラルネットワーク。
RNNencdec: デコード前に原言語文全体を単一の固定長ベクトルに圧縮する標準的なRNN Encoder–Decoderアーキテクチャ。
gated hidden unit: 長期依存関係を保持し勾配消失を緩和するように設計された、リセットゲートと更新ゲートを備えたリカレントユニット（LSTMに類似）。

よくある質問

なぜ標準的なRNN Encoder-Decoderは長文で性能が低下するのですか？

可変長の文のすべての情報を単一の固定長ベクトルに強制的に詰め込むため、情報ボトルネックが生じ、長文や複雑な入力の詳細な情報を保持できなくなるためです。

BahdanauアテンションはGraves（2013）などの以前の系列アライメント手法とどう異なりますか？

Gravesの手書き文字合成におけるアライメントはアテンションの重みが一方向に単調増加することを強制していましたが、Bahdanauアテンションはすべての入力位置に対して非単調にスコアを計算するため、柔軟な語順の並び替えが可能です。

アライメントモデルの計算コストはどのように抑えられていますか？

入力側の変換項 $U_{a} h_{j}$ はデコーダのステップ $i$ に依存しないため、デコード開始前にすべての入力トークンに対して一度だけ事前計算されます。

実験ではどのくらいの語彙サイズが使用されましたか？

各言語で最も頻出する上位30,000語のショートリストが使用され、このリストに含まれないトークンはすべて特殊な [UNK] トークンに置き換えられました。

このページの解説は AI が論文から作成したもので、誤りを含む場合があります。詳細は原文をご確認ください。

XYZNOT で読む（全文翻訳と AI 解説）