Attention Is All You Need

Ashish Vaswani; Noam Shazeer; Niki Parmar; Jakob Uszkoreit; Llion Jones; Aidan N. Gomez; Lukasz Kaiser; Illia Polosukhin

論文 · arXiv 1706.03762

Attention Is All You Need

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin

公開日 2017-06-12cs.CLcs.LG arXiv PDF

XYZNOT で読む（全文翻訳と AI 解説）

3行まとめ

🎯 再帰型モデルはトークン位置に沿って順次処理を行うため、訓練シーケンス内の並列化が妨げられ、長距離のパス長に苦戦する。
🔧 スケールド・ドットプロダクトによるMulti-Head Self-AttentionとPosition-wise Feed-Forward Networkのみで構成されるエンコーダ・デコーダアーキテクチャ「Transformer」を導入。
📈 WMT 2014 English-to-Germanで28.4 BLEU、English-to-Frenchで41.8 BLEUのSOTA翻訳精度を達成し、8基のGPUで3.5日で訓練を完了。

概要

主流の系列変換モデルは、エンコーダ・デコーダ構成による複雑な再帰型または畳み込みニューラルネットワークに基づいている。最も優れた性能を示すモデルも、アテンション機構を介してエンコーダとデコーダを接続している。本論文では、再帰や畳み込みを完全に排除し、アテンション機構のみに基づくシンプルで新しいネットワークアーキテクチャであるTransformerを提案する。2つの機械翻訳タスクにおける実験により、これらのモデルはより並列化が可能であり、訓練時間を大幅に短縮しながらも品質面で優れていることが示された。本モデルはWMT 2014 English-to-German翻訳タスクで28.4 BLEUを達成し、アンサンブルを含む既存の最高結果を2 BLEU以上更新した。さらにWMT 2014 English-to-French翻訳タスクでは、8基のGPUで3.5日間訓練した後に41.8 BLEUという新たな単一モデルのSOTAスコアを確立し、文献上の最高モデルの訓練コストのほんの一部で済んだ。大規模および限られた訓練データの双方において英語の構成句構文解析にTransformerを適用して成功を収め、他タスクへの汎化性能が高いことも実証する。

英語の原文概要

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results, including ensembles by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.8 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. We show that the Transformer generalizes well to other tasks by applying it successfully to English constituency parsing both with large and limited training data.

論文解説

問題意識と動機

従来の代表的な系列変換アーキテクチャは、エンコーダ・デコーダ構造で構成された再帰型ニューラルネットワーク（LSTMやGRUなど）または畳み込みニューラルネットワークに依存していた。再帰型ネットワークは本質的に隠れ状態表現を逐次的に計算するため（ $h_{t - 1}$ と入力 $t$ に依存する $h_{t}$ ）、訓練サンプルの時間ステップ間での並列化が不可能であった。さらに、再帰型ネットワークで離れた位置同士を関係づけるには $O (n)$ の逐次演算が必要であり、ConvS2SやByteNetのような畳み込みモデルでも、任意の位置間を接続するのに $O (n)$ または $O (lo g_{k} (n))$ の演算を要していた。著者らは、再帰と畳み込みを完全に排除し、系列長全体にわたる完全な並列化を実現するとともに、任意の2つのトークン間の最大パス長を $O (1)$ に短縮するアーキテクチャの構築を目指した。

主要なアイデア

Pure Attention Architecture: 再帰的な接続を完全にアテンション機構に置き換え、系列内のすべての位置にわたる依存関係を直接マッピングする。
Scaled Dot-Product Attention: 乗算ドット積を $\frac{1}{d _{k}}$ でスケーリングすることで、高次元においてドット積の値が極端に大きくなり、softmax関数が勾配の極めて小さい領域に押し出されるのを防ぐ。
Multi-Head Attention: クエリ、キー、バリューを複数の低次元表現部分空間に並列で線形射影することで、モデルが異なる位置や異なる表現空間からの情報に同時に注目できるようにする。
Positional Encoding: アテンション演算は順序不変（permutation-invariant）であるため、トークンの順序情報をエンコードする目的で、異なる周波数の固定正弦波関数を入力および出力の埋め込みベクトルに加算する。

手法

Transformerは、エンコーダとデコーダのそれぞれに $N = 6$ 個の同一の層を積み重ねたフレームワークを使用する。

エンコーダとデコーダ

各エンコーダ層には、Multi-Head Self-Attention機構と、Position-wise Fully Connected Feed-Forward Network（FFN）の2つのサブレイヤーが存在する。各サブレイヤーには残差接続とLayer Normalizationが適用され、 $LayerNorm (x + Sublayer (x))$ として計算される（次元数 $d_{model} = 512$ ）。

各デコーダ層は3つのサブレイヤーで構成される。自己回帰的なデコードを維持するために未来の位置をマスクするMasked Multi-Head Self-Attention、エンコーダスタックの出力に対するMulti-Head Cross-Attention、そしてPosition-wise FFNである。

数式による定式化

行列 $Q, K, V$ に対するScaled Dot-Product Attentionは次のように計算される： $Attention (Q, K, V) = softmax (\frac{Q K ^{T}}{d _{k}}) V$

Multi-Head Attentionは $h$ 個の並列射影を結合する： $MultiHead (Q, K, V) = Concat (head_{1}, \dots, head_{h}) W^{O}$ $where head_{i} = Attention (Q W_{i}^{Q}, K W_{i}^{K}, V W_{i}^{V})$ ベースモデルでは $h = 8$ 、 $d_{k} = d_{v} = d_{model} / h = 64$ と設定される。

Position-wise Feed-Forwardサブレイヤーは各位置に同一に適用される： $FFN (x) = max (0, x W_{1} + b_{1}) W_{2} + b_{2}$ ここで内部層の次元数は $d_{ff} = 2048$ である。

Positional Encodingはサイン関数とコサイン関数によって定義される： $P E_{(p os, 2 i)} = sin (\frac{p os}{1000 0 ^{2 i / d_{model}}})$ $P E_{(p os, 2 i + 1)} = cos (\frac{p os}{1000 0 ^{2 i / d_{model}}})$

結果

WMT 2014 English-to-German: Transformer (big) はSOTAスコアとなる 28.4 BLEU を達成し、以前のモデルやアンサンブルを 2.0 BLEU 以上上回った。ベースモデルは $3.3 \times 1 0^{18}$ FLOPs で 27.3 BLEU を達成し、従来のアーキテクチャの計算コストのほんの一部で動作した。
WMT 2014 English-to-French: Bigモデルは単一モデルで 41.8 BLEU を達成し、8基のNVIDIA P100 GPUで3.5日間の訓練（ $2.3 \times 1 0^{19}$ FLOPs）を行った後、新たなSOTAを樹立した。
英語の構成句構文解析（English Constituency Parsing）: タスク固有のチューニングを行わずにWSJ Section 23で評価したところ、4層のTransformerは識別的設定で 91.3 $F_{1}$ 、半教師あり設定で 92.7 $F_{1}$ を達成し、RNNベースラインを上回った。

限界と未解決の課題

標準的なSelf-Attentionは層ごとに $O (n^{2} \cdot d)$ の計算量を持ち、系列長 $n$ が非常に長くなると計算コストが極めて高くなる。
デコーダでの生成は依然として自己回帰的（トークンを1つずつ順番に生成）であるため、推論時のレイテンシに制約がかかる。
論文中では、画像、音声、動画などの膨大な入出力コンテキストを効率的に処理するために、局所的または制限されたアテンション近傍（ $r$ ）の調査が必要であると言及されている。

重要用語

Transformer: 再帰や畳み込みを使用せず、自己アテンション機構のみに基づいた系列変換モデルアーキテクチャ。
Scaled Dot-Product Attention: バリューに対するsoftmaxを計算する前に、クエリとキーの内積をキー次元の平方根 $d_{k}$ で除算するアテンション関数。
Multi-Head Attention: クエリ、キー、バリューを複数の表現部分空間に並列射影した後に、出力を結合して線形射影するアテンション機構。
Self-Attention: 単一の系列内の異なる位置を関連付けて、その系列の表現を計算する系列内アテンション機構。
Positional Encoding: 順序不変なアテンション層にトークンの系列順序情報を付与するため、トークン埋め込みに加算される固定または学習可能なベクトル表現。
Residual Dropout: 各サブレイヤーの出力に対して、入力を加算してLayer Normalizationを適用する前に行われるドロップアウト、およびトークン埋め込みに適用されるドロップアウト。
Label Smoothing: 過度な確信を持つ予測にペナルティを与える正則化手法（ハイパーパラメータ $ϵ_{l s} = 0.1$ ）。パープレキシティは悪化するもののBLEUスコアを向上させる。
Constituency Parsing: 構造的制約があり長いターゲット出力を必要とする統語的NLPタスク。Transformerアーキテクチャの汎化性能を実証するために用いられた。

よくある質問

なぜ Scaled Dot-Product Attention では $\sqrt{d_k}$ で割るのですか？

$d_{k}$ の値が大きい場合、ドット積の絶対値が非常に大きくなり（平均0、分散1の仮定下ではドット積の分散は $d_{k}$ になる）、softmax関数の勾配が極端に小さい領域へと追いやられてしまいます。 $\frac{1}{d _{k}}$ でスケーリングすることで、この影響を打ち消します。

Transformerは再帰を用いずにどのようにトークンの順序を保持していますか？

エンコーダおよびデコーダのスタックの最下部で、入力および出力の埋め込みに正弦波関数によるPositional Encodingを直接加算し、各トークン位置に固有の周波数ベースのパターンを付与しています。

訓練中にデコーダの位置が未来のトークンに注目するのをどのように防いでいますか？

デコーダのSelf-Attentionサブレイヤーではマスキングが使用されており、後続の不正な接続に対応するsoftmax入力の値を $- \infty$ に設定することで防止しています。

訓練環境と計算要件はどのようなものでしたか？

ベースモデルは8基のNVIDIA P100 GPUを搭載した単一マシンで100,000ステップ（1ステップあたり0.4秒で計12時間）訓練されました。Bigモデルは300,000ステップ（1ステップあたり1.0秒で計3.5日間）訓練されました。

このページの解説は AI が論文から作成したもので、誤りを含む場合があります。詳細は原文をご確認ください。

XYZNOT で読む（全文翻訳と AI 解説）