Attention Is All You Need

Ashish Vaswani; Noam Shazeer; Niki Parmar; Jakob Uszkoreit; Llion Jones; Aidan N. Gomez; Lukasz Kaiser; Illia Polosukhin

Paper · arXiv 1706.03762

Attention Is All You Need

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin

Veröffentlicht 2017-06-12cs.CLcs.LG arXiv PDF

Mit Übersetzung und KI lesen

Zusammenfassung in drei Zeilen

🎯 Rekurrente Modelle arbeiten sequenziell entlang der Token-Positionen, was die Parallelisierung innerhalb von Trainingssequenzen verhindert und zu langen Pfadlängen führt.
🔧 Führt den Transformer ein, eine Encoder-Decoder-Architektur, die vollständig auf Scaled Dot-Product Multi-Head Self-Attention und positionsweisen Feed-Forward-Netzwerken basiert.
📈 Erzielt State-of-the-Art-Übersetzungen mit 28,4 BLEU auf WMT 2014 Englisch-Deutsch und 41,8 BLEU auf Englisch-Französisch bei nur 3,5 Tagen Training auf 8 GPUs.

Abstract

Die vorherrschenden Modelle zur Sequenzverarbeitung basieren auf komplexen rekurrenten oder faltungsbasierten neuronalen Netzen in einer Encoder-Decoder-Konfiguration. Die leistungsstärksten Modelle verbinden Encoder und Decoder zudem über einen Attention-Mechanismus. Wir schlagen eine neue, einfache Netzwerkarchitektur vor, den Transformer, der ausschließlich auf Attention-Mechanismen basiert und gänzlich auf Rekurrenz und Faltungen verzichtet. Experimente zu zwei maschinellen Übersetzungsaufgaben zeigen, dass diese Modelle qualitativ überlegen sind, sich zugleich besser parallelisieren lassen und deutlich weniger Trainingszeit erfordern. Unser Modell erreicht 28,4 BLEU bei der Übersetzung von Englisch nach Deutsch (WMT 2014) und verbessert die bestehenden Bestwerte, einschließlich Ensembles, um über 2 BLEU. Bei der Aufgabe Englisch nach Französisch (WMT 2014) stellt unser Modell nach 3,5 Tagen Training auf acht GPUs mit einem BLEU-Wert von 41,8 einen neuen State-of-the-Art-Wert für Einzelmodelle auf – zu einem Bruchteil der Trainingskosten der besten Modelle aus der Literatur. Wir zeigen, dass sich der Transformer gut auf andere Aufgaben generalisieren lässt, indem wir ihn sowohl mit großen als auch mit begrenzten Trainingsdaten erfolgreich auf das englische Constituency Parsing anwenden.

Original-Abstract (Englisch)

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results, including ensembles by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.8 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. We show that the Transformer generalizes well to other tasks by applying it successfully to English constituency parsing both with large and limited training data.

Leseleitfaden

Problem und Motivation

Bisherige Architekturen zur Sequenzverarbeitung stützten sich auf rekurrente neuronale Netze (wie LSTM oder GRU) oder Convolutional Neural Networks, die in Encoder-Decoder-Strukturen angeordnet waren. Rekurrente Netze berechnen verborgene Repräsentationen inhärent sequenziell ( $h_{t}$ konditioniert auf $h_{t - 1}$ und Eingabe $t$ ), was eine Parallelisierung über Zeitschritte innerhalb von Trainingsbeispielen unmöglich macht. Zudem erfordert die Verknüpfung weit entfernter Positionen in rekurrenten Netzen $O (n)$ sequentielle Operationen, während Faltungsmodelle wie ConvS2S und ByteNet $O (n)$ oder $O (lo g_{k} (n))$ Operationen benötigen, um beliebige Positionen miteinander zu verbinden. Ziel der Autoren war es, eine Architektur zu entwickeln, die gänzlich ohne Rekurrenz und Faltungen auskommt, eine vollständige Parallelisierung über Sequenzlängen hinweg ermöglicht und die maximale Pfadlänge zwischen beliebigen Token auf $O (1)$ reduziert.

Zentrale Ideen

Reine Attention-Architektur: Vollständiger Ersatz rekurrenter Verbindungen durch Attention-Mechanismen, die Abhängigkeiten direkt über alle Positionen einer Sequenz hinweg abbilden.
Scaled Dot-Product Attention: Skalierung multiplikativer Skalarprodukte mit $\frac{1}{d _{k}}$ , um zu verhindern, dass Skalarproduktwerte in hohen Dimensionen zu groß werden, was Softmax-Funktionen in Regionen mit verschwindend kleinen Gradienten drängen würde.
Multi-Head Attention: Lineare Projektion von Queries, Keys und Values in mehrere niedrigdimensionale Repräsentationsunterräume parallel, wodurch das Netz gleichzeitig Informationen aus verschiedenen Positionen und Repräsentationsräumen verarbeiten kann.
Positional Encoding: Da Attention-Operationen permutationsinvariant sind, werden feste Sinus- und Kosinusfunktionen unterschiedlicher Frequenzen zu den Eingabe- und Ausgabe-Embeddings addiert, um die Token-Reihenfolge zu kodieren.

Methode

Der Transformer verwendet ein Encoder-Decoder-Framework mit jeweils $N = 6$ identischen, aufeinander gestapelten Schichten.

Encoder und Decoder

Jede Encoder-Schicht besteht aus zwei Teilschichten: einem Multi-Head Self-Attention-Mechanismus und einem positionsweisen vollvernetzten Feed-Forward-Netzwerk (FFN). Für jede Teilschicht werden Residuenverbindungen und Schichtnormalisierung angewendet: $LayerNorm (x + Sublayer (x))$ , operierend über der Dimension $d_{model} = 512$ .

Jede Decoder-Schicht enthält drei Teilschichten: maskierte Multi-Head Self-Attention (die zukünftige Positionen ausmaskiert, um autoregressives Decodieren zu gewährleisten), Multi-Head Cross-Attention über die Ausgaben des Encoder-Stapels und ein positionsweises FFN.

Mathematische Formulierung

Die Scaled Dot-Product Attention auf den Matrizen $Q, K, V$ wird wie folgt berechnet: $Attention (Q, K, V) = softmax (\frac{Q K ^{T}}{d _{k}}) V$

Multi-Head Attention kombiniert $h$ parallele Projektionen: $MultiHead (Q, K, V) = Concat (head_{1}, \dots, head_{h}) W^{O}$ $wobei head_{i} = Attention (Q W_{i}^{Q}, K W_{i}^{K}, V W_{i}^{V})$ Für das Basismodell gilt $h = 8$ und $d_{k} = d_{v} = d_{model} / h = 64$ .

Die positionsweise Feed-Forward-Teilschicht wird auf jede Position identisch angewendet: $FFN (x) = max (0, x W_{1} + b_{1}) W_{2} + b_{2}$ wobei die innere Dimension $d_{ff} = 2048$ beträgt.

Die Positional Encodings sind durch Sinus- und Kosinusfunktionen definiert: $P E_{(p os, 2 i)} = sin (\frac{p os}{1000 0 ^{2 i / d_{model}}})$ $P E_{(p os, 2 i + 1)} = cos (\frac{p os}{1000 0 ^{2 i / d_{model}}})$

Ergebnisse

WMT 2014 Englisch-zu-Deutsch: Das Transformer-Modell (big) erzielte einen State-of-the-Art-Wert von 28,4 BLEU und übertraf bisherige Modelle und Ensembles um mehr als 2,0 BLEU. Das Basismodell erreichte 27,3 BLEU bei $3, 3 \times 1 0^{18}$ FLOPs – einem Bruchteil der Kosten früherer Architekturen.
WMT 2014 Englisch-zu-Französisch: Das Big-Modell erreichte 41,8 BLEU (Einzelmodell) und setzte nach 3,5 Tagen Training auf 8 NVIDIA P100 GPUs ( $2, 3 \times 1 0^{19}$ FLOPs) einen neuen Bestwert.
English Constituency Parsing: Auf WSJ Section 23 ohne aufgabenspezifisches Tuning evaluiert, erreichte ein 4-Schichten-Transformer 91,3 $F_{1}$ im diskriminativen und 92,7 $F_{1}$ im semi-überwachten Setting und übertraf damit RNN-Baselines.

Grenzen und offene Fragen

Standard-Self-Attention hat pro Schicht eine Rechenkomplexität von $O (n^{2} \cdot d)$ , was bei sehr langen Sequenzen $n$ extrem rechenintensiv wird.
Die Generierung im Decoder bleibt autoregressiv (schrittweise Generierung eines einzelnen Tokens), was die Inferenzlatenz nach unten begrenzt.
Die Autoren weisen darauf hin, dass lokale oder eingeschränkte Attention-Nachbarschaften ( $r$ ) untersucht werden müssen, um sehr große Eingabe- und Ausgabekontexte (z. B. Bilder, Audio, Video) effizient verarbeiten zu können.

Schlüsselbegriffe

Transformer: Eine Modellarchitektur zur Sequenzverarbeitung, die vollständig auf Self-Attention-Mechanismen ohne Rekurrenz oder Faltungen basiert.
Scaled Dot-Product Attention: Eine Attention-Funktion, bei der Skalarprodukte von Queries und Keys durch die Quadratwurzel der Key-Dimension $d_{k}$ geteilt werden, bevor ein Softmax über die Values berechnet wird.
Multi-Head Attention: Ein Attention-Mechanismus, der Queries, Keys und Values parallel in mehrere Repräsentationsunterräume projiziert, bevor die Ausgaben konkateniert und projiziert werden.
Self-Attention: Ein Aufmerksamkeitsmechanismus innerhalb einer Sequenz, der verschiedene Positionen einer einzelnen Sequenz miteinander in Beziehung setzt, um eine Repräsentation dieser Sequenz zu berechnen.
Positional Encoding: Feste oder gelernte Vektorpräsentationen, die zu den Token-Embeddings addiert werden, um Informationen über die Token-Reihenfolge in die permutationsinvarianten Attention-Schichten einzubringen.
Residual Dropout: Dropout, das auf die Ausgabe jeder Teilschicht angewendet wird, bevor diese zur Eingabe der Teilschicht addiert und normalisiert wird, sowie auf die Token-Embeddings.
Label Smoothing: Eine Regularisierungstechnik während des Trainings mit dem Wert $ϵ_{l s} = 0, 1$ , die zu sichere Vorhersagen bestraft und die BLEU-Werte trotz einer Verschlechterung der Perplexität verbessert.
Constituency Parsing: Eine syntaktische NLP-Aufgabe, die strukturell beschränkte und lange Zielausgaben erfordert und genutzt wurde, um die Generalisierbarkeit der Transformer-Architektur zu demonstrieren.

Fragen

Warum wird bei der Scaled Dot-Product Attention durch $\sqrt{d_k}$ dividiert?

Bei großen Werten von $d_{k}$ wachsen die Skalarprodukte stark an (unter Annahme von Mittelwert null und Einheitsvarianz hat das Skalarprodukt die Varianz $d_{k}$ ), wodurch die Softmax-Funktion in Regionen mit extrem kleinen Gradienten getrieben wird. Die Skalierung mit $\frac{1}{d _{k}}$ wirkt diesem Effekt entgegen.

Wie behält der Transformer die Token-Reihenfolge ohne Rekurrenz bei?

Er addiert sinusförmige Positionskodierungen (Positional Encodings) direkt zu den Eingabe- und Ausgabe-Embeddings am Fuß des Encoder- und Decoder-Stapels, wodurch jeder Token-Position ein eindeutiges frequenzbasiertes Muster zugewiesen wird.

Was verhindert, dass Decoder-Positionen während des Trainings zukünftige Token beachten?

Die Self-Attention-Teilschicht des Decoders verwendet Maskierung, die Werte in der Softmax-Eingabe, die unzulässigen zukünftigen Verbindungen entsprechen, auf $- \infty$ setzt.

Welche Trainingshardware und Rechenanforderungen gab es?

Das Basismodell wurde auf einem einzelnen Rechner mit 8 NVIDIA P100 GPUs für 100.000 Schritte trainiert (12 Stunden bei 0,4 Sekunden/Schritt). Das große Modell wurde für 300.000 Schritte trainiert (3,5 Tage bei 1,0 Sekunden/Schritt).

Die Übersicht auf dieser Seite wurde von einer KI aus dem Paper erstellt und kann Fehler enthalten. Details stehen im Paper.

Mit Übersetzung und KI lesen