Attention Is All You Need

Ashish Vaswani; Noam Shazeer; Niki Parmar; Jakob Uszkoreit; Llion Jones; Aidan N. Gomez; Lukasz Kaiser; Illia Polosukhin

Makalah · arXiv 1706.03762

Attention Is All You Need

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin

Terbit 2017-06-12cs.CLcs.LG arXiv PDF

Baca dengan terjemahan dan AI

Ringkasan tiga baris

🎯 Model rekuren mengeksekusi token secara sekuensial, menghambat paralelisasi dalam sekuens pelatihan dan kesulitan menangani jalur jarak jauh.
🔧 Memperkenalkan Transformer, arsitektur encoder-decoder yang sepenuhnya didasarkan pada scaled dot-product multi-head self-attention dan position-wise feed-forward networks.
📈 Meraih terobosan baru (state-of-the-art) dalam penerjemahan dengan 28,4 BLEU pada WMT 2014 Inggris-ke-Jerman dan 41,8 BLEU pada Inggris-ke-Prancis, dilatih hanya dalam 3,5 hari dengan 8 GPU.

Abstrak

Model transduksi sekuens dominan didasarkan pada jaringan saraf tiruan berulang (recurrent) atau konvolusional yang kompleks dalam konfigurasi encoder-decoder. Model-model dengan performa terbaik juga menghubungkan encoder dan decoder melalui mekanisme atensi. Kami mengusulkan arsitektur jaringan baru yang sederhana, Transformer, yang semata-mata didasarkan pada mekanisme atensi, tanpa memerlukan rekursi dan konvolusi sama sekali. Eksperimen pada dua tugas penerjemahan mesin menunjukkan bahwa model ini lebih unggul dalam kualitas sekaligus lebih mudah diparalelkan dan memerlukan waktu pelatihan yang jauh lebih singkat. Model kami mencapai 28,4 BLEU pada tugas penerjemahan Inggris-ke-Jerman WMT 2014, melampaui hasil terbaik sebelumnya, termasuk model ensemble, lebih dari 2 BLEU. Pada tugas penerjemahan Inggris-ke-Prancis WMT 2014, model kami mencatatkan skor BLEU model tunggal state-of-the-art baru sebesar 41,8 setelah dilatih selama 3,5 hari pada delapan GPU, hanya sebagian kecil dari biaya pelatihan model-model terbaik di literatur. Kami menunjukkan bahwa Transformer dapat digeneralisasikan dengan baik ke tugas-tugas lain dengan menerapkannya secara sukses pada constituency parsing bahasa Inggris, baik dengan data pelatihan yang besar maupun terbatas.

Abstrak asli (bahasa Inggris)

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results, including ensembles by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.8 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. We show that the Transformer generalizes well to other tasks by applying it successfully to English constituency parsing both with large and limited training data.

Panduan membaca

Masalah dan motivasi

Arsitektur transduksi sekuens yang dominan sebelumnya bertumpu pada recurrent neural network (seperti LSTM atau GRU) atau convolutional neural network yang disusun dalam struktur encoder-decoder. Jaringan rekuren secara inheren menghitung representasi tersembunyi secara berurutan ( $h_{t}$ dikondisikan pada $h_{t - 1}$ dan masukan $t$ ), yang mencegah paralelisasi di sepanjang langkah waktu (time steps) dalam contoh pelatihan. Selain itu, menghubungkan posisi-posisi yang berjauhan dalam jaringan rekuren memerlukan $O (n)$ operasi sekuensial, sedangkan model konvolusional seperti ConvS2S dan ByteNet memerlukan $O (n)$ atau $O (lo g_{k} (n))$ operasi untuk menghubungkan posisi arbitrer. Para penulis bertujuan membangun arsitektur yang sepenuhnya meniadakan rekursi dan konvolusi, memungkinkan paralelisasi penuh di seluruh panjang sekuens sekaligus memangkas panjang jalur maksimum antara dua token mana pun menjadi $O (1)$ .

Ide-ide utama

Pure Attention Architecture: Mengganti koneksi rekuren sepenuhnya dengan mekanisme atensi yang memetakan ketergantungan secara langsung di semua posisi dalam sekuens.
Scaled Dot-Product Attention: Menskalakan dot product perkalian dengan $\frac{1}{d _{k}}$ guna mencegah nilai dot product tumbuh terlalu besar pada dimensi tinggi, yang dapat mendorong fungsi softmax ke wilayah dengan gradien yang sangat kecil (vanishing gradient).
Multi-Head Attention: Memproyeksikan query, key, dan value secara linear ke dalam beberapa subruang representasi berdimensi lebih rendah secara paralel, memungkinkan jaringan memperhatikan informasi secara simultan dari posisi dan ruang representasi yang berbeda.
Positional Encoding: Karena operasi atensi bersifat invarian terhadap permutasi, fungsi sinusoidal tetap dengan berbagai frekuensi ditambahkan ke embedding input dan output untuk menyandikan urutan token.

Metode

Transformer menggunakan kerangka kerja encoder-decoder dengan $N = 6$ lapisan identik yang ditumpuk pada masing-masing komponen.

Encoder dan Decoder

Setiap lapisan encoder memiliki dua sub-lapisan: mekanisme multi-head self-attention dan position-wise fully connected feed-forward network (FFN). Koneksi residual dan normalisasi lapisan diterapkan pada setiap sub-lapisan: $LayerNorm (x + Sublayer (x))$ , yang beroperasi pada dimensi $d_{model} = 512$ .

Setiap lapisan decoder berisi tiga sub-lapisan: masked multi-head self-attention (yang mem-mask posisi masa depan untuk mempertahankan proses penguraian kode secara autoregresif), multi-head cross-attention di atas output tumpukan encoder, dan position-wise FFN.

Formulasi Matematis

Scaled dot-product attention pada matriks terpadu $Q, K, V$ dihitung sebagai: $Attention (Q, K, V) = softmax (\frac{Q K ^{T}}{d _{k}}) V$

Multi-head attention menggabungkan $h$ proyeksi paralel: $MultiHead (Q, K, V) = Concat (head_{1}, \dots, head_{h}) W^{O}$ $dengan head_{i} = Attention (Q W_{i}^{Q}, K W_{i}^{K}, V W_{i}^{V})$ Untuk model dasar (base), $h = 8$ dan $d_{k} = d_{v} = d_{model} / h = 64$ .

Sub-lapisan position-wise feed-forward diterapkan secara identik pada setiap posisi: $FFN (x) = max (0, x W_{1} + b_{1}) W_{2} + b_{2}$ di mana dimensi lapisan dalam adalah $d_{ff} = 2048$ .

Positional encoding didefinisikan oleh fungsi sinus dan kosinus: $P E_{(p os, 2 i)} = sin (\frac{p os}{1000 0 ^{2 i / d_{model}}})$ $P E_{(p os, 2 i + 1)} = cos (\frac{p os}{1000 0 ^{2 i / d_{model}}})$

Hasil

WMT 2014 Inggris-ke-Jerman: Transformer (big) mencapai skor state-of-the-art sebesar 28,4 BLEU, melampaui model sebelumnya dan ensemble lebih dari 2,0 BLEU. Model dasar mencapai 27,3 BLEU hanya dengan $3, 3 \times 1 0^{18}$ FLOPs, sebagian kecil dari biaya arsitektur sebelumnya.
WMT 2014 Inggris-ke-Prancis: Model besar mencapai 41,8 BLEU (model tunggal), mencetak rekor state-of-the-art baru setelah pelatihan 3,5 hari pada 8 GPU NVIDIA P100 ( $2, 3 \times 1 0^{19}$ FLOPs).
Constituency Parsing Bahasa Inggris: Dievaluasi pada WSJ Section 23 tanpa penyesuaian khusus tugas, Transformer 4-lapisan mencapai 91,3 $F_{1}$ pada pengaturan diskriminatif dan 92,7 $F_{1}$ pada pengaturan semi-terawasi, mengungguli baseline RNN.

Keterbatasan dan pertanyaan terbuka

Self-attention standar memiliki kompleksitas komputasi per lapisan sebesar $O (n^{2} \cdot d)$ , yang menjadi sangat mahal secara komputasi untuk sekuens yang sangat panjang $n$ .
Pembangkitan token pada decoder tetap bersifat autoregresif (menghasilkan satu token pada satu waktu secara sekuensial), yang membatasi latensi inferensi.
Makalah ini mencatat perlunya menyelidiki lingkungan atensi lokal atau terbatas ( $r$ ) untuk menangani konteks input dan output masif (misalnya, gambar, audio, video) secara efisien.

Istilah kunci

Transformer: Arsitektur model transduksi sekuens yang sepenuhnya didasarkan pada mekanisme self-attention tanpa rekursi atau konvolusi.
Scaled Dot-Product Attention: Fungsi atensi di mana dot product dari query dan key dibagi dengan akar kuadrat dari dimensi key $d_{k}$ sebelum menghitung softmax atas value.
Multi-Head Attention: Mekanisme atensi yang memproyeksikan query, key, dan value ke dalam beberapa subruang representasi secara paralel sebelum menggabungkan dan memproyeksikan output-nya.
Self-Attention: Mekanisme atensi intra-sekuens yang menghubungkan berbagai posisi berbeda dari satu sekuens tunggal untuk menghitung representasi dari sekuens tersebut.
Positional Encoding: Representasi vektor tetap atau terpelajar yang ditambahkan ke embedding token untuk menyuntikkan informasi urutan sekuens token ke dalam lapisan atensi yang bersifat invarian terhadap permutasi.
Residual Dropout: Dropout yang diterapkan pada output dari setiap sub-lapisan sebelum menambahkannya ke input sub-lapisan dan menerapkan normalisasi lapisan, serta pada embedding token.
Label Smoothing: Teknik regularisasi selama pelatihan dengan nilai $ϵ_{l s} = 0.1$ yang menghukum prediksi yang terlalu percaya diri (overconfident), meningkatkan skor BLEU meskipun memperburuk perplexity.
Constituency Parsing: Tugas sintaktis NLP yang memerlukan output target yang panjang dan terikat secara struktural, digunakan untuk mendemonstrasikan kemampuan generalisasi dari arsitektur Transformer.

Pertanyaan

Mengapa Scaled Dot-Product Attention membagi dengan $\sqrt{d_k}$?

Untuk nilai $d_{k}$ yang besar, besaran dot product tumbuh menjadi sangat besar (dengan asumsi rata-rata nol dan varians satu, dot product memiliki varians $d_{k}$ ), mendorong fungsi softmax ke daerah dengan gradien yang sangat kecil. Penskalaan dengan $\frac{1}{d _{k}}$ menetralkan efek ini.

Bagaimana cara Transformer mempertahankan urutan token tanpa rekursi?

Transformer menambahkan positional encoding sinusoidal secara langsung ke embedding input dan output di bagian bawah tumpukan encoder dan decoder, memberikan pola berbasis frekuensi yang unik untuk setiap posisi token.

Apa yang mencegah posisi-posisi pada decoder memperhatikan token di masa depan selama pelatihan?

Sub-lapisan self-attention pada decoder menggunakan teknik masking yang mengatur nilai masukan softmax yang berhubungan dengan koneksi masa depan yang tidak diizinkan menjadi $- \infty$ .

Apa perangkat keras dan kebutuhan komputasi untuk pelatihannya?

Model dasar dilatih pada satu mesin dengan 8 GPU NVIDIA P100 selama 100.000 langkah (12 jam dengan 0,4 detik/langkah). Model besar dilatih selama 300.000 langkah (3,5 hari dengan 1,0 detik/langkah).

Ulasan di halaman ini ditulis oleh AI dari makalah dan mungkin mengandung kesalahan. Baca makalahnya untuk detail.

Baca dengan terjemahan dan AI