Attention Is All You Need

Ashish Vaswani; Noam Shazeer; Niki Parmar; Jakob Uszkoreit; Llion Jones; Aidan N. Gomez; Lukasz Kaiser; Illia Polosukhin

Makaleler · arXiv 1706.03762

Attention Is All You Need

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin

Yayımlanma 2017-06-12cs.CLcs.LG arXiv PDF

Çeviri ve yapay zekâ ile oku

Üç satırda özet

🎯 Özyinelemeli modeller belirteç konumları boyunca sıralı olarak yürütülür; bu durum eğitim dizileri içindeki paralelleştirmeyi engeller ve uzun menzilli yol uzunluklarında zorluk yaratır.
🔧 Tamamen ölçeklenmiş iç çarpım çok başlı öz-dikkat ve konumsal ileri beslemeli ağlara dayanan bir kodlayıcı-kod çözücü mimarisi olan Transformer'ı tanıtır.
📈 WMT 2014 İngilizce-Almanca görevinde 28,4 BLEU ve İngilizce-Fransızca görevinde 41,8 BLEU ile 8 GPU üzerinde 3,5 günde eğitilerek son teknoloji çeviri performansı elde eder.

Özet

Baskın dizi dönüştürme modelleri, kodlayıcı-kod çözücü yapılandırmasındaki karmaşık özyinelemeli veya evrişimli sinir ağlarına dayanmaktadır. En iyi performans gösteren modeller aynı zamanda kodlayıcı ile kod çözücüyü bir dikkat mekanizması aracılığıyla birbirine bağlar. Özyineleme ve evrişimleri tamamen ortadan kaldıran, yalnızca dikkat mekanizmalarına dayalı yeni ve basit bir ağ mimarisi olan Transformer'ı öneriyoruz. İki makine çevirisi görevi üzerindeki deneyler, bu modellerin daha paralelleştirilebilir olduğunu ve eğitilmesi için önemli ölçüde daha az zaman gerektirdiğini, aynı zamanda üstün bir kalite sunduğunu göstermektedir. Modelimiz, WMT 2014 İngilizce-Almanca çeviri görevinde 28,4 BLEU elde ederek topluluk modelleri de dahil olmak üzere mevcut en iyi sonuçları 2 BLEU'dan fazla geliştirmektedir. WMT 2014 İngilizce-Fransızca çeviri görevinde ise modelimiz, sekiz GPU üzerinde 3,5 gün eğitildikten sonra 41,8 BLEU skoruyla literatürdeki en iyi modellerin eğitim maliyetlerinin çok küçük bir kısmıyla yeni bir tekil model rekoru kırmaktadır. Transformer'ın hem geniş hem de sınırlı eğitim verisine sahip İngilizce bileşen ayrıştırma görevine başarıyla uygulanmasıyla diğer görevlere de iyi genellenebildiğini gösteriyoruz.

Orijinal özet (İngilizce)

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results, including ensembles by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.8 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. We show that the Transformer generalizes well to other tasks by applying it successfully to English constituency parsing both with large and limited training data.

Okuma rehberi

Problem ve motivasyon

Baskın dizi dönüştürme mimarileri, kodlayıcı-kod çözücü yapılarında düzenlenmiş özyinelemeli sinir ağlarına (LSTM veya GRU gibi) veya evrişimli sinir ağlarına dayanmaktaydı. Özyinelemeli ağlar, gizli temsilleri doğal olarak sıralı bir şekilde hesaplar ( $h_{t - 1}$ ve $t$ girdisine koşullanmış $h_{t}$ ); bu da eğitim örnekleri içindeki zaman adımları boyunca paralelleştirmeyi engeller. Dahası, özyinelemeli ağlarda uzak konumları ilişkilendirmek $O (n)$ sıralı işlem gerektirirken, ConvS2S ve ByteNet gibi evrişimli modeller keyfi konumları bağlamak için $O (n)$ veya $O (lo g_{k} (n))$ işlem gerektirir. Yazarlar, özyineleme ve evrişimleri tamamen bir kenara bırakan, dizi uzunlukları boyunca tam paralelleştirmeyi mümkün kılan ve herhangi iki belirteç arasındaki maksimum yol uzunluğunu $O (1)$ düzeyine indiren bir mimari inşa etmeyi hedeflemiştir.

Temel fikirler

Saf Dikkat Mimarisi (Pure Attention Architecture): Özyinelemeli bağlantıları tamamen ortadan kaldırarak bir dizideki tüm konumlar arasındaki bağımlılıkları doğrudan haritalandıran dikkat mekanizmaları getirmek.
Ölçeklenmiş İç Çarpım Dikkati (Scaled Dot-Product Attention): Yüksek boyutlarda iç çarpım değerlerinin aşırı büyümesini ve dolayısıyla softmax fonksiyonlarını gradyanların yok denecek kadar küçük olduğu bölgelere itmesini önlemek amacıyla çarpımsal iç çarpımları $\frac{1}{d _{k}}$ ile ölçeklemek.
Çok Başlı Dikkat (Multi-Head Attention): Sorguları (queries), anahtarları (keys) ve değerleri (values) paralel olarak birden fazla alt boyutlu temsil uzayına doğrusal olarak izdüşürmek; böylece ağın farklı konumlardan ve temsil uzaylarından gelen bilgilere aynı anda odaklanmasını sağlamak.
Konumsal Kodlama (Positional Encoding): Dikkat işlemleri permütasyondan bağımsız (permutation-invariant) olduğundan, belirteç sırasını kodlamak için girdi ve çıktı gömmelerine değişen frekanslarda sabit sinüzoidal fonksiyonlar eklemek.

Yöntem

Transformer, her birinde $N = 6$ adet özdeş katmanın üst üste yığıldığı bir kodlayıcı-kod çözücü çatısı kullanır.

Kodlayıcı ve Kod Çözücü

Her kodlayıcı katmanı iki alt katmana sahiptir: çok başlı öz-dikkat mekanizması ve konumsal tam bağlantılı ileri beslemeli ağ (FFN). $d_{model} = 512$ boyutu üzerinde çalışan her alt katmana artık bağlantılar (residual connections) ve katman normalizasyonu uygulanır: $LayerNorm (x + Sublayer (x))$ .

Her kod çözücü katmanı üç alt katman içerir: maskelenmiş çok başlı öz-dikkat (otoregresif kod çözmeyi korumak için gelecekteki konumları maskeler), kodlayıcı yığınının çıktıları üzerinde çok başlı çapraz dikkat ve konumsal bir FFN.

Matematiksel Formülasyon

Paketlenmiş $Q, K, V$ matrisleri üzerinde ölçeklenmiş iç çarpım dikkati şu şekilde hesaplanır: $Attention (Q, K, V) = softmax (\frac{Q K ^{T}}{d _{k}}) V$

Çok başlı dikkat, $h$ adet paralel izdüşümü birleştirir: $MultiHead (Q, K, V) = Concat (head_{1}, \dots, head_{h}) W^{O}$ $burada head_{i} = Attention (Q W_{i}^{Q}, K W_{i}^{K}, V W_{i}^{V})$ Temel model için $h = 8$ ve $d_{k} = d_{v} = d_{model} / h = 64$ olarak belirlenmiştir.

Konumsal ileri beslemeli alt katman her konuma özdeş şekilde uygulanır: $FFN (x) = max (0, x W_{1} + b_{1}) W_{2} + b_{2}$ burada iç katman boyutu $d_{ff} = 2048$ 'dir.

Konumsal kodlamalar sinüs ve kosinüs fonksiyonları ile tanımlanır: $P E_{(p os, 2 i)} = sin (\frac{p os}{1000 0 ^{2 i / d_{model}}})$ $P E_{(p os, 2 i + 1)} = cos (\frac{p os}{1000 0 ^{2 i / d_{model}}})$

Sonuçlar

WMT 2014 İngilizce-Almanca: Transformer (big), 28,4 BLEU ile son teknoloji bir skor elde ederek önceki modelleri ve toplulukları 2,0 BLEU'dan fazla geride bırakmıştır. Temel model, önceki mimarilerin maliyetinin çok küçük bir kısmını temsil eden $3, 3 \times 1 0^{18}$ FLOP kullanarak 27,3 BLEU elde etmiştir.
WMT 2014 İngilizce-Fransızca: Büyük model, 8 adet NVIDIA P100 GPU üzerinde 3,5 günlük eğitimden sonra ( $2, 3 \times 1 0^{19}$ FLOP) 41,8 BLEU (tek model) elde ederek yeni bir son teknoloji seviyesi belirlemiştir.
İngilizce Bileşen Ayrıştırma (English Constituency Parsing): Göreve özel ince ayar yapılmaksızın WSJ Section 23 üzerinde değerlendirilen 4 katmanlı bir Transformer, ayrıştırıcı (discriminative) ayarda 91,3 $F_{1}$ ve yarı denetimli ayarda 92,7 $F_{1}$ elde ederek RNN temel modellerini geride bırakmıştır.

Sınırlılıklar ve açık sorular

Standart öz-dikkat, katman başına $O (n^{2} \cdot d)$ hesaplama karmaşıklığına sahiptir; bu da çok uzun $n$ dizileri için hesaplama açısından maliyetli hale gelir.
Kod çözücüdeki üretim otoregresif olmaya devam eder (her seferinde sıralı olarak tek bir belirteç üretilir); bu da çıkarım gecikmesini sınırlar.
Makale, devasa girdi ve çıktı bağlamlarını (ör. görüntüler, ses, video) verimli bir şekilde işlemek için yerel veya kısıtlı dikkat komşuluklarının ( $r$ ) araştırılması gerektiğine dikkat çekmektedir.

Temel terimler

Transformer: Özyineleme veya evrişimler içermeyen, tamamen öz-dikkat mekanizmalarına dayalı bir dizi dönüştürme modeli mimarisi.
Scaled Dot-Product Attention: Değerler üzerinde bir softmax hesaplamadan önce sorguların ve anahtarların iç çarpımlarının anahtar boyutunun karekökü olan $d_{k}$ değerine bölündüğü bir dikkat fonksiyonu.
Multi-Head Attention: Çıktıları birleştirmeden ve izdüşürmeden önce sorguları, anahtarları ve değerleri paralel olarak birden fazla temsil alt uzayına izdüşüren bir dikkat mekanizması.
Self-Attention: Tek bir dizinin temsilini hesaplamak için aynı dizinin farklı konumlarını birbiriyle ilişkilendiren bir dizi-içi dikkat mekanizması.
Positional Encoding: Permütasyondan bağımsız dikkat katmanlarına belirteç dizisi sıra bilgisini enjekte etmek için belirteç gömmelerine eklenen sabit veya öğrenilmiş vektör temsilleri.
Residual Dropout: Her bir alt katmanın çıktısına, alt katman girdisine eklenmeden ve katman normalizasyonu uygulanmadan önce ve ayrıca belirteç gömmelerine uygulanan dropout.
Label Smoothing: Eğitim sırasında $ϵ_{l s} = 0.1$ değeriyle uygulanan, aşırı güvenli tahminleri cezalandıran ve perplexity değerini olumsuz etkilemesine rağmen BLEU skorlarını artıran bir düzenlileştirme tekniği.
Constituency Parsing: Yapısal olarak kısıtlı ve uzun hedef çıktılar gerektiren, Transformer mimarisinin genellenebilirliğini göstermek için kullanılan sözdizimsel bir NLP görevi.

Sorular

Scaled Dot-Product Attention neden $\sqrt{d_k}$ değerine böler?

Büyük $d_{k}$ değerleri için iç çarpımlar büyüklük olarak çok artar (sıfır ortalama ve birim varyans varsayımı altında, iç çarpım $d_{k}$ varyansına sahiptir); bu da softmax fonksiyonunu son derece küçük gradyanlara sahip bölgelere iter. $\frac{1}{d _{k}}$ ile ölçekleme yapmak bu etkiyi dengeler.

Transformer özyineleme olmadan belirteç sırasını nasıl korur?

Kodlayıcı ve kod çözücü yığınlarının en altındaki girdi ve çıktı gömmelerine doğrudan sinüzoidal konumsal kodlamalar ekleyerek her belirteç konumuna frekans tabanlı benzersiz bir desen atar.

Eğitim sırasında kod çözücü konumlarının gelecekteki belirteçlere dikkat etmesini ne engeller?

Kod çözücünün öz-dikkat alt katmanı, softmax girdisinde kurallara aykırı gelecekteki bağlantılara karşılık gelen değerleri $- \infty$ olarak ayarlayan bir maskeleme kullanır.

Eğitim donanımı ve hesaplama gereksinimleri nelerdi?

Temel model, 8 adet NVIDIA P100 GPU içeren tek bir makinede 100.000 adım boyunca eğitilmiştir (adım başına 0,4 saniye ile 12 saat). Büyük model ise 300.000 adım boyunca eğitilmiştir (adım başına 1,0 saniye ile 3,5 gün).

Bu sayfadaki açıklama yapay zekâ tarafından makaleden yazılmıştır ve hata içerebilir. Ayrıntılar için makaleyi okuyun.

Çeviri ve yapay zekâ ile oku