Neural Machine Translation by Jointly Learning to Align and Translate

Dzmitry Bahdanau; Kyunghyun Cho; Yoshua Bengio

Makaleler · arXiv 1409.0473

Neural Machine Translation by Jointly Learning to Align and Translate

Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio

Yayımlanma 2014-09-01cs.CLcs.LGcs.NEstat.ML arXiv PDF

Çeviri ve yapay zekâ ile oku

Üç satırda özet

🎯 Standart encoder-decoder NMT modelleri, kaynak cümlenin tamamını sabit uzunluklu bir vektöre sıkıştırır; bu durum uzun cümlelerde performansın sert biçimde düşmesine yol açar.
🔧 Yazarlar, çift yönlü bir RNN encoder'ın kelime açıklamaları ürettiği ve decoder'ın bir MLP aracılığıyla dinamik olarak soft hizalama ağırlıkları hesapladığı bir attention mekanizması tanıtmaktadır.
📈 İngilizce-Fransızca çeviride RNNsearch-50, tüm test cümlelerinde 28,45 BLEU ve bilinmeyen kelime içermeyen cümlelerde 36,15 BLEU skoruna ulaşarak phrase-based Moses'ı (35,63) geride bırakmıştır.

Özet

Nöral makine çevirisi, makine çevirisine yönelik yakın zamanda önerilmiş bir yaklaşımdır. Geleneksel istatistiksel makine çevirisinin aksine nöral makine çevirisi, çeviri performansını en üst düzeye çıkarmak için birlikte optimize edilebilen tek bir yapay sinir ağı kurmayı hedefler. Nöral makine çevirisi için son dönemde önerilen modeller genellikle encoder-decoder ailesine aittir; bir kaynak cümleyi sabit uzunluklu bir vektöre kodlayan bir encoder ve bu vektörden çeviriyi üreten bir decoder'dan oluşur. Bu makalede, sabit uzunluklu bir vektör kullanımının temel encoder-decoder mimarisinin performansını artırmada bir darboğaz oluşturduğunu öne sürüyor ve modelin hedef kelimeyi tahmin etmekle ilgili kaynak cümle bölümlerini açıkça birer katı segmente dönüştürmek zorunda kalmadan otomatik (soft) olarak aramasına olanak tanıyarak bu yapıyı genişletmeyi teklif ediyoruz. Bu yeni yaklaşımla, İngilizce-Fransızca çeviri görevinde mevcut son teknoloji phrase-based sistemle karşılaştırılabilir bir çeviri performansı elde ediyoruz. Ayrıca nitel analizler, model tarafından bulunan (soft) hizalamaların sezgilerimizle oldukça örtüştüğünü ortaya koymaktadır.

Orijinal özet (İngilizce)

Neural machine translation is a recently proposed approach to machine translation. Unlike the traditional statistical machine translation, the neural machine translation aims at building a single neural network that can be jointly tuned to maximize the translation performance. The models proposed recently for neural machine translation often belong to a family of encoder-decoders and consists of an encoder that encodes a source sentence into a fixed-length vector from which a decoder generates a translation. In this paper, we conjecture that the use of a fixed-length vector is a bottleneck in improving the performance of this basic encoder-decoder architecture, and propose to extend this by allowing a model to automatically (soft-)search for parts of a source sentence that are relevant to predicting a target word, without having to form these parts as a hard segment explicitly. With this new approach, we achieve a translation performance comparable to the existing state-of-the-art phrase-based system on the task of English-to-French translation. Furthermore, qualitative analysis reveals that the (soft-)alignments found by the model agree well with our intuition.

Okuma rehberi

Problem ve motivasyon

Temel RNN Encoder–Decoder gibi standart nöral makine çevirisi (NMT) mimarileri, değişken uzunluktaki bir kaynak cümlenin tamamını tek bir sabit uzunluklu $c$ vektörüne sıkıştırır. Decoder, hedef çeviriyi bu sabit bağlam vektöründen üretir. Bu durum bilgisel bir darboğaz yaratır: cümle uzunluğu arttıkça tüm kaynak semantiğini sabit boyutlu bir temsile sıkıştırmak giderek zorlaşır ve bu da uzun cümlelerde çeviri kalitesinin (BLEU skoru) belirgin şekilde düşmesine neden olur.

Temel fikirler

Tek Vektör Yerine Açıklama Dizisi: Model, encoder'ı tüm cümleyi tek bir vektöre sıkıştırmaya zorlamak yerine, bir Bidirectional Recurrent Neural Network (BiRNN) kullanarak kaynak cümle boyunca gizli durum vektörleri (açıklamalar) dizisini korur.
Soft Alignment Mekanizması (Attention): Decoder, hizalamayı sezgisel çıkarım gerektiren ayrık veya örtük bir değişken olarak ele almak yerine, her çıktı adımında kaynak açıklamaları üzerinde sürekli bir "soft alignment" ağırlığı hesaplar.
Türevlenebilir Uçtan Uca Eğitim: Hizalama küçük bir ileri beslemeli yapay sinir ağı olarak parametrelendirildiğinden tüm sistem (encoder, attention mekanizması ve decoder) geri yayılım yoluyla birlikte eğitilir.

Yöntem

1. Encoder (Bidirectional RNN)

Kaynak dizi $x = (x_{1}, \dots, x_{T_{x}})$ , kapılı gizli birimler (gated hidden units) kullanılarak bir ileri RNN $f$ ve bir geri RNN $f$ tarafından işlenir: $h_{j} = f (x_{j}, h_{j - 1}), h_{j} = f (x_{j}, h_{j + 1})$ Kaynak kelime $x_{j}$ için açıklama, her iki yönün birleştirilmesiyle (concatenation) elde edilir: $h_{j} = [h_{j}^{⊤}; h_{j}^{⊤}]^{⊤}$

2. Soft Attention İçeren Decoder

Hedef kelime $y_{i}$ 'yi üretmek için decoder, encoder açıklamalarının ağırlıklı toplamı olarak benzersiz bir $c_{i}$ bağlam vektörü hesaplar: $c_{i} = j = 1 \sum T_{x} α_{ij} h_{j}$ Burada $α_{ij}$ hizalama ağırlığı, $e_{ij}$ enerji skorları üzerinden bir softmax kullanılarak hesaplanır: $α_{ij} = \frac{exp ( e _{ij} )}{\sum _{k = 1}^{T_{x}} exp ( e _{ik} )}$ $e_{ij}$ enerji skoru, decoder durumu $s_{i - 1}$ 'in kaynak açıklama $h_{j}$ ile ne kadar iyi hizalandığını temsil eder ve tek katmanlı bir ileri beslemeli ağ olarak parametrelendirilir: $e_{ij} = a (s_{i - 1}, h_{j}) = v_{a}^{⊤} tanh (W_{a} s_{i - 1} + U_{a} h_{j})$ Burada $s_{i - 1}$ decoder gizli durumudur ve şu şekilde güncellenir: $s_{i} = f (s_{i - 1}, y_{i - 1}, c_{i})$ Sonraki kelime olasılık dağılımı mevcut duruma, önceki simgeye ve dinamik bağlama koşullanır: $p (y_{i} ∣ y_{1}, \dots, y_{i - 1}, x) = g (y_{i - 1}, s_{i}, c_{i})$

Sonuçlar

WMT '14 İngilizce-Fransızca kıyaslamasında (news-test-2014, 3.003 cümle):

Uzunluğa Karşı Sağlamlık: Temel encoder-decoder (RNNencdec-50), cümle uzunluğu 30 kelimeyi aştığında ciddi bir BLEU düşüşü yaşarken, RNNsearch-50 50 kelimenin üzerinde bile tutarlı BLEU skorlarını korur.
Çeviri Kalitesi:
- Tüm test cümlelerinde RNNsearch-50 26,75 BLEU skoruna (ve RNNsearch-50* adıyla daha uzun eğitildiğinde 28,45 BLEU skoruna) ulaşarak RNNencdec-50'yi (17,82 BLEU) geride bırakır.
- Bilinmeyen kelime içermeyen cümlelerde (No UNK), RNNsearch-50* 36,15 BLEU'ya ulaşarak, fazladan tek dilli veri (418M kelime) kullanmasına rağmen geleneksel phrase-based çeviri taban çizgisi Moses'ı (35,63 BLEU) geçer.
Hizalama Görselleştirmeleri: $α_{ij}$ ısı haritaları, kelime öbeği yeniden sıralamalarını (örneğin İngilizce isim-sıfat sırasından Fransızca sıfat-isim sırasına) ve çok kelimeli öbekleri doğal biçimde ele alarak sezgisel dilbilimsel hizalamaları ortaya koyar.

Sınırlılıklar ve açık sorular

Hesaplama Karmaşıklığı: $e_{ij}$ değerinin hesaplanması, cümle çifti başına $O (T_{x} \times T_{y})$ değerlendirme gerektirir; bu da çok uzun diziler için hesaplama açısından maliyetlidir.
Nadir/Bilinmeyen Kelimelerin İşlenmesi: Model sabit bir sözlüğe (en sık kullanılan 30.000 kelime) dayanır ve kelime dağarcığı dışındaki kelimeleri [UNK] ile eşler; bu da açık test kümelerinde performansı olumsuz etkiler.
Tek Dilli Veri Kullanımı: Ayrı dil modelleri aracılığıyla hedef taraftaki devasa tek dilli derlemlerden kolayca yararlanan phrase-based istatistiksel sistemlerin aksine, tamamen uçtan uca NMT yalnızca paralel verilerle sınırlı kalmıştır.

Temel terimler

RNNsearch: Birlikte hizalamak ve çevirmek için çift yönlü bir RNN encoder ve attention tabanlı bir decoder kullanan önerilmiş nöral makine çevirisi mimarisi.
soft alignment (yumuşak hizalama): Ayrık veya katı 1'e 1 eşleme yerine, bir attention modeli tarafından kaynak konumlar üzerinde dinamik olarak hesaplanan sürekli bir olasılık dağılımı.
context vector (bağlam vektörü): Hedef kelime $y_{i}$ 'yi üretmek için gereken ilgili kaynak bilgiyi temsil eden, kaynak açıklamaların ağırlıklı toplamı olarak oluşturulmuş zaman adımına özgü $c_{i}$ vektörü.
bidirectional RNN (BiRNN) (çift yönlü RNN): Her kaynak kelimenin hem önceki hem de sonraki bağlamını yakalamak için gizli durumları birleştirilen ileri ve geri yinelemeli geçişlerden oluşan bir encoder.
alignment model (hizalama modeli): Kaynak açıklama $h_{j}$ ile decoder gizli durumu $s_{i - 1}$ arasındaki uygunluğu puanlayan ve $v_{a}^{⊤} tanh (W_{a} s_{i - 1} + U_{a} h_{j})$ şeklinde parametrelendirilen ileri beslemeli bir yapay sinir ağı.
RNNencdec: Kod çözme öncesinde tüm kaynak cümleyi tek bir sabit uzunluklu vektöre indirgeyen standart RNN Encoder–Decoder mimarisi.
gated hidden unit (kapılı gizli birim): Uzun vadeli bağımlılıkları korumak ve kaybolan gradyanları hafifletmek için tasarlanmış, sıfırlama ve güncelleme kapılarına sahip (LSTM'e benzer) yinelemeli bir birim.

Sorular

Standart RNN Encoder-Decoder neden uzun cümlelerde zorlanır?

Değişken uzunluktaki bir cümlenin tüm bilgisini tek bir sabit uzunluklu vektöre zorlar; bu da uzun veya karmaşık girdilerde ince detayları koruyamayan bilgisel bir darboğaz yaratır.

Bahdanau attention mekanizmasının Graves (2013) gibi önceki dizi hizalama yöntemlerinden farkı nedir?

Graves'in el yazısı sentezi hizalaması, attention ağırlıklarını tek bir yönde monoton olarak ilerlemeye zorlarken, Bahdanau attention skorları tüm kaynak konumlar üzerinde monoton olmayan biçimde hesaplayarak esnek kelime sıralamasına izin verir.

Hizalama modelinin hesaplama maliyeti nasıl kontrol altında tutulur?

Kaynak dönüşüm terimi $U_{a} h_{j}$ , decoder adımı $i$ 'ye bağlı olmadığından, kod çözme başlamadan önce tüm kaynak simgeler için bir kez önceden hesaplanır.

Deneylerde hangi kelime dağarcığı boyutu kullanıldı?

Modeller her dil için en sık geçen 30.000 kelimelik bir kısa liste kullandı; bu listenin dışındaki tüm simgeler özel bir [UNK] simgesiyle değiştirildi.

Bu sayfadaki açıklama yapay zekâ tarafından makaleden yazılmıştır ve hata içerebilir. Ayrıntılar için makaleyi okuyun.

Çeviri ve yapay zekâ ile oku