Neural Machine Translation by Jointly Learning to Align and Translate

Dzmitry Bahdanau; Kyunghyun Cho; Yoshua Bengio

शोध पत्र · arXiv 1409.0473

Neural Machine Translation by Jointly Learning to Align and Translate

Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio

प्रकाशित 2014-09-01cs.CLcs.LGcs.NEstat.ML arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 मानक एन्कोडर-डिकोडर NMT मॉडल पूरे स्रोत वाक्यों को एक निश्चित-लंबाई वाले वेक्टर में संपीड़ित करते हैं, जिससे लंबे वाक्यों पर प्रदर्शन में भारी गिरावट आती है।
🔧 लेखक एक अटेंशन मैकेनिज्म प्रस्तुत करते हैं जहाँ एक द्विदिशीय (bidirectional) RNN एन्कोडर शब्द एनोटेशन उत्पन्न करता है, और डिकोडर एक MLP के माध्यम से गतिशील रूप से सॉफ्ट अलाइनमेंट वेट की गणना करता है।
📈 अंग्रेजी-से-फ्रेंच अनुवाद पर, RNNsearch-50 सभी परीक्षण वाक्यों पर 28.45 और अज्ञात शब्दों के बिना वाले वाक्यों पर 36.15 का BLEU स्कोर प्राप्त करता है, जो फ्रेज-आधारित Moses (35.63) से बेहतर प्रदर्शन करता है।

सार

न्यूरल मशीन ट्रांसलेशन (NMT) मशीन अनुवाद के लिए हाल ही में प्रस्तावित एक दृष्टिकोण है। पारंपरिक सांख्यिकीय मशीन अनुवाद के विपरीत, न्यूरल मशीन ट्रांसलेशन का उद्देश्य एक एकल न्यूरल नेटवर्क का निर्माण करना है जिसे अनुवाद प्रदर्शन को अधिकतम करने के लिए संयुक्त रूप से ट्यून किया जा सकता है। न्यूरल मशीन ट्रांसलेशन के लिए हाल ही में प्रस्तावित मॉडल अक्सर एन्कोडर-डिकोडर परिवार से संबंधित होते हैं और इनमें एक एन्कोडर शामिल होता है जो स्रोत वाक्य को एक निश्चित-लंबाई (fixed-length) वाले वेक्टर में एन्कोड करता है, जिससे एक डिकोडर अनुवाद उत्पन्न करता है। इस शोध-पत्र में, हम यह अनुमान लगाते हैं कि इस बुनियादी एन्कोडर-डिकोडर आर्किटेक्चर के प्रदर्शन को बेहतर बनाने में निश्चित-लंबाई वाले वेक्टर का उपयोग एक बाधा (bottleneck) है। इसके समाधान के रूप में, हम मॉडल को स्पष्ट रूप से हार्ड सेगमेंट बनाए बिना, लक्षित शब्द की भविष्यवाणी के लिए प्रासंगिक स्रोत वाक्य के भागों को स्वचालित रूप से (सॉफ्ट-) सर्च करने की अनुमति देकर इसका विस्तार करने का प्रस्ताव करते हैं। इस नए दृष्टिकोण के साथ, हम अंग्रेजी-से-फ्रेंच अनुवाद कार्य पर मौजूदा अत्याधुनिक फ्रेज-आधारित प्रणाली के बराबर अनुवाद प्रदर्शन प्राप्त करते हैं। इसके अलावा, गुणात्मक विश्लेषण से पता चलता है कि मॉडल द्वारा खोजे गए (सॉफ्ट-) अलाइनमेंट हमारी सहज समझ के साथ काफी मेल खाते हैं।

मूल सार (अंग्रेज़ी)

Neural machine translation is a recently proposed approach to machine translation. Unlike the traditional statistical machine translation, the neural machine translation aims at building a single neural network that can be jointly tuned to maximize the translation performance. The models proposed recently for neural machine translation often belong to a family of encoder-decoders and consists of an encoder that encodes a source sentence into a fixed-length vector from which a decoder generates a translation. In this paper, we conjecture that the use of a fixed-length vector is a bottleneck in improving the performance of this basic encoder-decoder architecture, and propose to extend this by allowing a model to automatically (soft-)search for parts of a source sentence that are relevant to predicting a target word, without having to form these parts as a hard segment explicitly. With this new approach, we achieve a translation performance comparable to the existing state-of-the-art phrase-based system on the task of English-to-French translation. Furthermore, qualitative analysis reveals that the (soft-)alignments found by the model agree well with our intuition.

पढ़ने की गाइड

समस्या और प्रेरणा

मानक न्यूरल मशीन ट्रांसलेशन (NMT) आर्किटेक्चर, जैसे कि बुनियादी RNN Encoder–Decoder, एक परिवर्तनशील लंबाई वाले स्रोत वाक्य की संपूर्ण सामग्री को एक एकल निश्चित-लंबाई वाले वेक्टर $c$ में संपीड़ित (compress) कर देते हैं। इसी निश्चित कॉन्टेक्स्ट वेक्टर से डिकोडर लक्षित अनुवाद उत्पन्न करता है। यह एक सूचनात्मक बाधा (bottleneck) उत्पन्न करता है: जैसे-जैसे वाक्य की लंबाई बढ़ती है, सभी स्रोत अर्थों को एक निश्चित आकार के प्रतिनिधित्व में संपीड़ित करना कठिन होता जाता है, जिससे लंबे वाक्यों के लिए अनुवाद की गुणवत्ता (BLEU score) में काफी गिरावट आती है।

मुख्य विचार

एकल वेक्टर के बजाय एनोटेशन का अनुक्रम (Sequence of Annotations): एन्कोडर को पूरे वाक्य को एक वेक्टर में संपीड़ित करने के लिए बाध्य करने के बजाय, यह मॉडल एक Bidirectional Recurrent Neural Network (BiRNN) का उपयोग करके पूरे स्रोत वाक्य में हिडन स्टेट वेक्टर्स (एनोटेशन) के एक अनुक्रम को सुरक्षित रखता है।
सॉफ्ट अलाइनमेंट मैकेनिज्म (अटेंशन): अलाइनमेंट को एक असतत (discrete) या लेटेंट वेरिएबल मानने के बजाय जिसके लिए ह्यूरिस्टिक निष्कर्षण की आवश्यकता हो, डिकोडर प्रत्येक आउटपुट चरण पर स्रोत एनोटेशन पर एक निरंतर "सॉफ्ट अलाइनमेंट" वेट की गणना करता है।
डिफरेंशियल एंड-टू-एंड ट्रेनिंग: चूँकि अलाइनमेंट को एक छोटे फीडफॉरवर्ड न्यूरल नेटवर्क के रूप में पैरामीटर किया गया है, इसलिए संपूर्ण प्रणाली—एन्कोडर, अटेंशन मैकेनिज्म और डिकोडर—को बैकप्रोपैगेशन के माध्यम से संयुक्त रूप से प्रशिक्षित किया जाता है।

विधि

1. एन्कोडर (Bidirectional RNN)

स्रोत अनुक्रम $x = (x_{1}, \dots, x_{T_{x}})$ को गेटेड हिडन यूनिट्स का उपयोग करके फॉरवर्ड RNN $f$ और बैकवर्ड RNN $f$ द्वारा संसाधित किया जाता है: $h_{j} = f (x_{j}, h_{j - 1}), h_{j} = f (x_{j}, h_{j + 1})$ स्रोत शब्द $x_{j}$ के लिए एनोटेशन दोनों दिशाओं को जोड़कर (concatenate करके) बनता है: $h_{j} = [h_{j}^{⊤}; h_{j}^{⊤}]^{⊤}$

2. सॉफ्ट अटेंशन युक्त डिकोडर

लक्षित शब्द $y_{i}$ उत्पन्न करने के लिए, डिकोडर एन्कोडर एनोटेशन के भारित योग (weighted sum) के रूप में एक विशिष्ट कॉन्टेक्स्ट वेक्टर $c_{i}$ की गणना करता है: $c_{i} = j = 1 \sum T_{x} α_{ij} h_{j}$ जहाँ अलाइनमेंट वेट $α_{ij}$ की गणना एनर्जी स्कोर $e_{ij}$ पर सॉफ्टमैक्स का उपयोग करके की जाती है: $α_{ij} = \frac{exp ( e _{ij} )}{\sum _{k = 1}^{T_{x}} exp ( e _{ik} )}$ एनर्जी स्कोर $e_{ij}$ यह दर्शाता है कि डिकोडर स्टेट $s_{i - 1}$ स्रोत एनोटेशन $h_{j}$ के साथ कितनी अच्छी तरह संरेखित (align) है, और इसे सिंगल-लेयर फीडफॉरवर्ड नेटवर्क के रूप में पैरामीटराइज़ किया गया है: $e_{ij} = a (s_{i - 1}, h_{j}) = v_{a}^{⊤} tanh (W_{a} s_{i - 1} + U_{a} h_{j})$ यहाँ $s_{i - 1}$ डिकोडर की हिडन स्टेट है, जिसे इस प्रकार अपडेट किया जाता है: $s_{i} = f (s_{i - 1}, y_{i - 1}, c_{i})$ अगले शब्द की प्रायिकता वितरण (probability distribution) वर्तमान स्टेट, पिछले टोकन और डायनेमिक कॉन्टेक्स्ट पर आधारित होती है: $p (y_{i} ∣ y_{1}, \dots, y_{i - 1}, x) = g (y_{i - 1}, s_{i}, c_{i})$

परिणाम

WMT '14 अंग्रेजी-से-फ्रेंच बेंचमार्क (news-test-2014, 3,003 वाक्य) पर:

लंबाई के प्रति मजबूती: जहाँ बेसिक एन्कोडर-डिकोडर (RNNencdec-50) में वाक्य की लंबाई 30 शब्दों से अधिक होने पर BLEU स्कोर में भारी गिरावट आती है, वहीं RNNsearch-50 50 शब्दों से अधिक लंबाई पर भी लगातार स्थिर BLEU स्कोर बनाए रखता है।
अनुवाद गुणवत्ता:
- सभी परीक्षण वाक्यों पर, RNNsearch-50 26.75 BLEU स्कोर प्राप्त करता है (और लंबे समय तक RNNsearch-50* के रूप में प्रशिक्षित होने पर 28.45 BLEU), जो RNNencdec-50 (17.82 BLEU) से कहीं बेहतर है।
- बिना अज्ञात शब्दों वाले वाक्यों पर (No UNK), RNNsearch-50* 36.15 BLEU तक पहुँच जाता है, जो पारंपरिक फ्रेज-आधारित ट्रांसलेशन बेसलाइन Moses (35.63 BLEU) को पीछे छोड़ देता है, भले ही Moses ने अतिरिक्त एकभाषी डेटा (418M शब्द) का उपयोग किया हो।
अलाइनमेंट विज़ुअलाइज़ेशन: $α_{ij}$ के हीटमैप सहज भाषाई अलाइनमेंट को प्रकट करते हैं, जो फ्रेज के क्रम परिवर्तन (जैसे, अंग्रेजी में संज्ञा-विशेषण क्रम से फ्रेंच में विशेषण-संज्ञा क्रम) और बहु-शब्द वाक्यांशों को स्वाभाविक रूप से संभालते हैं।

सीमाएं और खुले प्रश्न

कम्प्यूटेशनल जटिलता: $e_{ij}$ की गणना के लिए प्रति वाक्य-युग्म $O (T_{x} \times T_{y})$ मूल्यांकनों की आवश्यकता होती है, जो बहुत लंबे अनुक्रमों के लिए कम्प्यूटेशनल रूप से काफी महंगा है।
दुर्लभ/अज्ञात शब्दों से निपटना: मॉडल एक निश्चित शब्दावली (30,000 सबसे लगातार शब्द) पर निर्भर करता है, जिससे शब्दावली से बाहर के शब्द [UNK] पर मैप हो जाते हैं, जो ओपन टेस्ट सेट पर प्रदर्शन को नुकसान पहुँचाता है।
एकभाषी डेटा का उपयोग: फ्रेज-आधारित सांख्यिकीय प्रणालियों के विपरीत, जो अलग-अलग भाषा मॉडलों के माध्यम से बड़े पैमाने पर लक्ष्य-पक्षीय एकभाषी कॉर्पोरा का आसानी से लाभ उठाते हैं, विशुद्ध रूप से एंड-टू-एंड NMT केवल समानांतर डेटा तक ही सीमित था।

मुख्य शब्द

RNNsearch: प्रस्तावित न्यूरल मशीन ट्रांसलेशन आर्किटेक्चर जो संयुक्त रूप से संरेखित (align) और अनुवाद करने के लिए एक द्विदिशीय RNN एन्कोडर और अटेंशन-आधारित डिकोडर का उपयोग करता है।
soft alignment: अटेंशन मॉडल द्वारा गतिशील रूप से गणना किया गया स्रोत स्थितियों पर एक निरंतर प्रायिकता वितरण, जो असतत या हार्ड 1-टू-1 मैपिंग के विपरीत है।
context vector: एक समय-चरण-विशिष्ट वेक्टर $c_{i}$ जो स्रोत एनोटेशन के भारित योग के रूप में बनता है, जो लक्षित शब्द $y_{i}$ उत्पन्न करने के लिए आवश्यक प्रासंगिक स्रोत जानकारी का प्रतिनिधित्व करता है।
bidirectional RNN (BiRNN): फॉरवर्ड और बैकवर्ड रिकरेंट पास से बना एक एन्कोडर जिसकी हिडन स्टेट्स को प्रत्येक स्रोत शब्द के पिछले और अगले दोनों संदर्भों को कैप्चर करने के लिए जोड़ा जाता है।
alignment model: $v_{a}^{⊤} tanh (W_{a} s_{i - 1} + U_{a} h_{j})$ के रूप में पैरामीटराइज़्ड एक फीडफॉरवर्ड न्यूरल नेटवर्क जो स्रोत एनोटेशन $h_{j}$ और डिकोडर हिडन स्टेट $s_{i - 1}$ के बीच प्रासंगिकता को स्कोर करता है।
RNNencdec: मानक RNN Encoder–Decoder आर्किटेक्चर जो डिकोडिंग से पहले पूरे स्रोत वाक्य को एक एकल निश्चित-लंबाई वाले वेक्टर में संघनित करता है।
gated hidden unit: रीसेट और अपडेट गेट्स (LSTM के समान) वाली एक रिकरेंट यूनिट जिसे दीर्घकालिक निर्भरता बनाए रखने और वैनिशिंग ग्रेडिएंट्स को कम करने के लिए डिज़ाइन किया गया है।

प्रश्न

मानक RNN Encoder-Decoder लंबे वाक्यों के साथ संघर्ष क्यों करता है?

यह एक परिवर्तनशील लंबाई वाले वाक्य की सभी सूचनाओं को एक एकल निश्चित-लंबाई वाले वेक्टर में जबरन संपीड़ित करता है, जिससे एक सूचनात्मक बाधा उत्पन्न होती है जो लंबे या जटिल इनपुट के बारीक विवरणों को संरक्षित करने में विफल रहती है।

Bahdanau attention पिछले अनुक्रम अलाइनमेंट विधियों जैसे Graves (2013) से किस प्रकार भिन्न है?

Graves का हस्तलेखन संश्लेषण (handwriting synthesis) अलाइनमेंट अटेंशन वेट्स को केवल एक ही दिशा में मोनोटोनिक रूप से आगे बढ़ने के लिए बाध्य करता था, जबकि Bahdanau attention सभी स्रोत स्थितियों पर नॉन-मोनोटोनिक रूप से स्कोर की गणना करता है, जिससे लचीले शब्द पुनर्गठन (reordering) की अनुमति मिलती है।

अलाइनमेंट मॉडल की कम्प्यूटेशनल लागत को प्रबंधनीय कैसे रखा जाता है?

चूँकि स्रोत रूपांतरण पद $U_{a} h_{j}$ डिकोडर चरण $i$ पर निर्भर नहीं करता है, इसलिए डिकोडिंग शुरू होने से पहले सभी स्रोत टोकनों के लिए इसकी पूर्व-गणना (precomputation) एक ही बार कर ली जाती है।

प्रयोगों में किस शब्दावली आकार का उपयोग किया गया था?

मॉडलों ने प्रत्येक भाषा के लिए 30,000 सबसे लगातार उपयोग होने वाले शब्दों की एक शॉर्टलिस्ट का उपयोग किया; इस सूची से बाहर के किसी भी टोकन को एक विशेष [UNK] टोकन से बदल दिया गया था।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें