Attention Is All You Need

Ashish Vaswani; Noam Shazeer; Niki Parmar; Jakob Uszkoreit; Llion Jones; Aidan N. Gomez; Lukasz Kaiser; Illia Polosukhin

Attention Is All You Need

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin

प्रकाशित 2017-06-12cs.CLcs.LG arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 रिकरेंट मॉडल टोकन स्थितियों के साथ क्रमिक रूप से निष्पादित होते हैं, जिससे प्रशिक्षण अनुक्रमों के भीतर समानांतरकरण अवरुद्ध होता है और लंबी दूरी के पथों से निपटने में कठिनाई होती है।
🔧 Transformer पेश किया गया, जो पूरी तरह से स्केल्ड डॉट-प्रोडक्ट मल्टी-हेड सेल्फ-अटेंशन और पोज़ीशन-वाइज़ फ़ीड-फ़ॉरवर्ड नेटवर्क पर आधारित एक एन्कोडर-डिकोडर आर्किटेक्चर है।
📈 WMT 2014 English-to-German पर 28.4 BLEU और English-to-French पर 41.8 BLEU के साथ अत्याधुनिक अनुवाद प्राप्त किया, जिसे 8 GPU पर केवल 3.5 दिनों में प्रशिक्षित किया गया।

सार

प्रमुख अनुक्रम पारगमन (sequence transduction) मॉडल एन्कोडर-डिकोडर कॉन्फ़िगरेशन में जटिल रिकरेंट या कन्वोल्यूशनल न्यूरल नेटवर्क पर आधारित होते हैं। सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडल एन्कोडर और डिकोडर को एक अटेंशन तंत्र के माध्यम से भी जोड़ते हैं। हम एक नए सरल नेटवर्क आर्किटेक्चर, Transformer का प्रस्ताव करते हैं, जो पूरी तरह से अटेंशन तंत्र पर आधारित है और पुनरावृत्ति व कनवल्शन को पूरी तरह समाप्त कर देता है। दो मशीन अनुवाद कार्यों पर प्रयोग दर्शाते हैं कि ये मॉडल गुणवत्ता में बेहतर होने के साथ-साथ अधिक समानांतर करने योग्य हैं और इन्हें प्रशिक्षित करने में काफी कम समय लगता है। हमारा मॉडल WMT 2014 English-to-German अनुवाद कार्य पर 28.4 BLEU प्राप्त करता है, जो एन्सेंबल सहित मौजूदा सर्वोत्तम परिणामों में 2 BLEU से अधिक का सुधार करता है। WMT 2014 English-to-French अनुवाद कार्य पर, हमारा मॉडल आठ GPU पर 3.5 दिनों के प्रशिक्षण के बाद 41.8 का एक नया सिंगल-मॉडल अत्याधुनिक BLEU स्कोर स्थापित करता है, जो साहित्य में उपलब्ध सर्वोत्तम मॉडलों की प्रशिक्षण लागत का एक छोटा सा अंश है। हम दिखाते हैं कि Transformer बड़े और सीमित दोनों तरह के प्रशिक्षण डेटा के साथ English constituency parsing पर इसे सफलतापूर्वक लागू करके अन्य कार्यों में भी अच्छी तरह से सामान्यीकृत होता है।

मूल सार (अंग्रेज़ी)

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results, including ensembles by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.8 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. We show that the Transformer generalizes well to other tasks by applying it successfully to English constituency parsing both with large and limited training data.

पढ़ने की गाइड

समस्या और प्रेरणा

प्रमुख अनुक्रम पारगमन (sequence transduction) आर्किटेक्चर रिकरेंट न्यूरल नेटवर्क (जैसे LSTM या GRU) या एन्कोडर-डिकोडर संरचनाओं में व्यवस्थित कन्वोल्यूशनल न्यूरल नेटवर्क पर निर्भर थे। रिकरेंट नेटवर्क स्वाभाविक रूप से छिपे हुए निरूपणों की गणना क्रमिक रूप से करते हैं ( $h_{t}$ को $h_{t - 1}$ और इनपुट $t$ पर सशर्त किया जाता है), जो प्रशिक्षण उदाहरणों के भीतर समय चरणों में समानांतरकरण को रोकता है। इसके अलावा, रिकरेंट नेटवर्क में दूर की स्थितियों को जोड़ने के लिए $O (n)$ क्रमिक संचालन की आवश्यकता होती है, जबकि ConvS2S और ByteNet जैसे कन्वोल्यूशनल मॉडलों को मनमानी स्थितियों को जोड़ने के लिए $O (n)$ या $O (lo g_{k} (n))$ संचालन की आवश्यकता होती है। लेखकों का उद्देश्य एक ऐसा आर्किटेक्चर बनाना था जो पुनरावृत्ति और कनवल्शन को पूरी तरह से त्याग दे, अनुक्रम की लंबाई में पूर्ण समानांतरकरण को सक्षम करे और किन्हीं दो टोकनों के बीच अधिकतम पथ लंबाई को घटाकर $O (1)$ कर दे।

मुख्य विचार

प्योर अटेंशन आर्किटेक्चर (Pure Attention Architecture): रिकरेंट कनेक्शनों को पूरी तरह से ऐसे अटेंशन तंत्रों से बदलें जो किसी अनुक्रम में सभी स्थितियों के बीच निर्भरता को सीधे मैप करते हैं।
स्केल्ड डॉट-प्रोडक्ट अटेंशन (Scaled Dot-Product Attention): गुणक डॉट-प्रोडक्ट्स को $\frac{1}{d _{k}}$ से स्केल करें ताकि उच्च आयामों में डॉट-प्रोडक्ट मान बहुत बड़े न हों, जो सॉफ्टमैक्स फ़ंक्शन को अत्यंत छोटे ग्रेडिएंट वाले क्षेत्रों में धकेल सकते हैं।
मल्टी-हेड अटेंशन (Multi-Head Attention): क्वेरीज़, कीज़ और वैल्यूज़ को समानांतर रूप से कई निचले-आयामी निरूपण सबस्पेस में रैखिक रूप से प्रोजेक्ट करें, जिससे नेटवर्क एक साथ विभिन्न स्थितियों और निरूपण स्थानों से जानकारी प्राप्त कर सके।
पोज़ीशनल एन्कोडिंग (Positional Encoding): चूँकि अटेंशन संचालन क्रम-अपरिवर्तनीय (permutation-invariant) होते हैं, इसलिए टोकन क्रम को एन्कोड करने के लिए इनपुट और आउटपुट एम्बेडिंग में विभिन्न आवृत्तियों के स्थिर साइनुसॉइडल फ़ंक्शन जोड़े जाते हैं।

कार्यप्रणाली

Transformer प्रत्येक में $N = 6$ समान स्टैक्ड परतों वाले एन्कोडर-डिकोडर फ्रेमवर्क का उपयोग करता है।

एन्कोडर और डिकोडर

प्रत्येक एन्कोडर परत में दो सब-लेयर होती हैं: एक मल्टी-हेड सेल्फ-अटेंशन तंत्र और एक पोज़ीशन-वाइज़ फुली कनेक्टेड फ़ीड-फ़ॉरवर्ड नेटवर्क (FFN)। प्रत्येक सब-लेयर पर रेजिड्यूअल कनेक्शन और लेयर नॉर्मलाइज़ेशन लागू किया जाता है: $LayerNorm (x + Sublayer (x))$ , जो आयाम $d_{model} = 512$ पर काम करता है।

प्रत्येक डिकोडर परत में तीन सब-लेयर होती हैं: मास्क्ड मल्टी-हेड सेल्फ-अटेंशन (जो ऑटो-रिग्रेसिव डिकोडिंग को बनाए रखने के लिए भविष्य की स्थितियों को छुपाता है), एन्कोडर स्टैक के आउटपुट पर मल्टी-हेड क्रॉस-अटेंशन, और एक पोज़ीशन-वाइज़ FFN।

गणितीय सूत्रीकरण

पैक किए गए मैट्रिस $Q, K, V$ पर स्केल्ड डॉट-प्रोडक्ट अटेंशन की गणना इस प्रकार की जाती है: $Attention (Q, K, V) = softmax (\frac{Q K ^{T}}{d _{k}}) V$

मल्टी-हेड अटेंशन $h$ समानांतर प्रोजेक्शनों को जोड़ता है: $MultiHead (Q, K, V) = Concat (head_{1}, \dots, head_{h}) W^{O}$ $where head_{i} = Attention (Q W_{i}^{Q}, K W_{i}^{K}, V W_{i}^{V})$ बेस मॉडल के लिए, $h = 8$ और $d_{k} = d_{v} = d_{model} / h = 64$ है।

पोज़ीशन-वाइज़ फ़ीड-फ़ॉरवर्ड सब-लेयर प्रत्येक स्थिति पर समान रूप से लागू की जाती है: $FFN (x) = max (0, x W_{1} + b_{1}) W_{2} + b_{2}$ जहाँ आंतरिक-परत आयाम $d_{ff} = 2048$ है।

पोज़ीशनल एन्कोडिंग को साइन और कोसाइन फ़ंक्शन द्वारा परिभाषित किया जाता है: $P E_{(p os, 2 i)} = sin (\frac{p os}{1000 0 ^{2 i / d_{model}}})$ $P E_{(p os, 2 i + 1)} = cos (\frac{p os}{1000 0 ^{2 i / d_{model}}})$

परिणाम

WMT 2014 English-to-German: Transformer (big) ने 28.4 BLEU का अत्याधुनिक स्कोर हासिल किया, जिसने पिछले मॉडलों और एन्सेंबल को 2.0 BLEU से अधिक पीछे छोड़ दिया। बेस मॉडल ने $3.3 \times 1 0^{18}$ FLOPs का उपयोग करके 27.3 BLEU हासिल किया, जो पिछले आर्किटेक्चर की लागत का एक अंश मात्र है।
WMT 2014 English-to-French: बिग मॉडल ने 8 NVIDIA P100 GPUs पर 3.5 दिनों के प्रशिक्षण ( $2.3 \times 1 0^{19}$ FLOPs) के बाद 41.8 BLEU (सिंगल मॉडल) हासिल किया, जो एक नया अत्याधुनिक कीर्तिमान है।
English Constituency Parsing: टास्क-विशिष्ट ट्यूनिंग के बिना WSJ Section 23 पर मूल्यांकित, 4-परत वाले Transformer ने विवेकात्मक (discriminative) सेटिंग में 91.3 $F_{1}$ और अर्ध-पर्यवेक्षित (semi-supervised) सेटिंग में 92.7 $F_{1}$ हासिल किया, जो RNN बेसलाइन से बेहतर प्रदर्शन है।

सीमाएँ और खुले प्रश्न

मानक सेल्फ-अटेंशन में प्रति-परत कम्प्यूटेशनल जटिलता $O (n^{2} \cdot d)$ होती है, जो बहुत लंबे अनुक्रमों $n$ के लिए कम्प्यूटेशनल रूप से महंगी हो जाती है।
डिकोडर में जेनरेशन अभी भी ऑटो-रिग्रेसिव (क्रमिक रूप से एक बार में एक टोकन उत्पन्न करना) रहता है, जो इनफरेंस विलंबता (inference latency) को सीमित करता है।
पेपर बड़े इनपुट और आउटपुट संदर्भों (जैसे चित्र, ऑडियो, वीडियो) को कुशलतापूर्वक संभालने के लिए स्थानीय या प्रतिबंधित अटेंशन नेबरहुड्स ( $r$ ) की जांच करने की आवश्यकता को नोट करता है।

मुख्य शब्द

Transformer: पुनरावृत्ति या कनवल्शन के बिना पूरी तरह से सेल्फ-अटेंशन तंत्र पर आधारित एक अनुक्रम पारगमन (sequence transduction) मॉडल आर्किटेक्चर।
Scaled Dot-Product Attention: एक अटेंशन फ़ंक्शन जहाँ वैल्यूज़ पर सॉफ्टमैक्स की गणना करने से पहले क्वेरीज़ और कीज़ के डॉट प्रोडक्ट्स को की-डायमेंशन $d_{k}$ के वर्गमूल से विभाजित किया जाता है।
Multi-Head Attention: एक अटेंशन तंत्र जो आउटपुट को संयोजित और प्रोजेक्ट करने से पहले प्रश्नों, कुंजियों और मानों को समानांतर में कई निरूपण सबस्पेस में प्रोजेक्ट करता है।
Self-Attention: एक इंट्रा-अनुक्रम अटेंशन तंत्र जो उसी अनुक्रम के निरूपण की गणना करने के लिए एकल अनुक्रम की विभिन्न स्थितियों को जोड़ता है।
Positional Encoding: क्रम-अपरिवर्तनीय अटेंशन परतों में टोकन अनुक्रम क्रम जानकारी को शामिल करने के लिए टोकन एम्बेडिंग में जोड़े गए स्थिर या सीखे गए वेक्टर निरूपण।
Residual Dropout: प्रत्येक सब-लेयर के आउटपुट पर सब-लेयर इनपुट में जोड़ने और लेयर नॉर्मलाइज़ेशन लागू करने से पहले, साथ ही टोकन एम्बेडिंग पर लागू किया जाने वाला ड्रॉपआउट।
Label Smoothing: प्रशिक्षण के दौरान $ϵ_{l s} = 0.1$ मान के साथ एक नियमितीकरण (regularization) तकनीक जो अति-आत्मविश्वासी भविष्यवाणियों को दंडित करती है, जिससे पर्प्लेक्सिटी प्रभावित होने के बावजूद BLEU स्कोर में सुधार होता है।
Constituency Parsing: संरचनात्मक रूप से बाधित और लंबे लक्ष्य आउटपुट की आवश्यकता वाला एक वाक्यात्मक NLP कार्य, जिसका उपयोग Transformer आर्किटेक्चर की सामान्यीकरण क्षमता को प्रदर्शित करने के लिए किया जाता है।

प्रश्न

Scaled Dot-Product Attention में $\sqrt{d_k}$ से विभाजन क्यों किया जाता है?

$d_{k}$ के बड़े मानों के लिए, डॉट प्रोडक्ट्स परिमाण में बड़े हो जाते हैं (शून्य माध्य और इकाई प्रसरण की धारणा के तहत, डॉट प्रोडक्ट का प्रसरण $d_{k}$ होता है), जो सॉफ्टमैक्स फ़ंक्शन को अत्यंत छोटे ग्रेडिएंट वाले क्षेत्रों में धकेल देता है। $\frac{1}{d _{k}}$ द्वारा स्केलिंग इस प्रभाव को निष्प्रभावी करती है।

Transformer पुनरावृत्ति (recurrence) के बिना टोकन क्रम को कैसे बनाए रखता है?

यह एन्कोडर और डिकोडर स्टैक के निचले भाग में इनपुट और आउटपुट एम्बेडिंग में सीधे साइनुसॉइडल पोज़ीशनल एन्कोडिंग जोड़ता है, जिससे प्रत्येक टोकन स्थिति को एक विशिष्ट आवृत्ति-आधारित पैटर्न मिलता है।

प्रशिक्षण के दौरान डिकोडर की स्थितियों को भविष्य के टोकनों पर ध्यान केंद्रित करने से क्या रोकता है?

डिकोडर का सेल्फ-अटेंशन सब-लेयर मास्किंग का उपयोग करता है जो सॉफ्टमैक्स इनपुट में अवैध भविष्य के कनेक्शनों के अनुरूप मानों को $- \infty$ पर सेट करता है।

प्रशिक्षण हार्डवेयर और कम्प्यूटेशनल आवश्यकताएं क्या थीं?

बेस मॉडल को 8 NVIDIA P100 GPU वाली एक सिंगल मशीन पर 100,000 चरणों (12 घंटे, 0.4 सेकंड/चरण की दर से) के लिए प्रशिक्षित किया गया था। बिग मॉडल को 300,000 चरणों (3.5 दिन, 1.0 सेकंड/चरण की दर से) के लिए प्रशिक्षित किया गया था।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें