RoFormer: Enhanced Transformer with Rotary Position Embedding

Jianlin Su; Yu Lu; Shengfeng Pan; Ahmed Murtadha; Bo Wen; Yunfeng Liu

शोध पत्र · arXiv 2104.09864

RoFormer: Rotary Position Embedding के साथ संवर्धित Transformer

RoFormer: Enhanced Transformer with Rotary Position Embedding

Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen, Yunfeng Liu

प्रकाशित 2021-04-20cs.CLcs.AIcs.LG arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 मानक पोजीशन एम्बेडिंग्स या तो एडिटिव ऐब्सोल्यूट वेक्टर्स हैं या रिलेटिव संशोधन हैं जो लीनियर self-attention के साथ कम्पैटिबिलिटी को तोड़ देते हैं।
🔧 RoPE क्वेरी और की (key) वेक्टर्स को ऑर्थोगोनल ब्लॉक-डायगोनल रोटेशन मेट्रिसेस से गुणा करता है ताकि उनका इनर प्रोडक्ट पूरी तरह से रिलेटिव टोकन दूरी पर निर्भर करे।
📈 WMT 2014 En-De पर 27.5 BLEU प्राप्त करता है, प्री-ट्रेनिंग के दौरान तेजी से कन्वर्ज होता है, और 1024 सीक्वेंस लंबाई पर CAIL2019-SCM में WoBERT से 1.5% बेहतर सटीकता प्रदान करता है।

सार

ट्रांसफॉर्मर आर्किटेक्चर में पोजीशन एनकोडिंग हाल ही में प्रभावी साबित हुई है। यह सीक्वेंस के विभिन्न स्थानों पर मौजूद तत्वों के बीच डिपेंडेंसी मॉडलिंग के लिए मूल्यवान सुपरविजन सक्षम बनाती है। इस शोध पत्र में, हम पहले ट्रांसफॉर्मर-आधारित लैंग्वेज मॉडलों की लर्निंग प्रक्रिया में स्थितिजन्य जानकारी को एकीकृत करने के विभिन्न तरीकों की जांच करते हैं। फिर, हम स्थितिजन्य जानकारी का प्रभावी ढंग से लाभ उठाने के लिए Rotary Position Embedding (RoPE) नामक एक नई पद्धति का प्रस्ताव करते हैं। विशेष रूप से, प्रस्तावित RoPE एक रोटेशन मैट्रिक्स के साथ ऐब्सोल्यूट पोजीशन को एनकोड करता है और साथ ही self-attention फॉर्मूलेशन में स्पष्ट रिलेटिव पोजीशन डिपेंडेंसी को शामिल करता है। उल्लेखनीय रूप से, RoPE मूल्यवान विशेषताओं को सक्षम बनाता है, जिसमें सीक्वेंस की लंबाई का लचीलापन, बढ़ती रिलेटिव दूरियों के साथ इंटर-टोकन डिपेंडेंसी का क्षय (decay), और लीनियर self-attention को रिलेटिव पोजीशन एनकोडिंग से लैस करने की क्षमता शामिल है। अंत में, हम विभिन्न लंबे टेक्स्ट क्लासिफिकेशन बेंचमार्क डेटासेट्स पर रोटरी पोजीशन एम्बेडिंग के साथ संवर्धित ट्रांसफॉर्मर, जिसे RoFormer भी कहा जाता है, का मूल्यांकन करते हैं। हमारे प्रयोग दर्शाते हैं कि यह लगातार अपने विकल्पों से बेहतर प्रदर्शन करता है। इसके अलावा, हम कुछ प्रायोगिक परिणामों को समझाने के लिए एक सैद्धांतिक विश्लेषण प्रदान करते हैं। RoFormer को Huggingface में पहले ही एकीकृत किया जा चुका है: \url{https://huggingface.co/docs/transformers/model_doc/roformer}।

मूल सार (अंग्रेज़ी)

Position encoding recently has shown effective in the transformer architecture. It enables valuable supervision for dependency modeling between elements at different positions of the sequence. In this paper, we first investigate various methods to integrate positional information into the learning process of transformer-based language models. Then, we propose a novel method named Rotary Position Embedding(RoPE) to effectively leverage the positional information. Specifically, the proposed RoPE encodes the absolute position with a rotation matrix and meanwhile incorporates the explicit relative position dependency in self-attention formulation. Notably, RoPE enables valuable properties, including the flexibility of sequence length, decaying inter-token dependency with increasing relative distances, and the capability of equipping the linear self-attention with relative position encoding. Finally, we evaluate the enhanced transformer with rotary position embedding, also called RoFormer, on various long text classification benchmark datasets. Our experiments show that it consistently overcomes its alternatives. Furthermore, we provide a theoretical analysis to explain some experimental results. RoFormer is already integrated into Huggingface: \url{https://huggingface.co/docs/transformers/model_doc/roformer}.

पढ़ने की गाइड

समस्या और प्रेरणा

Transformers में Self-attention स्वाभाविक रूप से क्रमपरिवर्तन-अपरिवर्तनीय (permutation-invariant) होता है, जिसके लिए स्पष्ट पोजीशन जानकारी की आवश्यकता होती है। पिछले दृष्टिकोण मोटे तौर पर दो श्रेणियों में आते हैं: ऐब्सोल्यूट पोजीशन एम्बेडिंग्स जिन्हें सीधे शब्द निरूपण (word representations) में जोड़ा जाता है (सीखे गए या निश्चित sinusoidal वेक्टर्स) और रिलेटिव पोजीशन एम्बेडिंग्स जिन्हें अटेंशन मैट्रिक्स में एकीकृत किया जाता है (जैसे, Shaw et al., Transformer-XL, T5, DeBERTa)। हालाँकि, मौजूदा रिलेटिव विधियाँ बड़े पैमाने पर एडिटिव डिकम्पोज़ीशन पर निर्भर करती हैं जो इंटरमीडिएट अटेंशन लॉजिट्स को संशोधित करती हैं, जिससे वे कर्नेल-आधारित लीनियर self-attention मैकेनिज्म के साथ असंगत हो जाती हैं जिन्हें फैक्टराइजेबल निरूपण की आवश्यकता होती है। इसके अलावा, मॉडल अक्सर परिवर्तनशील सीक्वेंस लंबाइयों में सुचारू रूप से स्केल करने में संघर्ष करते हैं।

मुख्य विचार

वेक्टर रोटेशन के माध्यम से रिलेटिव दूरी: पोजीशन वेक्टर्स को जोड़ने के बजाय, RoPE एफाइन-रूपांतरित (affine-transformed) क्वेरीज़ और कीज़ पर स्थिति-निर्भर रोटेशन मैट्रिक्स लागू करता है। इंडेक्स $m$ पर रोटेट की गई क्वेरी और इंडेक्स $n$ पर रोटेट की गई की के बीच का इनर प्रोडक्ट स्वाभाविक रूप से केवल रिलेटिव दूरी $m - n$ पर निर्भर करता है।
ऑर्थोगोनैलिटी और नॉर्म संरक्षण: क्योंकि रोटेशन ऑपरेटर ऑर्थोगोनल है, यह क्वेरीज़ और कीज़ के यूक्लिडियन नॉर्म को संरक्षित रखता है, जिससे हिडन स्टेट्स स्थिर रहते हैं।
दीर्घकालिक क्षय (Long-term Decay): Sinusoidal फ्रीक्वेंसी स्केलिंग के बाद, रिलेटिव दूरी बढ़ने के साथ टोकन इंटरैक्शन स्वाभाविक रूप से क्षीण हो जाते हैं, जो भाषाई अंतर्ज्ञान से मेल खाता है कि दूर के टोकन में कमजोर निर्भरता होती है।
लीनियर अटेंशन के साथ अनुकूलता: चूँकि डॉट प्रोडक्ट लेने से पहले पोजीशन जानकारी सीधे टोकन वेक्टर्स पर लागू की जाती है, RoPE को कर्नेल-आधारित लीनियर अटेंशन (जैसे Performer) के साथ जोड़ा जा सकता है।

विधि (प्रमुख समीकरणों के साथ)

इसका उद्देश्य ऐसे फ़ंक्शन $f_{q} (x_{m}, m)$ और $f_{k} (x_{n}, n)$ खोजना है जिनका इनर प्रोडक्ट केवल एम्बेडिंग्स और रिलेटिव दूरी पर निर्भर करता हो: $⟨ f_{q} (x_{m}, m), f_{k} (x_{n}, n)⟩ = g (x_{m}, x_{n}, m - n)$

एक 2D सबस्पेस में, वास्तविक वेक्टर्स को सम्मिश्र संख्याओं (complex numbers) के रूप में मानने पर यह समाधान प्राप्त होता है: $f_{q} (x_{m}, m) = (W_{q} x_{m}) e^{im θ}, f_{k} (x_{n}, n) = (W_{k} x_{n}) e^{in θ}$

एक सम एम्बेडिंग आयाम $d$ के लिए, स्पेस को $Θ = {θ_{i} = 1000 0^{- 2 (i - 1) / d}, i \in [1, \dots, d /2]}$ आवृत्तियों के साथ $d /2$ 2D सबस्पेस में विभाजित किया गया है। सामान्य रूपांतरण ब्लॉक-डायगोनल रोटेशन मैट्रिक्स $R_{Θ, m}^{d}$ लागू करता है: $f_{{q, k}} (x_{m}, m) = R_{Θ, m}^{d} W_{{q, k}} x_{m}$

पोजीशन $m$ और $n$ के बीच परिणामी अटेंशन स्कोर संतुष्ट करता है: $q_{m}^{⊺} k_{n} = (R_{Θ, m}^{d} W_{q} x_{m})^{⊺} (R_{Θ, n}^{d} W_{k} x_{n}) = x_{m}^{⊺} W_{q} R_{Θ, n - m}^{d} W_{k} x_{n}$

स्पार्स मैट्रिक्स गुणन के बिना इसे कुशलतापूर्वक संगणित करने के लिए, RoPE को एलिमेंट-वाइज़ ऑपरेशनों के माध्यम से कार्यान्वित किया जाता है: $R_{Θ, m}^{d} x = x_{1} x_{2} ⋮ x_{d - 1} x_{d} \otimes cos m θ_{1} cos m θ_{1} ⋮ cos m θ_{d /2} cos m θ_{d /2} + - x_{2} x_{1} ⋮ - x_{d} x_{d - 1} \otimes sin m θ_{1} sin m θ_{1} ⋮ sin m θ_{d /2} sin m θ_{d /2}$

परिणाम (सर्वाधिक महत्वपूर्ण संख्याओं के साथ)

मशीन अनुवाद (Machine Translation): WMT 2014 English-German पर, RoFormer 27.5 BLEU तक पहुंचता है, जो Transformer-base बेसलाइन (27.3 BLEU) से बेहतर प्रदर्शन करता है।
प्री-ट्रेनिंग कन्वर्जेंस: BookCorpus और Wikipedia पर RoPE के साथ BERT-base को प्रशिक्षित करते समय, RoFormer वैनिला BERT की तुलना में तेजी से कन्वर्ज होता है और कम मास्क्ड लैंग्वेज मॉडलिंग (MLM) लॉस तक पहुंचता है।
GLUE फाइन-ट्यूनिंग: प्री-ट्रेन्ड RoFormer डाउनस्ट्रीम स्कोर्स में MRPC (89.5 बनाम 88.9 F1), STS-B (87.0 बनाम 85.8 Spearman), और QQP (86.4 बनाम 71.2 F1) पर महत्वपूर्ण सुधार करता है, हालांकि यह SST-2 (90.7 बनाम 93.5), QNLI (88.0 बनाम 90.5), और MNLI-m/mm (80.2/79.8 बनाम 84.6/83.4) पर BERT की तुलना में कम प्रदर्शन करता है।
लीनियर अटेंशन (Performer): Enwik8 डेटासेट पर, 12-लेयर कैरेक्टर-आधारित Performer में RoPE जोड़ने से कन्वर्जेंस में काफी तेजी आती है और ट्रेनिंग लॉस कम होता है।
लॉन्ग टेक्स्ट सिमेंटिक मैचिंग: CAIL2019-SCM पर, RoFormer-512 68.29% टेस्ट सटीकता प्राप्त करता है (BERT-512 के लिए 67.77% और WoBERT-512 के लिए 68.10% के मुकाबले)। RoFormer-1024 तक स्केल करने पर टेस्ट सटीकता बढ़कर 69.79% हो जाती है (WoBERT-512 की तुलना में 1.5% का पूर्ण सुधार)।

सीमाएं और खुले प्रश्न

शोध पत्र इस बात के सैद्धांतिक स्पष्टीकरण की कमी की ओर इशारा करता है कि 2D रोटरी फॉर्मूलेशन एडिटिव विकल्पों की तुलना में प्री-ट्रेनिंग के दौरान तेजी से कन्वर्ज क्यों होता है।
यद्यपि लॉन्ग-टर्म डिके विशेषता गणितीय रूप से प्रदर्शित की गई है, फिर भी लंबी सीक्वेंस पर RoFormer अपने समकक्ष मॉडलों की तुलना में काफी बेहतर सामान्यीकरण (generalization) क्यों करता है, यह एक खुला प्रश्न बना हुआ है।
बड़े पैमाने पर प्री-ट्रेनिंग में RoFormer का मूल्यांकन करने के लिए पर्याप्त GPU कंप्यूट की आवश्यकता होती है, जिससे व्यापक स्केलिंग गुणों का अध्ययन भविष्य के काम पर छोड़ दिया गया है।

मुख्य शब्द

Rotary Position Embedding (RoPE): एक पोजीशन एनकोडिंग तंत्र जो क्वेरी और की निरूपणों को ऑर्थोगोनल ब्लॉक-डायगोनल रोटेशन मेट्रिसेस से गुणा करके पोजीशन जानकारी जोड़ता है।
RoFormer: एक Transformer आर्किटेक्चर जो मानक ऐब्सोल्यूट या एडिटिव रिलेटिव पोजीशन एनकोडिंग के बजाय Rotary Position Embedding से सुसज्जित है।
Long-term Decay: वह गणितीय गुण जिसमें रिलेटिव स्थितीय दूरी $∣ m - n ∣$ बढ़ने पर क्वेरीज़ और कीज़ का इनर प्रोडक्ट घटता जाता है।
Linear Attention: अटेंशन तंत्र जो मैट्रिक्स गुणन क्रम को बदलने और लीनियर $O (N)$ कम्प्यूटेशनल जटिलता प्राप्त करने के लिए कर्नेल फीचर मैप्स की गणना करते हैं।
PerFormer: एक लीनियर अटेंशन Transformer आर्किटेक्चर जिसे शोध पत्र में यह प्रदर्शित करने के लिए परखा गया कि RoPE आसानी से लीनियर अटेंशन को रिलेटिव पोजीशन जानकारी से लैस करता है।
CAIL2019-SCM: Chinese AI and Law 2019 Similar Case Matching बेंचमार्क, जिसमें 512 से अधिक टोकन की लॉन्ग-टेक्स्ट मॉडलिंग क्षमताओं का मूल्यांकन करने के लिए कानूनी मामलों के ट्रिपलेट्स शामिल हैं।
WoBERT: एक शब्द-आधारित चीनी BERT मॉडल जिसका उपयोग चीनी कॉर्पोरा पर RoFormer के लिए एक तुलनात्मक बेसलाइन और प्री-ट्रेनिंग आधार के रूप में किया जाता है।

प्रश्न

RoPE मानक साइन्यूसोइडल (sinusoidal) पोजीशन एम्बेडिंग्स से किस प्रकार भिन्न है?

Sinusoidal एम्बेडिंग्स को लीनियर प्रोजेक्शन से पहले इनपुट टोकन वेक्टर्स में जोड़ा जाता है, जबकि RoPE को अटेंशन लेयर के भीतर सीधे क्वेरी और की प्रोजेक्शन पर गुणात्मक रूप से रोटेशन के रूप में लागू किया जाता है।

RoPE लीनियर self-attention के अनुकूल क्यों है जबकि अन्य रिलेटिव एनकोडिंग नहीं हैं?

मौजूदा रिलेटिव एनकोडिंग सॉफ्टमैक्स ऑपरेशंस के अंदर पेयरवाइज़ अटेंशन लॉजिट्स को संशोधित करती हैं, जिससे लीनियर अटेंशन के लिए आवश्यक फैक्टराइजेशन टूट जाता है। RoPE क्वेरी और की वेक्टर्स को उनके नॉर्म बदले बिना व्यक्तिगत रूप से रोटेट करता है, जिससे लीनियर अटेंशन कर्नेल सामान्य रूप से कार्य कर सकते हैं।

क्या RoPE लागू करने के लिए $R^d_{\Theta, m}$ द्वारा डेंस मैट्रिक्स गुणन की आवश्यकता होती है?

नहीं। चूँकि $R_{Θ, m}^{d}$ एक स्पार्स ब्लॉक-डायगोनल मैट्रिक्स है जो $2 \times 2$ ब्लॉकों से बना है, इसे कोसाइन और साइन वेक्टर्स का उपयोग करके एलिमेंट-वाइज़ गुणन और पेयरवाइज़ पुनर्संयोजन के रूप में कुशलतापूर्वक लागू किया जाता है।

लंबे कॉन्टेक्स्ट तक स्केल करने पर RoFormer कैसा प्रदर्शन करता है?

CAIL2019-SCM बेंचमार्क पर, कॉन्टेक्स्ट की लंबाई को 512 से 1024 तक बढ़ाने से RoFormer की परीक्षण सटीकता 68.29% से बढ़कर 69.79% हो जाती है, जो मजबूत लंबाई सामान्यीकरण क्षमता को दर्शाती है।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें