RoFormer: Enhanced Transformer with Rotary Position Embedding

Jianlin Su; Yu Lu; Shengfeng Pan; Ahmed Murtadha; Bo Wen; Yunfeng Liu

الأوراق البحثية · arXiv 2104.09864

RoFormer: محول معزز بتضمين الموضع الدوراني (RoPE)

RoFormer: Enhanced Transformer with Rotary Position Embedding

Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen, Yunfeng Liu

تاريخ النشر 2021-04-20cs.CLcs.AIcs.LG arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 تضمينات الموضع القياسية إما متجهات مطلقة تجميعية أو تعديلات نسبية تعطل التوافق مع الانتباه الذاتي الخطي.
🔧 يضرب RoPE متجهات الاستعلام والمفتاح بمصفوفات دوران قطرية كتلية متعامدة بحيث يعتمد حاصل ضربها الداخلي فقط على المسافة النسبية بين الرموز.
📈 يحقق 27.5 BLEU على WMT 2014 En-De، ويتقارب بشكل أسرع أثناء التدريب المسبق، ويتفوق على WoBERT في CAIL2019-SCM بدقة أعلى بنسبة 1.5% عند طول تسلسل 1024.

الملخص

أثبت ترميز الموضع مؤخرًا فاعليته في بنية Transformer، حيث يتيح إشرافًا قيمًا لنمذجة التبعية بين العناصر في مواضع مختلفة من التسلسل. في هذا البحث، نستقصي أولًا طرقًا متنوعة لدمج المعلومات الموضعية في عملية تعلم النماذج اللغوية القائمة على Transformer. بعد ذلك، نقترح طريقة مبتكرة تسمى تضمين الموضع الدوراني (RoPE) للاستفادة بفاعلية من المعلومات الموضعية. وبشكل خاص، يقوم RoPE المقترح بترميز الموضع المطلق باستخدام مصفوفة دوران، مع دمج تبعية الموضع النسبي الصريحة في صياغة الانتباه الذاتي في الوقت نفسه. والجدير بالذكر أن RoPE يتيح خصائص قيمة، تشمل مرونة طول التسلسل، وتضاؤل التبعية بين الرموز مع زيادة المسافات النسبية، والقدرة على تزويد الانتباه الذاتي الخطي بترميز الموضع النسبي. وأخيرًا، نقيّم المحول المعزز بتضمين الموضع الدوراني، والمسمى أيضًا RoFormer، على مجموعات بيانات مرجعية متنوعة لتصنيف النصوص الطويلة. وتُظهر تجاربنا تفوقه المستمر على بدائله. علاوة على ذلك، نقدم تحليلًا نظريًا لتفسير بعض النتائج التجريبية. تم دمج RoFormer بالفعل في Huggingface: \url{https://huggingface.co/docs/transformers/model_doc/roformer}.

الملخص الأصلي (بالإنجليزية)

Position encoding recently has shown effective in the transformer architecture. It enables valuable supervision for dependency modeling between elements at different positions of the sequence. In this paper, we first investigate various methods to integrate positional information into the learning process of transformer-based language models. Then, we propose a novel method named Rotary Position Embedding(RoPE) to effectively leverage the positional information. Specifically, the proposed RoPE encodes the absolute position with a rotation matrix and meanwhile incorporates the explicit relative position dependency in self-attention formulation. Notably, RoPE enables valuable properties, including the flexibility of sequence length, decaying inter-token dependency with increasing relative distances, and the capability of equipping the linear self-attention with relative position encoding. Finally, we evaluate the enhanced transformer with rotary position embedding, also called RoFormer, on various long text classification benchmark datasets. Our experiments show that it consistently overcomes its alternatives. Furthermore, we provide a theoretical analysis to explain some experimental results. RoFormer is already integrated into Huggingface: \url{https://huggingface.co/docs/transformers/model_doc/roformer}.

دليل القراءة

المشكلة والدافع

تتسم آلية الانتباه الذاتي في نماذج Transformers بأنها بطبيعتها ثابتة تجاه التباديل، مما يتطلب تزويدها بمعلومات موضعية صريحة. وتنقسم المقاربات السابقة بصورة عامة إلى معسكرين: تضمينات الموضع المطلق المضافة مباشرة إلى تمثيلات الكلمات (متجهات جيبية ثابتة أو قابلة للتعلم) وتضمينات الموضع النسبي المدمجة في مصفوفة الانتباه (مثل Shaw et al. وTransformer-XL وT5 وDeBERTa). ومع ذلك، تعتمد الطرق النسبية الحالية إلى حد كبير على تفكيكات تجميعية تعدل القيم اللوغاريتمية (logits) الوسيطة للانتباه، مما يجعلها غير متوافقة مع آليات الانتباه الذاتي الخطي المعتمدة على النوى (kernels) والتي تتطلب تمثيلات قابلة للتحليل إلى عوامل. علاوة على ذلك، غالبًا ما تواجه النماذج صعوبة في التوسع بسلاسة عبر أطوال تسلسلات متغيرة.

الأفكار الرئيسية

المسافة النسبية عبر تدوير المتجهات: بدلًا من إضافة متجهات الموضع، يطبق RoPE مصفوفة دوران تعتمد على الموضع على متجهات الاستعلام (queries) والمفاتيح (keys) المحولة أفينيًا. وبالتالي، فإن حاصل الضرب الداخلي بين استعلام مُدار عند الفهرس $m$ ومفتاح مُدار عند الفهرس $n$ يعتمد بطبيعته فقط على المسافة النسبية $m - n$ .
التعامد والحفاظ على المعيار: نظرًا لأن مؤثر الدوران متعامد، فإنه يحافظ على المعيار الإقليدي للاستعلامات والمفاتيح، مما يضمن استقرار الحالات الخفية.
التضاؤل طويل المدى: باتباع قياس التردد الجيبي، تتضاءل تفاعلات الرموز بشكل طبيعي مع زيادة المسافة النسبية، وهو ما يتوافق مع الحدس اللغوي بأن الرموز المتباعدة تكون التبعيات بينها أضعف.
التوافق مع الانتباه الخطي: نظرًا لتطبيق المعلومات الموضعية مباشرة على متجهات الرموز قبل حساب الجداء النقطي، يمكن دمج RoPE مع الانتباه الخطي المعتمد على النوى (مثل Performer).

الطريقة (مع المعادلات الرئيسية)

الهدف هو إيجاد دالتين $f_{q} (x_{m}, m)$ و $f_{k} (x_{n}, n)$ يعتمد حاصل ضربهما الداخلي فقط على التضمينات والمسافة النسبية: $⟨ f_{q} (x_{m}, m), f_{k} (x_{n}, n)⟩ = g (x_{m}, x_{n}, m - n)$

في فضاء فرعي ثنائي الأبعاد، تؤدي معاملة المتجهات الحقيقية كأعداد مركبة إلى الحل التالي: $f_{q} (x_{m}, m) = (W_{q} x_{m}) e^{im θ}, f_{k} (x_{n}, n) = (W_{k} x_{n}) e^{in θ}$

بالنسبة لبُعد تضمين زوجي $d$ ، يتم تقسيم الفضاء إلى $d /2$ فضاءات فرعية ثنائية الأبعاد بترددات $Θ = {θ_{i} = 1000 0^{- 2 (i - 1) / d}, i \in [1, \dots, d /2]}$ . يطبق التحويل العام مصفوفة دوران قطرية كتلية $R_{Θ, m}^{d}$ : $f_{{q, k}} (x_{m}, m) = R_{Θ, m}^{d} W_{{q, k}} x_{m}$

وتحقق درجة الانتباه الناتجة بين الموضعين $m$ و $n$ ما يلي: $q_{m}^{⊺} k_{n} = (R_{Θ, m}^{d} W_{q} x_{m})^{⊺} (R_{Θ, n}^{d} W_{k} x_{n}) = x_{m}^{⊺} W_{q} R_{Θ, n - m}^{d} W_{k} x_{n}$

ولحساب ذلك بكفاءة دون الحاجة إلى ضرب مصفوفات متفرقة، يتم تنفيذ RoPE عبر عمليات عنصرية (element-wise): $R_{Θ, m}^{d} x = x_{1} x_{2} ⋮ x_{d - 1} x_{d} \otimes cos m θ_{1} cos m θ_{1} ⋮ cos m θ_{d /2} cos m θ_{d /2} + - x_{2} x_{1} ⋮ - x_{d} x_{d - 1} \otimes sin m θ_{1} sin m θ_{1} ⋮ sin m θ_{d /2} sin m θ_{d /2}$

النتائج (مع أهم الأرقام)

الترجمة الآلية: في مهمة WMT 2014 الإنجليزية-الألمانية، حقق RoFormer مقياس 27.5 BLEU، متفوقًا على النموذج الأساسي Transformer-base (الذي حقق 27.3 BLEU).
التقارب أثناء التدريب المسبق: عند تدريب BERT-base باستخدام RoPE على BookCorpus وWikipedia، يتقارب RoFormer بشكل أسرع ويصل إلى خسارة نمذجة لغة مقنعة (MLM) أقل مقارنة بنموذج BERT الأصلي.
الضبط الدقيق على GLUE: يحسن RoFormer المدرب مسبقًا درجات المهام اللاحقة بشكل ملحوظ في MRPC (89.5 مقابل 88.9 F1)، وSTS-B (87.0 مقابل 85.8 Spearman)، وQQP (86.4 مقابل 71.2 F1)، على الرغم من أن أداءه أقل من BERT في SST-2 (90.7 مقابل 93.5)، وQNLI (88.0 مقابل 90.5)، وMNLI-m/mm (80.2/79.8 مقابل 84.6/83.4).
الانتباه الخطي (Performer): على مجموعة بيانات Enwik8، أدت إضافة RoPE إلى نموذج Performer المكون من 12 طبقة على مستوى الحروف إلى تسريع التقارب وخفض خسارة التدريب بشكل ملحوظ.
المطابقة الدلالية للنصوص الطويلة: في معيار CAIL2019-SCM، يحقق RoFormer-512 دقة اختبار تبلغ 68.29% (مقابل 67.77% لـ BERT-512 و68.10% لـ WoBERT-512). ويؤدي رفع الطول إلى RoFormer-1024 إلى زيادة دقة الاختبار إلى 69.79% (تحسن مطلق بنسبة 1.5% مقارنة بـ WoBERT-512).

القيود والأسئلة المفتوحة

تشير الورقة إلى غياب تفسير نظري لسبب تقارب الصيغة الدورانية ثنائية الأبعاد بشكل أسرع أثناء التدريب المسبق مقارنة بالبدائل التجميعية.
على الرغم من إثبات خاصية التضاؤل طويل المدى رياضيًا، فإن سبب تعميم RoFormer بشكل أفضل ملحوظ على التسلسلات الطويلة مقارنة بالنماذج المماثلة يظل سؤالًا مفتوحًا.
يتطلب تقييم RoFormer في تدريب مسبق واسع النطاق موارد حسابية ضخمة لوحدات معالجة الرسومات (GPU)، مما يترك خصائص التوسع الأوسع نطاقًا للعمل المستقبلي.

المصطلحات الرئيسية

Rotary Position Embedding (RoPE): آلية لترميز الموضع تقوم بدمج المعلومات الموضعية عن طريق ضرب تمثيلات الاستعلام والمفتاح بمصفوفات دوران قطرية كتلية متعامدة.
RoFormer: بنية Transformer مجهزة بتضمين الموضع الدوراني بدلًا من ترميزات الموضع المطلقة أو النسبية التجميعية القياسية.
Long-term Decay: الخاصية الرياضية التي يتضاءل بموجبها حاصل الضرب الداخلي للاستعلامات والمفاتيح مع تزايد المسافة الموضعية النسبية $∣ m - n ∣$ .
Linear Attention: آليات انتباه تحسب خرائط معالم النواة لتغيير ترتيب ضرب المصفوفات وتحقيق تعقيد حسابي خطي $O (N)$ .
PerFormer: بنية Transformer ذات انتباه خطي تم اختبارها في الورقة لإثبات أن RoPE يزود الانتباه الخطي بسلاسة بمعلومات الموضع النسبي.
CAIL2019-SCM: مقياس مرجعي صيني لمطابقة القضايا المتشابهة في الذكاء الاصطناعي والقانون لعام 2019، يتكون من ثلاثيات قضايا قانونية تُستخدم لتقييم قدرات نمذجة النصوص الطويلة التي تتجاوز 512 رمزًا.
WoBERT: نموذج BERT صيني معتمد على الكلمات يُستخدم كأساس للمقارنة وقاعدة للتدريب المسبق لـ RoFormer على المدونات الصينية.

أسئلة شائعة

كيف يختلف RoPE عن التضمينات الموضعية الجيبية القياسية؟

تُضاف التضمينات الجيبية إلى متجهات رموز المدخلات قبل الإسقاطات الخطية، في حين يُطبق RoPE ضربيًا كدوران مباشر على إسقاطات الاستعلام والمفتاح داخل طبقة الانتباه.

لماذا يتوافق RoPE مع الانتباه الذاتي الخطي بينما لا تتوافق الترميزات النسبية الأخرى؟

تعدل الترميزات النسبية الحالية القيم اللوغاريتمية للانتباه الزوجي داخل عمليات softmax، مما يكسر التحليل إلى عوامل المطلوب للانتباه الخطي. بينما يقوم RoPE بتدوير متجهات الاستعلام والمفتاح بشكل فردي دون تغيير معاييرها، مما يسمح لنوى الانتباه الخطي بالعمل بصورة طبيعية.

هل يتطلب تطبيق RoPE ضرب مصفوفات كثيفة بواسطة $R^d_{\Theta, m}$؟

لا؛ نظرًا لأن $R_{Θ, m}^{d}$ هي مصفوفة قطرية كتلية متفرقة تتكون من كتل بحجم $2 \times 2$ ، فإنها تُنفذ حسابيًا كضرب عنصري وإعادة تجميع زوجي باستخدام متجهات جيب التمام والجيب.

كيف يؤدي RoFormer عند التوسع إلى سياقات أطول؟

في المعيار المرجعي CAIL2019-SCM، أدى توسيع طول السياق من 512 إلى 1024 إلى زيادة دقة اختبار RoFormer من 68.29% إلى 69.79%، مما يُظهر قدرة قوية على التعميم عبر الأطوال.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي