Attention Is All You Need

Ashish Vaswani; Noam Shazeer; Niki Parmar; Jakob Uszkoreit; Llion Jones; Aidan N. Gomez; Lukasz Kaiser; Illia Polosukhin

Attention Is All You Need

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin

تاريخ النشر 2017-06-12cs.CLcs.LG arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 تعمل النماذج التكرارية تسلسلياً عبر مواضع الرموز، مما يعيق الموازاة داخل متتابعات التدريب ويجعلها تعاني مع مسارات الاعتماد طويلة المدى.
🔧 يقدم الورقة معمارية Transformer، وهي هيكلية مشفر ومفكك تعتمد كلياً على الانتباه الذاتي متعدد الرؤوس عبر الجداء النقطي المقاس والشبكات الأمامية الموضعية.
📈 تحقق أداءً قياسياً في الترجمة بـ 28.4 BLEU على WMT 2014 من الإنجليزية إلى الألمانية و41.8 BLEU من الإنجليزية إلى الفرنسية، مع تدريب خلال 3.5 أيام على 8 معالجات رسومات.

الملخص

تعتمد النماذج السائدة في تحويل المتتابعات على شبكات عصبية تكرارية أو ملتفة معقدة مبنية وفق هيكلية المشفر والمفكك. وتعتمد أفضل النماذج أداءً أيضاً على ربط المشفر بالمفكك عبر آلية الانتباه. نقترح معمارية شبكية جديدة وبسيطة، وهي Transformer، تعتمد كلياً على آليات الانتباه، مستغنية تماماً عن التكرار والالتفاف. أظهرت التجارب على مهمتين للترجمة الآلية تفوق هذه النماذج من حيث الجودة، مع كونها أكثر قابلية للموازاة وتتطلب وقتاً أقل بكثير للتدريب. حقق نموذجنا 28.4 نقطة BLEU في مهمة الترجمة من الإنجليزية إلى الألمانية في WMT 2014، متفوقاً على أفضل النتائج الحالية، بما في ذلك النماذج المجمعة بأكثر من درجتي BLEU. وفي مهمة الترجمة من الإنجليزية إلى الفرنسية في WMT 2014، حقق نموذجنا الفردي درجة BLEU قياسية جديدة بلغت 41.8 بعد تدريبه لمدة 3.5 أيام على ثماني معالجات رسومات، وهو ما يمثل جزءاً ضئيلاً من تكاليف تدريب أفضل النماذج في المراجع السابقة. ونبيّن أن Transformer يعمم جيداً على مهام أخرى بتطبيقه بنجاح على التحليل النحوي للبنية المكونة في اللغة الإنجليزية، سواء مع بيانات تدريب كبيرة أو محدودة.

الملخص الأصلي (بالإنجليزية)

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results, including ensembles by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.8 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. We show that the Transformer generalizes well to other tasks by applying it successfully to English constituency parsing both with large and limited training data.

دليل القراءة

المشكلة والدافع

اعتمدت المعماريات السائدة لتحويل المتتابعات على الشبكات العصبية التكرارية (مثل LSTM أو GRU) أو الشبكات العصبية الالتفافية المنظمة في هياكل مشفر ومفكك. تحسب الشبكات التكرارية التمثيلات الخفية بشكل تسلسلي بطبيعتها ( $h_{t}$ مشروط بـ $h_{t - 1}$ والمدخل $t$ )، مما يمنع الموازاة عبر الخطوات الزمنية داخل أمثلة التدريب. علاوة على ذلك، يتطلب ربط المواضع المتباعدة في الشبكات التكرارية $O (n)$ من العمليات التسلسلية، بينما تتطلب النماذج الالتفافية مثل ConvS2S وByteNet إجراء $O (n)$ أو $O (lo g_{k} (n))$ من العمليات لربط أي موضعين اعتباطيين. استهدف المؤلفون بناء معمارية تتخلى تماماً عن التكرار والالتفاف، مما يتيح الموازاة الكاملة عبر طول المتتابعة مع تقليل أقصى طول للمسار بين أي رمزين إلى $O (1)$ .

الأفكار الرئيسية

معمارية انتباه خالصة: استبدال الروابط التكرارية بالكامل بآليات انتباه تربط التبعيات مباشرة عبر جميع المواضع في المتتابعة.
الانتباه عبر الجداء النقطي المقاس (Scaled Dot-Product Attention): قياس نواتج الجداء النقطي الضربي بمعامل $\frac{1}{d _{k}}$ لمنع قيم الجداء النقطي من التضخم في الأبعاد العالية، مما قد يدفع دوال softmax إلى مناطق ذات تدرجات متلاشية الصغر.
الانتباه متعدد الرؤوس (Multi-Head Attention): إجراء إسقاط خطي للاستعلامات والمفاتيح والقيم في عدة فضاءات فرعية تمثيلية منخفضة الأبعاد بالتوازي، مما يسمح للشبكة بالتركيز آنياً على معلومات من مواضع مختلفة وفضاءات تمثيلية متباينة.
الترميز الموضعي (Positional Encoding): نظراً لأن عمليات الانتباه لا تتأثر بالتباديل، تتم إضافة دوال جيبية ثابتة ذات ترددات مختلفة إلى تضمينات المدخلات والمخرجات لتشفير ترتيب الرموز.

الطريقة

يستخدم Transformer إطار المشفر والمفكك مع $N = 6$ من الطبقات المتطابقة المتتالية في كل منهما.

المشفر والمفكك

تحتوي كل طبقة في المشفر على طبقتين فرعيتين: آلية الانتباه الذاتي متعدد الرؤوس وشبكة أمامية (FFN) متصلة بالكامل ومطبقة موضعياً. تُطبق الروابط المتبقية وتسوية الطبقات (Layer Normalization) على كل طبقة فرعية: $LayerNorm (x + Sublayer (x))$ ، وتعمل على بُعد $d_{model} = 512$ .

تحتوي كل طبقة في المفكك على ثلاث طبقات فرعية: انتباه ذاتي متعدد الرؤوس مع قناع (يحجب المواضع المستقبلية للحفاظ على التوليد ذاتي الانحدار)، وانتباه متبادل متعدد الرؤوس على مخرجات مصفوفة المشفر، وشبكة FFN موضعية.

الصياغة الرياضية

يُحسب الانتباه عبر الجداء النقطي المقاس على المصفوفات المجمعة $Q, K, V$ كما يلي: $Attention (Q, K, V) = softmax (\frac{Q K ^{T}}{d _{k}}) V$

يجمع الانتباه متعدد الرؤوس بين $h$ من الإسقاطات المتوازية: $MultiHead (Q, K, V) = Concat (head_{1}, \dots, head_{h}) W^{O}$ $where head_{i} = Attention (Q W_{i}^{Q}, K W_{i}^{K}, V W_{i}^{V})$ بالنسبة للنموذج الأساسي، فإن $h = 8$ و $d_{k} = d_{v} = d_{model} / h = 64$ .

تُطبق الطبقة الفرعية الأمامية الموضعية بشكل متطابق على كل موضع: $FFN (x) = max (0, x W_{1} + b_{1}) W_{2} + b_{2}$ حيث البُعد الداخلي للطبقة هو $d_{ff} = 2048$ .

تُعرّف الترميزات الموضعية بدوال الجيب وجيب التمام: $P E_{(p os, 2 i)} = sin (\frac{p os}{1000 0 ^{2 i / d_{model}}})$ $P E_{(p os, 2 i + 1)} = cos (\frac{p os}{1000 0 ^{2 i / d_{model}}})$

النتائج

WMT 2014 من الإنجليزية إلى الألمانية: حقق نموذج Transformer (الضخم) نتيجة قياسية بلغت 28.4 BLEU، متفوقاً على النماذج السابقة والمجمعة بأكثر من 2.0 BLEU. وحقق النموذج الأساسي 27.3 BLEU باستخدام $3.3 \times 1 0^{18}$ من عمليات FLOPs، وهو جزء ضئيل من تكلفة المعماريات السابقة.
WMT 2014 من الإنجليزية إلى الفرنسية: حقق النموذج الضخم 41.8 BLEU (كنموذج فردي)، مسجلاً رقماً قياسياً جديداً بعد 3.5 أيام من التدريب على 8 معالجات رسومات NVIDIA P100 بمقدار ( $2.3 \times 1 0^{19}$ FLOPs).
التحليل النحوي للبنية المكونة في الإنجليزية: عند التقييم على WSJ القسم 23 دون ضبط مخصص للمهمة، حقق Transformer المكون من 4 طبقات 91.3 $F_{1}$ في الإعداد التمييزي و92.7 $F_{1}$ في الإعداد شبه الخاضع للإشراف، متفوقاً على خطوط الأساس المعتمدة على RNN.

القيود والأسئلة المفتوحة

تبلغ التعقيد الحسابي لكل طبقة في الانتباه الذاتي القياسي $O (n^{2} \cdot d)$ ، مما يجعله مكلفاً حسابياً للمتتابعات الطويلة جداً $n$ .
يظل التوليد في المفكك ذاتي الانحدار (توليد رمز واحد في كل خطوة بالتتابع)، مما يحد من سرعة الاستدلال.
تشير الورقة إلى الحاجة لبحث نطاقات الانتباه المحلية أو المقيدة ( $r$ ) للتعامل بكفاءة مع سياقات المدخلات والمخرجات الضخمة (مثل الصور، الصوت، والفيديو).

المصطلحات الرئيسية

Transformer: معمارية نموذج لتحويل المتتابعات تعتمد كلياً على آليات الانتباه الذاتي دون تكرار أو التفاف.
Scaled Dot-Product Attention: دالة انتباه يُقسم فيها الجداء النقطي للاستعلامات والمفاتيح على الجذر التربيعي لبُعد المفتاح $d_{k}$ قبل حساب softmax على القيم.
Multi-Head Attention: آلية انتباه تسقط الاستعلامات والمفاتيح والقيم في فضاءات فرعية تمثيلية متعددة بالتوازي قبل دمج المخرجات وإسقاطها.
Self-Attention: آلية انتباه داخلية للمتتابعة تربط بين مواضع مختلفة لنفس المتتابعة لحساب تمثيل لها.
Positional Encoding: تمثيلات متجهية ثابتة أو متعلمة تُضاف إلى تضمينات الرموز لإدراج معلومات ترتيب المتتابعة في طبقات الانتباه غير الحساسة للتباديل.
Residual Dropout: إسقاط عشوائي (Dropout) يُطبق على مخرجات كل طبقة فرعية قبل إضافتها إلى مدخلاتها وتطبيق تسوية الطبقة، وكذلك على تضمينات الرموز.
Label Smoothing: تقنية انتظام أثناء التدريب بقيمة $ϵ_{l s} = 0.1$ تعاقب التنبؤات المفرطة في الثقة، مما يحسن درجات BLEU رغم تأثيرها السلبي على الحيرة (perplexity).
Constituency Parsing: مهمة معالجة لغات طبيعية نحوية تتطلب مخرجات أهداف طويلة ومقيدة هيكلياً، استُخدمت لإثبات قابلية معمارية Transformer للتعميم.

أسئلة شائعة

لماذا يقسم Scaled Dot-Product Attention على $\sqrt{d_k}$؟

عندما تكون قيم $d_{k}$ كبيرة، تزداد قيم الجداء النقطي بشكل كبير (بافتراض متوسط صفري وتباين أحادي، يكون تباين الجداء النقطي $d_{k}$ )، مما يدفع دالة softmax إلى مناطق ذات تدرجات صغيرة للغاية. وتعمل القسمة على $\frac{1}{d _{k}}$ على موازنة هذا التأثير.

كيف يحافظ Transformer على ترتيب الرموز دون استخدام التكرار؟

يقوم بإضافة ترميزات موضعية جيبية مباشرة إلى تضمينات المدخلات والمخرجات في أسفل مصفوفات المشفر والمفكك، مما يمنح كل موضع رمز نمطاً ترددياً فريداً.

ما الذي يمنع مواضع المفكك من الانتباه إلى الرموز المستقبلية أثناء التدريب؟

تستخدم الطبقة الفرعية للانتباه الذاتي في المفكك قناعاً يحجب القيم عبر ضبط مدخلات softmax المقابلة للروابط المستقبلية غير المسموحة إلى $- \infty$ .

ما هي متطلبات العتاد والحوسبة للتدريب؟

تم تدريب النموذج الأساسي على جهاز واحد مزود بـ 8 معالجات رسومات NVIDIA P100 لمدة 100,000 خطوة (12 ساعة بمعدل 0.4 ثانية/خطوة). بينما دُرّب النموذج الضخم لمدة 300,000 خطوة (3.5 أيام بمعدل 1.0 ثانية/خطوة).

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي