Neural Machine Translation by Jointly Learning to Align and Translate

Dzmitry Bahdanau; Kyunghyun Cho; Yoshua Bengio

الأوراق البحثية · arXiv 1409.0473

الترجمة الآلية العصبية عبر التعلم المشترك للمحاذاة والترجمة

Neural Machine Translation by Jointly Learning to Align and Translate

Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio

تاريخ النشر 2014-09-01cs.CLcs.LGcs.NEstat.ML arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 تضغط نماذج NMT القياسية المعتمدة على encoder-decoder الجمل المصدرية بأكملها في متجه ثابت الطول، مما يؤدي إلى تدهور حاد في الأداء مع الجمل الطويلة.
🔧 يقدم المؤلفون آلية انتباه تعتمد على مُشفر RNN ثنائي الاتجاه لإنتاج توصيفات للكلمات، بينما يحسب مفكك الترميز أوزان المحاذاة المرنة ديناميكيًا عبر MLP.
📈 في الترجمة من الإنجليزية إلى الفرنسية، يحقق نموذج RNNsearch-50 مقياس BLEU قدره 28.45 على كافة جمل الاختبار و36.15 على الجمل الخالية من الكلمات المجهولة، متفوقًا على نظام Moses المعتمد على العبارات (35.63).

الملخص

تُعد الترجمة الآلية العصبية نهجًا حديث الطرح في مجال الترجمة الآلية. وبخلاف الترجمة الآلية الإحصائية التقليدية، تهدف الترجمة الآلية العصبية إلى بناء شبكة عصبية واحدة يمكن ضبطها بشكل مشترك لتحقيق أقصى أداء للترجمة. وغالبًا ما تنتمي النماذج المقترحة حديثًا للترجمة الآلية العصبية إلى عائلة المشفر-مفكك الترميز (encoder-decoder)، وتتكون من مُشفر يُرمز جملة المصدر إلى متجه ثابت الطول يقوم مفكك الترميز بتوليد الترجمة انطلاقًا منه. في هذه الورقة، نفترض أن استخدام متجه ثابت الطول يمثل عنق زجاجة يحول دون تحسين أداء بنية المشفر-مفكك الترميز الأساسية هذه، ونقترح توسيعها بالسماح للنموذج بالبحث (المرن) تلقائيًا عن أجزاء من جملة المصدر ذات الصلة بالتنبؤ بالكلمة الهدف، دون الحاجة إلى تشكيل هذه الأجزاء كقطع محددة بصرامة وبشكل صريح. ومن خلال هذا النهج الجديد، حققنا أداء ترجمة يضاهي أحدث الأنظمة القائمة على العبارات في مهمة الترجمة من الإنجليزية إلى الفرنسية. وعلاوة على ذلك، يُظهر التحليل النوعي أن المحاذاة (المرنة) التي توصل إليها النموذج تتوافق جيدًا مع حدسنا اللغوي.

الملخص الأصلي (بالإنجليزية)

Neural machine translation is a recently proposed approach to machine translation. Unlike the traditional statistical machine translation, the neural machine translation aims at building a single neural network that can be jointly tuned to maximize the translation performance. The models proposed recently for neural machine translation often belong to a family of encoder-decoders and consists of an encoder that encodes a source sentence into a fixed-length vector from which a decoder generates a translation. In this paper, we conjecture that the use of a fixed-length vector is a bottleneck in improving the performance of this basic encoder-decoder architecture, and propose to extend this by allowing a model to automatically (soft-)search for parts of a source sentence that are relevant to predicting a target word, without having to form these parts as a hard segment explicitly. With this new approach, we achieve a translation performance comparable to the existing state-of-the-art phrase-based system on the task of English-to-French translation. Furthermore, qualitative analysis reveals that the (soft-)alignments found by the model agree well with our intuition.

دليل القراءة

المشكلة والدافع

تعتمد بنيات الترجمة الآلية العصبية (NMT) القياسية، مثل بنية RNN Encoder–Decoder الأساسية، على ضغط جملة المصدر متغيرة الطول بأكملها في متجه سياق واحد ثابت الطول $c$ . ومن هذا المتجه الثابت، يولد مفكك الترميز الترجمة الهدف. ويؤدي ذلك إلى خلق عنق زجاجة للمعلومات: فكلما زاد طول الجملة، زادت صعوبة ضغط كافة المعاني الدلالية للمصدر في تمثيل ذي حجم ثابت، مما يتسبب في تدهور ملحوظ في جودة الترجمة (مقياس BLEU) للجمل الأطول.

الأفكار الرئيسية

سلسلة من التوصيفات بدلًا من متجه وحيد: بدلًا من إجبار المُشفر على ضغط الجملة بالكامل في متجه واحد، يحافظ النموذج على سلسلة من متجهات الحالة المخفية (التوصيفات) عبر الجملة المصدرية باستخدام شبكة عصبية تكرارية ثنائية الاتجاه (BiRNN).
آلية المحاذاة المرنة (الانتباه): بدلًا من التعامل مع المحاذاة كمتغير منفصل أو كامن يتطلب استخلاصًا كشفيًا، يحسب مفكك الترميز وزن "محاذاة مرنة" مستمر على توصيفات المصدر عند كل خطوة إخراج.
تدريب تفاضلي كلي (End-to-End): نظرًا لأن المحاذاة تتم صياغتها كشبكة عصبية أمامية التغذية صغيرة، فإن النظام بأكمله — المُشفر، وآلية الانتباه، ومفكك الترميز — يُدرّب معًا عبر الانتشار الخلفي.

الطريقة

1. المُشفر (RNN ثنائي الاتجاه)

تُعالج متتالية المصدر $x = (x_{1}, \dots, x_{T_{x}})$ بواسطة شبكة RNN أمامية $f$ وشبكة RNN خلفية $f$ باستخدام وحدات مخفية ذات بوابات: $h_{j} = f (x_{j}, h_{j - 1}), h_{j} = f (x_{j}, h_{j + 1})$ تتكون التوصيفة الخاصة بكلمة المصدر $x_{j}$ من دمج الحالتين من كلا الاتجاهين: $h_{j} = [h_{j}^{⊤}; h_{j}^{⊤}]^{⊤}$

2. مفكك الترميز مع الانتباه المرن

لتوليد الكلمة الهدف $y_{i}$ ، يحسب مفكك الترميز متجه سياق متميز $c_{i}$ كمجموع موزون لتوصيفات المُشفر: $c_{i} = j = 1 \sum T_{x} α_{ij} h_{j}$ حيث يُحسب وزن المحاذاة $α_{ij}$ باستخدام دالة softmax على درجات الطاقة $e_{ij}$ : $α_{ij} = \frac{exp ( e _{ij} )}{\sum _{k = 1}^{T_{x}} exp ( e _{ik} )}$ تمثل درجة الطاقة $e_{ij}$ مدى توافق حالة مفكك الترميز $s_{i - 1}$ مع توصيفة المصدر $h_{j}$ ، وتتم صياغتها كشبكة تغذية أمامية أحادية الطبقة: $e_{ij} = a (s_{i - 1}, h_{j}) = v_{a}^{⊤} tanh (W_{a} s_{i - 1} + U_{a} h_{j})$ هنا تمثل $s_{i - 1}$ الحالة المخفية لمفكك الترميز، والتي تُحدّث عبر: $s_{i} = f (s_{i - 1}, y_{i - 1}, c_{i})$ ويعتمد توزيع احتمالية الكلمة التالية على الحالة الحالية، والرمز السابق، والسياق الديناميكي: $p (y_{i} ∣ y_{1}, \dots, y_{i - 1}, x) = g (y_{i - 1}, s_{i}, c_{i})$

النتائج

على معيار WMT '14 للترجمة من الإنجليزية إلى الفرنسية (news-test-2014، بواقع 3,003 جملة):

المتانة مع تزايد الطول: بينما يعاني نموذج المشفر-مفكك الترميز الأساسي (RNNencdec-50) من انخفاض حاد في درجة BLEU عندما يتجاوز طول الجملة 30 كلمة، يحافظ RNNsearch-50 على درجات BLEU متسقة حتى بعد تجاوز 50 كلمة.
جودة الترجمة:
- عبر كافة جمل الاختبار، حقق RNNsearch-50 نتيجة 26.75 في مقياس BLEU (و28.45 عند تدريبه لفترة أطول كنموذج RNNsearch-50*)، متفوقًا على RNNencdec-50 (17.82 BLEU).
- على الجمل التي لا تحتوي على كلمات مجهولة (No UNK)، وصل RNNsearch-50* إلى 36.15 BLEU، متفوقًا على الأساس التقليدي المعتمد على العبارات Moses (35.63 BLEU)، على الرغم من استخدام الأخير لبيانات أحادية اللغة إضافية (418 مليون كلمة).
التصور البصري للمحاذاة: تُظهر الخرائط الحرارية لـ $α_{ij}$ محاذاة لغوية بديهية، مع معالجة إعادة ترتيب العبارات طبيعيًا (مثل ترتيب اسم-صفة في الإنجليزية إلى صفة-اسم في الفرنسية) والعبارات متعددة الكلمات.

القيود والمسائل المفتوحة

التعقيد الحسابي: يتطلب حساب $e_{ij}$ إجراء $O (T_{x} \times T_{y})$ عملية تقييم لكل زوج من الجمل، وهو أمر مكلف حسابيًا للمتتاليات الطويلة جدًا.
التعامل مع الكلمات النادرة/المجهولة: يعتمد النموذج على مفردات ثابتة (أكثر 30,000 كلمة تكرارًا)، ويحوّل الكلمات الخارجة عن المفردات إلى رمز [UNK]، مما يضر بالأداء في مجموعات الاختبار المفتوحة.
الاستفادة من البيانات أحادية اللغة: بخلاف الأنظمة الإحصائية المعتمدة على العبارات والتي تستفيد بسهولة من مجموعات النصوص الضخمة أحادية اللغة في جانب الهدف عبر نماذج لغوية منفصلة، اقتصرت نماذج NMT الكلية البحتة على البيانات المتوازية فقط.

المصطلحات الرئيسية

RNNsearch: بنية الترجمة الآلية العصبية المقترحة التي تستخدم مُشفر RNN ثنائي الاتجاه ومفكك ترميز قائم على الانتباه للقيام بالمحاذاة والترجمة بشكل مشترك.
soft alignment: توزيع احتمالي مستمر على مواضع المصدر يُحسب ديناميكيًا بواسطة نموذج الانتباه، على النقيض من الربط المنفصل أو الصارم بنسبة 1 إلى 1.
context vector: متجه محدد لكل خطوة زمنية $c_{i}$ يتشكل كمجموع موزون لتوصيفات المصدر، ويمثل معلومات المصدر ذات الصلة المطلوبة لتوليد الكلمة الهدف $y_{i}$ .
bidirectional RNN (BiRNN): مُشفر يتكون من مسارات تكرارية أمامية وخلفية تُدمج حالاتها المخفية لالتقاط السياق السابق واللاحق لكل كلمة في المصدر.
alignment model: شبكة عصبية أمامية التغذية مُمثلة بالصيغة $v_{a}^{⊤} tanh (W_{a} s_{i - 1} + U_{a} h_{j})$ تُقدّر مدى ملاءمة توصيفة المصدر $h_{j}$ للحالة المخفية لمفكك الترميز $s_{i - 1}$ .
RNNencdec: بنية المشفر-مفكك الترميز القياسية القائمة على شبكات RNN، والتي تضغط جملة المصدر بأكملها في متجه واحد ثابت الطول قبل بدء فك الترميز.
gated hidden unit: وحدة تكرارية تتضمن بوابات إعادة تعيين وتحديث (شبيهة بـ LSTM) مصممة للاحتفاظ بالتبعيات طويلة المدى والتخفيف من تلاشي التدرجات.

أسئلة شائعة

لماذا تعاني بنية المشفر-مفكك الترميز القياسية القائمة على RNN مع الجمل الطويلة؟

لأنها تجبر جميع معلومات الجملة ذات الطول المتغير على الانحصار في متجه مفرد ذي طول ثابت، مما يولد عنق زجاجة للمعلومات يفشل في الحفاظ على التفاصيل الدقيقة للمدخلات الطويلة أو المعقدة.

كيف يختلف انتباه Bahdanau عن أساليب محاذاة المتتاليات السابقة مثل طريقة Graves (2013)؟

فرضت آلية المحاذاة في توليد خط اليد لدى Graves تحرك أوزان الانتباه برتابة في اتجاه واحد، في حين يحسب انتباه Bahdanau الدرجات عبر جميع مواضع المصدر بشكل غير رتيب، مما يسمح بإعادة ترتيب الكلمات بمرونة.

كيف يتم الحفاظ على التكلفة الحسابية لنموذج المحاذاة ضمن حدود معقولة؟

نظرًا لأن حد تحويل المصدر $U_{a} h_{j}$ لا يعتمد على خطوة مفكك الترميز $i$ ، فإنه يُحسب مسبقًا مرة واحدة لجميع رموز المصدر قبل بدء عملية فك الترميز.

ما هو حجم المفردات المستخدم في التجارب؟

استخدمت النماذج قائمة مختصرة تضم أكثر 30,000 كلمة تكرارًا لكل لغة؛ واستُبدل أي رمز يقع خارج هذه القائمة برمز خاص هو [UNK].

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي