BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Jacob Devlin; Ming-Wei Chang; Kenton Lee; Kristina Toutanova

الأوراق البحثية · arXiv 1810.04805

BERT: تدريب مسبق للمحولات ثنائية الاتجاه العميقة لفهم اللغة

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova

تاريخ النشر 2018-10-11cs.CL arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 يتقيد التدريب المسبق القياسي لنماذج اللغة بالسياق أحادي الاتجاه (من اليسار إلى اليمين)، وهو دون المستوى الأمثل لمهام مستوى الجملة وضار بالمهام على مستوى الرموز مثل الإجابة عن الأسئلة.
🔧 يقدم نموذج BERT، الذي يدرب مسبقاً مرمّز Transformer ثنائي الاتجاه متعدد الطبقات باستخدام هدف نموذج اللغة المقنّعة (Cloze) ومهمة التنبؤ بالجملة التالية.
📈 حقق نتائج غير مسبوقة في 11 مهمة لمعالجة اللغة الطبيعية، بما في ذلك درجة GLUE بلغت 80.5 (+7.7 نقطة مطلقة) ودقة 86.7% في MultiNLI (+4.6% مطلقة).

الملخص

نقدم نموذجاً جديداً لتمثيل اللغة يسمى BERT، وهو اختصار لـ Bidirectional Encoder Representations from Transformers. على عكس نماذج تمثيل اللغة الحديثة، صُمم BERT للتدريب المسبق لتمثيلات ثنائية الاتجاه عميقة من نصوص غير معنونة عبر التكييف المشترك على كل من السياقين الأيسر والأيمن في جميع الطبقات. ونتيجة لذلك، يمكن ضبط نموذج BERT المدرب مسبقاً بدقة باستخدام طبقة إخراج إضافية واحدة فقط لإنشاء نماذج متطورة لمجموعة واسعة من المهام، مثل الإجابة عن الأسئلة والاستدلال اللغوي، دون تعديلات جوهرية على بنية النموذج الخاصة بكل مهمة. يتميز BERT بأنه بسيط من الناحية المفاهيمية وقوي من الناحية التجريبية؛ حيث يحقق نتائج جديدة رائدة في أحد عشر مهمة من مهام معالجة اللغة الطبيعية، بما في ذلك رفع درجة GLUE إلى 80.5% (تحسن مطلق قدره 7.7 نقطة مئوية)، ودقة MultiNLI إلى 86.7% (تحسن مطلق قدره 4.6%)، ودرجة F1 لاختبار الإجابة عن الأسئلة في SQuAD v1.1 إلى 93.2 (تحسن مطلق قدره 1.5 نقطة)، ودرجة F1 لاختبار SQuAD v2.0 إلى 83.1 (تحسن مطلق قدره 5.1 نقطة).

الملخص الأصلي (بالإنجليزية)

We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models, BERT is designed to pre-train deep bidirectional representations from unlabeled text by jointly conditioning on both left and right context in all layers. As a result, the pre-trained BERT model can be fine-tuned with just one additional output layer to create state-of-the-art models for a wide range of tasks, such as question answering and language inference, without substantial task-specific architecture modifications. BERT is conceptually simple and empirically powerful. It obtains new state-of-the-art results on eleven natural language processing tasks, including pushing the GLUE score to 80.5% (7.7% point absolute improvement), MultiNLI accuracy to 86.7% (4.6% absolute improvement), SQuAD v1.1 question answering Test F1 to 93.2 (1.5 point absolute improvement) and SQuAD v2.0 Test F1 to 83.1 (5.1 point absolute improvement).

دليل القراءة

المشكلة والدوافع

اعتمدت نماذج تمثيل اللغة السابقة إما على الأساليب القائمة على الميزات (مثل ELMo) أو أساليب الضبط الدقيق (مثل OpenAI GPT). ورغم فعاليتها، كانت كلتا الطريقتين مقيدتين بأهداف نمذجة اللغة أحادية الاتجاه: تعالج النماذج الانحدارية الذاتية القياسية النصوص من اليسار إلى اليمين (أو من اليمين إلى اليسار) بشكل صارم. في النماذج أحادية الاتجاه، يمكن للرموز الانتباه فقط إلى الرموز السابقة في طبقات الانتباه الذاتي لمنع الكلمات من "رؤية نفسها" بشكل بديهي عبر سياقات الطبقات المتعددة. حاول ELMo تحقيق ثنائية الاتجاه عن طريق الدمج السطحي لشبكات LSTM المدربة بشكل منفصل من اليسار إلى اليمين ومن اليمين إلى اليسار، لكن هذا الأسلوب يفشل في التقاط التكييف المشترك والعميق على السياق ثنائي الاتجاه في كل طبقة. تحدّ هذه الأحادية من تمثيلات مستوى الجملة، وتضر بشكل خاص بالمهام اللاحقة على مستوى الرمز مثل الإجابة عن الأسئلة، حيث يكون فهم السياقين الأيسر والأيمن في آن واحد أمراً أساسياً.

الأفكار الرئيسية

بنية Transformer ثنائية الاتجاه عميقة: يستخدم BERT مرمّز Transformer متعدد الطبقات وثنائي الاتجاه، مما يسمح لطبقات الانتباه الذاتي بالتكييف المشترك على السياقين الأيسر والأيمن عبر جميع الطبقات.
نموذج اللغة المقنّعة (Masked Language Model - MLM): مستوحى من مهمة Cloze، يقوم BERT بقناع عشوائي لـ 15% من رموز الإدخال وتدريب النموذج على التنبؤ بالرموز المقنّعة باستخدام سياقها، مما يحل معضلة التبسيط المتمثلة في "رؤية الرمز لنفسه".
تخفيف عدم التطابق بين التدريب المسبق والضبط الدقيق: نظراً لأن رموز [MASK] لا تظهر أثناء الضبط الدقيق، يتم استبدال الـ 15% من الرموز المختارة بـ [MASK] بنسبة 80% من الوقت، وبرمز عشوائي بنسبة 10% من الوقت، وتُترك دون تغيير بنسبة 10% من الوقت.
التنبؤ بالجملة التالية (Next Sentence Prediction - NSP): لالتقاط العلاقات بين أزواج الجمل والتي تُعد حاسمة للاستدلال اللغوي الطبيعي (NLI) والإجابة عن الأسئلة (QA)، يتدرب BERT مسبقاً على مهمة ثنائية تتنبأ بما إذا كانت الجملة $B$ تلي الجملة $A$ بشكل طبيعي ( $I s N e x t$ ) أم أنها جملة عشوائية من المجموعة النصية ( $N o tN e x t$ ).
بنية موحدة للمهام اللاحقة: يعاد استخدام نفس البنية المدربة مسبقاً للمهام اللاحقة مع الحد الأدنى من المعلمات الإضافية (مثل رأس تصنيف خطي بسيط أو مؤشرات لنطاق البداية/النهاية).

الطريقة

تهيئة النموذج

يتم تقييم BERT بشكل أساسي في حجمين:

$BERT_{BASE}$ : عدد الطبقات $L = 12$ ، وحجم الحالة المخفية $H = 768$ ، ورؤوس الانتباه $A = 12$ ، بإجمالي معلمات = $110 M$ .
$BERT_{LARGE}$ : عدد الطبقات $L = 24$ ، وحجم الحالة المخفية $H = 1024$ ، ورؤوس الانتباه $A = 16$ ، بإجمالي معلمات = $340 M$ . أحجام مرشحات التغذية الأمامية هي $4 H$ .

تمثيلات الإدخال والإخراج

يمكن للمدخلات أن تمثل تسلسلاً نصياً واحداً أو زوجاً من الجمل المدمجة معاً. يتم إنشاء التضمينات عن طريق جمع:

تضمينات الرموز بتقنية WordPiece (مفردات تضم 30,000 رمز).
تضمينات المقاطع (تضمين متعلم يحدد ما إذا كان الرمز ينتمي إلى الجملة $A$ أو الجملة $B$ ).
التضمينات الموضعية المتعلمة.

يبدأ كل تسلسل بالرمز [CLS]. ويمثل متجه حالته المخفية النهائية $C \in R^{H}$ التجميع الإجمالي للتسلسل. يتم الفصل بين أزواج الجمل بواسطة [SEP]. يُرمز للتمثيلات المخفية للرموز النهائية بالرمز $T_{i} \in R^{H}$ .

أهداف التدريب المسبق

نموذج اللغة المقنّعة (Masked LM): بالنظر إلى الرمز المقنّع $i$ ، يتم تمرير التمثيل $T_{i}$ إلى طبقة softmax على المفردات مع دالة خسارة الانتروبيا المتقاطعة: $L_{MLM} = - lo g P (w_{i} ∣ T_{i})$
التنبؤ بالجملة التالية: يتم تمرير المتجه التجميعي $C$ إلى مصنف ثنائي: $L_{NSP} = - lo g P (IsNext ∣ C)$ دالة الخسارة الإجمالية للتدريب المسبق هي مجموع متوسط احتمالية نموذج اللغة المقنعة ومتوسط احتمالية التنبؤ بالجملة التالية.

تكييفات الضبط الدقيق

التصنيف (GLUE): بإضافة مصفوفة إسقاط $W \in R^{K \times H}$ ، تُحسب الخسارة كـ $lo g (softmax (C W^{T}))$ .
استخراج النطاق (SQuAD v1.1): تعلّم متجه البداية $S \in R^{H}$ ومتجه النهاية $E \in R^{H}$ . احتمال أن يكون الرمز $i$ هو بداية نطاق الإجابة هو: $P_{i} = \frac{e ^{S \cdot T_{i}}}{\sum _{j} e ^{S \cdot T_{j}}}$ تكون درجة النطاق $(i, j)$ هي $S \cdot T_{i} + E \cdot T_{j}$ ، ويتم تعظيمها بشرط $j \geq i$ .
الأسئلة غير القابلة للإجابة (SQuAD v2.0): تم توسيعه بالسماح للرمز [CLS] بأن يعمل كنطاق إجابة فارغة، بدرجة $s_{null} = S \cdot C + E \cdot C$ ، والتنبؤ بإجابة غير فارغة فقط عندما تكون $\overset{s}{^}_{i, j} > s_{null} + τ$ .

النتائج

تم تقييم BERT عبر 11 مهمة في معالجة اللغة الطبيعية:

لوحة صدارة GLUE: حقق $BERT_{LARGE}$ متوسط درجة 80.5% في GLUE (تحسن مطلق بنسبة 7.7% مقارنة بأفضل النتائج السابقة) ودقة 86.7% في MNLI (مكسب مطلق بنسبة 4.6%).
SQuAD v1.1: حقق $BERT_{LARGE}$ نسبة 84.1 في التطابق التام (EM) و90.9 في مقياس F1 على مجموعة التطوير كنموذج فردي؛ وحقق نموذج مجمّع (ensemble) مع تدريب مسبق على TriviaQA نسبة 87.4 EM و93.2 F1 على مجموعة الاختبار، متفوقاً على الأداء البشري (82.3 EM / 91.2 F1).
SQuAD v2.0: وصل $BERT_{LARGE}$ إلى 80.0 EM و83.1 F1 في مجموعة الاختبار، متفوقاً على النظام الأفضل السابق بمقدار +5.1 F1.
SWAG: سجل $BERT_{LARGE}$ دقة بلغت 86.3% في مجموعة الاختبار، متفوقاً على OpenAI GPT (78.0%) والخط الأساسي للخبراء البشريين (85.0%).
نتائج دراسات الاجتثاث (Ablation Findings): أدى إزالة مهمة NSP إلى انخفاض الأداء عبر MNLI بنسبة (-0.5%)، وQNLI بنسبة (-3.5%)، وSQuAD F1 بنسبة (-0.6%). كما تسبب استبدال MLM بنموذج لغة قياسي من اليسار إلى اليمين (LTR) في انخفاضات كبيرة في SQuAD بمقدار (-10.7 F1) وMRPC بمقدار (-9.2% دقة).

القيود والأسئلة المفتوحة

التباين بين التدريب المسبق والضبط الدقيق: الرمز الاصطناعي [MASK] لا يظهر أبداً أثناء الضبط الدقيق، مما يتطلب قواعد استبدال تجريبية (80/10/10) لتقليل هذا الاختلاف.
كفاءة التدريب المسبق: نظراً لأن BERT يتنبأ بـ 15% فقط من الرموز في كل دفعة بدلاً من 100% كما في النماذج الانحدارية الذاتية القياسية، فإنه يتطلب خطوات تدريب مسبق أكثر (1,000,000 خطوة مع 128,000 رمز/دفعة) للوصول إلى التقارب.
عائق الانتباه التربيعي: يتعاظم تعقيد انتباه Transformer القياسي تربيعياً ( $O (N^{2})$ ) مع طول التسلسل، مما يجعل التسلسلات الطويلة مكلفة حسابياً ويتطلب استراتيجية تدريب مسبق على مرحلتين (90% من الخطوات بطول تسلسل 128، و10% من الخطوات بطول 512).
عدم القابلية للتطبيق في توليد النصوص: نظراً لكونه مرمّزاً ثنائي الاتجاه، فإن BERT مهيكل بشكل مباشر للتمثيل والمهام التمييزية، ولا يمكنه إجراء توليد نصوص انحداري ذاتي من اليسار إلى اليمين بشكل مباشر دون تعديلات معمارية.

المصطلحات الرئيسية

Masked Language Model (MLM): هدف تدريب مسبق مستوحى من مهمة Cloze حيث تُستبدل رموز إدخال عشوائية بقناع، ويتم تدريب النموذج على إعادة بناء الرمز الأصلي من السياق العميق ثنائي الاتجاه.
Next Sentence Prediction (NSP): مهمة تدريب مسبق ثنائية يتنبأ فيها النموذج بما إذا كان مقطع الجملة الثاني المعطى يتبع منطقياً المقطع الأول أم أنه تم اختياره عشوائياً من المجموعة النصية.
[CLS]: رمز تصنيف خاص يوضع في بداية كل تسلسل، وتُستخدم حالته المخفية النهائية كتمثيل إجمالي للتسلسل في مهام التصنيف.
[SEP]: رمز خاص يُستخدم للفصل بين مقاطع الجمل غير المتتالية أو المميزة ضمن تسلسل إدخال مدمج واحد.
WordPiece: خوارزمية لتقسيم الكلمات إلى وحدات فرعية مستخدمة في BERT مع مفردات تضم 30,000 رمز للتعامل مع الكلمات غير الموجودة في القاموس وتجزئتها إلى مقاطع.
Segment Embeddings: تضمينات متعلمة تُضاف إلى تضمينات رموز الإدخال للتمييز بين ما إذا كان الرمز ينتمي إلى الجملة A أو الجملة B في الأزواج المدمجة.
Fine-tuning: استراتيجية تدريب للمهام اللاحقة يتم فيها تحديث جميع معلمات BERT المدربة مسبقاً بشكل شامل (end-to-end) جنباً إلى جنب مع طبقات إخراج إضافية طفيفة خاصة بالمهمة باستخدام بيانات معنونة.
Feature-based approach: استراتيجية بديلة تُستخرج فيها تمثيلات سياقية ثابتة من طبقات BERT دون تحديث معلماته، ثم تُمرر إلى بنيات منفصلة خاصة بكل مهمة.

أسئلة شائعة

لماذا يستبدل BERT الرموز المقنّعة برموز عشوائية أو يتركها دون تغيير بدلاً من استخدام [MASK] دائماً؟

نظراً لأن الرمز [MASK] لا يظهر أبداً أثناء مرحلة الضبط الدقيق، فإن استبدال كل رمز مستهدف بـ [MASK] سيؤدي إلى فجوة وعدم تطابق بين التدريب المسبق والضبط الدقيق. يعالج BERT ذلك باستبدال الرموز المحددة بـ [MASK] في 80% من الحالات، وبرمز عشوائي في 10% من الحالات، وتركه كما هو دون تغيير في 10% من الحالات، مما يُلزم النموذج بالاحتفاظ بتمثيل سياقي موزع لجميع الرموز.

ما الفرق بين BERT وOpenAI GPT؟

على الرغم من أن كلاهما يعتمد على بنية Transformer وأسلوب الضبط الدقيق، إلا أن OpenAI GPT يستخدم مفكك تشفير (Decoder) لـ Transformer يعمل من اليسار إلى اليمين حيث يقتصر الانتباه على الرموز السابقة فقط. في المقابل، يستخدم BERT مرمّز (Encoder) لـ Transformer ثنائي الاتجاه ينتبه فيه الرمز للسياقين الأيسر والأيمن معاً عبر جميع الطبقات، وهو ما أتاحه هدف التدريب المسبق بنموذج اللغة المقنّعة.

هل يمكن استخدام BERT كمستخرج للميزات بدلاً من ضبطه دقيقاً من البداية إلى النهاية؟

نعم. في مهمة التعرف على الكيانات المسماة CoNLL-2003، أدى استخراج تفعيلات الرموز ودمجها من أعلى أربع طبقات مخفية في BERT وتمريرها إلى نموذج BiLSTM من طبقتين إلى تحقيق 96.1 Dev F1، وهو ما يقل بمقدار 0.3 F1 فقط عن الضبط الدقيق الكامل للنموذج بأكمله (96.4 F1).

لماذا استخدم BERT جدولاً من مرحلتين لطول تسلسل التدريب المسبق؟

يتزايد التعقيد الحسابي لآلية الانتباه الذاتي بشكل تربيعي بالنسبة لطول التسلسل. ولتقليل الوقت الحسابي، تم تدريب BERT مسبقاً بتسلسل طوله 128 في أول 900,000 خطوة (90% من التدريب)، ثم تم تدريبه بتسلسل طوله 512 للـ 100,000 خطوة المتبقية لتعلم التضمينات الموضعية الأطول.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي