Efficient Estimation of Word Representations in Vector Space

Tomas Mikolov; Kai Chen; Greg Corrado; Jeffrey Dean

الأوراق البحثية · arXiv 1301.3781

التقدير الفعال لتمثيلات الكلمات في الفضاء المتجهي

Efficient Estimation of Word Representations in Vector Space

Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean

تاريخ النشر 2013-01-16cs.CL arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 كانت النماذج اللغوية العصبية السابقة باهظة التكلفة حوسبيًا للغاية لتدريب تمثيلات كلمات عالية الأبعاد على مجموعات نصية تضم مليارات الرموز.
🔧 تقديم بنيتين لوغاريتميتين-خطيتين تتخليان عن الطبقات الخفية غير الخطية: Continuous Bag-of-Words (للتنبؤ بالكلمة المركزية من السياق) وContinuous Skip-gram (للتنبؤ بالسياق المحيط انطلاقًا من كلمة مركزية)، وكلاهما مُحسَّن باستخدام hierarchical softmax.
📈 بعد التدريب على 6 مليارات رمز بأبعاد 1000 عبر DistBelief، حقق Skip-gram دقة إجمالية بلغت 65.6% في مقياس تقييم تناظري دلالي-تركيبي جديد مكوّن من 19,544 سؤالًا، متفوقًا على النماذج العصبية المعقدة بجزء ضئيل من الحوسبة.

الملخص

نقترح بنيتين نموذجيتين جديدتين لحساب تمثيلات متجهية مستمرة للكلمات من مجموعات بيانات ضخمة جدًا. تُقاس جودة هذه التمثيلات في مهمة تشابه الكلمات، وتُقارن النتائج بالتقنيات السابقة الأفضل أداءً والقائمة على أنواع مختلفة من الشبكات العصبية. نلاحظ تحسينات كبيرة في الدقة بتكلفة حوسبية أقل بكثير؛ إذ يستغرق الأمر أقل من يوم لتعلم متجهات كلمات عالية الجودة من مجموعة بيانات تحوي 1.6 مليار كلمة. علاوة على ذلك، نوضح أن هذه المتجهات تقدم أداءً رائدًا على مجموعة الاختبار الخاصة بنا لقياس التشابهات اللغوية التركيبية والدلالية بين الكلمات.

الملخص الأصلي (بالإنجليزية)

We propose two novel model architectures for computing continuous vector representations of words from very large data sets. The quality of these representations is measured in a word similarity task, and the results are compared to the previously best performing techniques based on different types of neural networks. We observe large improvements in accuracy at much lower computational cost, i.e. it takes less than a day to learn high quality word vectors from a 1.6 billion words data set. Furthermore, we show that these vectors provide state-of-the-art performance on our test set for measuring syntactic and semantic word similarities.

دليل القراءة

المشكلة والدافع

كانت أنظمة معالجة اللغات الطبيعية (NLP) التقليدية تمثل الكلمات كمؤشرات ذرية منفصلة، متجاهلة العلاقات الدلالية والتركيبية المتأصلة. ورغم أن تمثيلات الكلمات الموزعة المدربة باستخدام نماذج اللغة بالشبكات العصبية (NNLMs) أو نماذج اللغة بالشبكات العصبية المتكررة (RNNLMs) تفوقت كثيرًا على نماذج n-grams، إلا أن تعقيدها الحوسبي جعل التوسع فيها باهظ التكلفة. فنادرًا ما دُرِّبت البنى السابقة على أكثر من بضع مئات الملايين من الكلمات، واقتصرت عادةً على أبعاد تتراوح بين $50$ و $100$ .

في نماذج NNLMs ذات التغذية الأمامية، ينبع عنق الزجاجة الحوسبي من الطبقة الخفية غير الخطية الكثيفة ( $N \times D \times H$ ) وطبقة مخرجات المفردات غير المعيرة ( $H \times V$ ). يتمثل هدف هذا البحث في القضاء على عنق زجاجة الطبقة الخفية غير الخطية، مما يمكن النماذج من التوسع لمليارات رموز التدريب وقواميس مفردات تحوي ملايين الكلمات، مع الحفاظ في الوقت ذاته على العلاقات الخطية الدقيقة (مثل: $vector ("King") - vector ("Man") + vector ("Woman") \approx vector ("Queen")$ ).

الأفكار الرئيسية

إزالة اللاخطية من الطبقة الخفية: عبر التخلص من طبقة التنشيط غير الخطية، ينخفض تعقيد التدريب انخفاضًا هائلًا، مما يسمح بزيادات ضخمة في حجم المجموعة النصية وأبعاد التضمين.
حقيبة الكلمات المستمرة (Continuous Bag-of-Words - CBOW): مصنف لوغاريتمي-خطي يتنبأ بالكلمة المركزية المستهدفة استنادًا إلى الكلمات المحيطة بها في السياق (السابق واللاحق معًا). وتُدمج متجهات السياق بحساب متوسطها داخل طبقة إسقاط مشتركة.
Skip-gram المستمر (Continuous Skip-gram): مصنف لوغاريتمي-خطي يتنبأ بالكلمات السياقية المحيطة ضمن نافذة معينة اعتمادًا على الكلمة المركزية الحالية فقط، مع أخذ عينات من الكلمات البعيدة بمعدل أقل.
Hierarchical Softmax مع ترميز Huffman: تنخفض تكلفة معايرة Softmax من $V$ إلى ما يقارب $lo g_{2} (V)$ (أو $lo g_{2} (Unigram_perplexity (V))$ عبر أشجار Huffman، التي تخصص شفرات أقصر للكلمات الأكثر تكرارًا).
مقياس تقييم التناظر: مجموعة اختبار جديدة تضم 19,544 سؤالًا لتقييم الانتظامات اللغوية التركيبية (مثل: صيغ المقارنة، الماضي) والدلالية (مثل: العاصمة-الدولة، العملة) باستخدام حساب المتجهات والمسافة الجيبية (cosine distance).

الطريقة (مع المعادلات الأساسية)

يُعرَّف تعقيد التدريب بأنه عدد مرات الوصول إلى المعلمات عبر $E$ حقب تدريبية (epochs)، و $T$ كلمة في مجموعة التدريب، والتكلفة لكل عينة $Q$ : $O = E \times T \times Q$

النموذج الأساسي لـ NNLM ذو التغذية الأمامية

لطول السياق $N$ ، وبُعد التضمين $D$ ، والوحدات الخفية $H$ ، وحجم المفردات $V$ : $Q = N \times D + N \times D \times H + H \times V$ عند استخدام hierarchical softmax، يتقلص حد المخرجات إلى $H \times lo g_{2} (V)$ ، ليظل $N \times D \times H$ هو عنق الزجاجة.

النموذج الأساسي لنموذج اللغة بالشبكة العصبية المتكررة (RNNLM)

عندما يكون بُعد الحالة الخفية $H$ مساويًا لبُعد التضمين $D$ : $Q = H \times H + H \times V$ باستخدام hierarchical softmax، يتقلص حد المخرجات إلى $H \times lo g_{2} (V)$ ، ليصبح الانتقال المتكرر $H \times H$ هو التكلفة المهيمنة.

حقيبة الكلمات المستمرة (CBOW)

يستبدل CBOW الطبقة الخفية بطبقة إسقاط متوسطة عبر $N$ من كلمات السياق (عادةً 4 كلمات سابقة و4 لاحقة): $Q = N \times D + D \times lo g_{2} (V)$

Skip-gram المستمر

يأخذ Skip-gram الكلمة المركزية ويتنبأ بكلمات السياق ضمن مسافة قصوى $C$ (في التجارب، $C = 10$ ). ولكل كلمة، يُسحب إزاحة $R \in {1, \dots, C}$ بانتظام، للتنبؤ بـ $R$ من الكلمات السابقة واللاحقة: $Q = C \times (D + D \times lo g_{2} (V))$

البحث عن التناظر

تتم الإجابة عن الأسئلة التي تأخذ شكل " $A$ بالنسبة إلى $B$ مثل $C$ بالنسبة إلى $D$ " عبر العثور على متجه المفردات $X$ الذي يحقق أقصى قيمة لـ: $X = ar g w \in / {B, C, A} max cos (v_{w}, v_{B} - v_{A} + v_{C})$

النتائج (مع أهم الأرقام)

أداء مقياس التناظر (640 بُعدًا، 320 مليون كلمة):
- RNNLM: دلالي 9%، تركيبي 36%.
- NNLM: دلالي 23%، تركيبي 53%.
- CBOW: دلالي 24%، تركيبي 64%.
- Skip-gram: دلالي 55%، تركيبي 59%.
التوسع على 6 مليارات رمز من Google News (تدريب موزع عبر DistBelief):
- NNLM (بأبعاد $100$ ): دلالي 34.2%، تركيبي 64.5%، إجمالي 50.8% (استغرق $14 \times 180$ يوم من أيام أنوية المعالجات المركزية CPU).
- CBOW (بأبعاد $1000$ ): دلالي 57.3%، تركيبي 68.9%، إجمالي 63.7% (استغرق $2 \times 140$ يوم من أيام أنوية CPU).
- Skip-gram (بأبعاد $1000$ ): دلالي 66.1%، تركيبي 65.1%، إجمالي 65.6% (استغرق $2.5 \times 125$ يوم من أيام أنوية CPU).
تحدي Microsoft لإكمال الجمل (Microsoft Sentence Completion Challenge): حقق Skip-gram منفردًا دقة 48.0%؛ وعند دمجه في تجميعة (ensemble) مع نماذج RNNLM، وصل إلى دقة رائدة بلغت 58.9%.
الحقب مقابل البيانات: التدريب لحقبة واحدة على ضعف كمية البيانات حقق أداءً مماثلًا أو أفضل مقارنة بـ 3 حقب على بيانات أصغر مع خفض زمن التدريب الفعلي.

أوجه القصور والأسئلة المفتوحة

مقياس التقييم بالمطابقة التامة: تعد مجموعة الاختبار المترادفات أخطاءً (مثل التنبؤ بمدينة مكافئة صالحة أو بصيغة الجمع)، مما يضع حدًا أقصى اصطناعيًا دون 100%.
غياب علم الصرف للأجزاء الفرعية من الكلمات: تُعامل الكلمات كرموز فردية؛ ولا يستغل النموذج البنية الداخلية للحروف أو المقاطع الصرفية (morphemes)، مما يحد من تعميمه التركيبي على الكلمات النادرة أو المصرفة.
العبارات متعددة الكلمات: يعمل النموذج على الكلمات ذات الرمز الواحد فقط ولا يتعامل تلقائيًا مع التعبيرات متعددة الكلمات (مثل "New York").
الأداء في إكمال الجمل: حقق Skip-gram بمفرده نتيجة أقل (48.0%) من متوسط تشابه LSA البالغ (49.0%) في مهمة Microsoft Sentence Completion، معتمدًا على التهجين مع RNNLMs لتحقيق نتائج تنافسية.

المصطلحات الرئيسية

Continuous Bag-of-Words Model: بنية عصبية لوغاريتمية-خطية (CBOW) تتنبأ بالكلمة المركزية المستهدفة انطلاقًا من المتوسط المستمر لمتجهات كلمات السياق السابقة واللاحقة لها دون وجود طبقة خفية.
Continuous Skip-gram Model: نموذج لوغاريتمي-خطي يستخدم متجه الكلمة المستهدفة للتنبؤ بكلمات السياق المحيطة ضمن نافذة تُسحب عيناتها ديناميكيًا.
Hierarchical Softmax: تقريب لطبقة المخرجات يركب المفردات في شجرة ثنائية (مثل شجرة Huffman)، مما يقلل تعقيد الحساب من $V$ إلى ما يقارب $lo g_{2} (V)$ .
Semantic-Syntactic Word Relationship test set: مقياس تقييم مكوّن من 19,544 سؤال تناظر (8,869 دلالي و10,675 تركيبي) مصمم لتقييم إزاحات المتجهات باستخدام تشابه جيب التمام.
DistBelief: إطار عمل حوسبي موزع طوّرته Google يُستخدم لتدريب بنى الشبكات العصبية عبر مئات أنوية المعالجات المركزية من خلال تحديثات تدرج غير متزامنة.
Word offset technique: عملية حسابية بسيطة على المتجهات (مثل $vector (B) - vector (A) + vector (C)$ ) تُستخدم لتحديد الكلمات المتناظرة عبر البحث بأقرب جار باستخدام جيب التمام.
Huffman binary tree: تمثيل شجري لترميز المفردات قائم على التكرار يُستخدم في hierarchical softmax لتخصيص مسارات أقصر للكلمات المتكررة، مما يخفض تكاليف الحساب.

أسئلة شائعة

ما الفرق البنيوي الرئيسي بين NNLM وCBOW؟

يزيل CBOW الطبقة الخفية غير الخطية بالكامل ويحسب متوسط التمثيلات المستمرة لكلمات السياق في طبقة إسقاط مشتركة، مما يقضي على عنق الزجاجة الحوسبي المتمثل في $N \times D \times H$ .

كيف يتعامل Continuous Skip-gram مع كلمات السياق الواقعة على مسافات مختلفة؟

يأخذ Skip-gram عينات من كلمات السياق حتى مسافة قصوى $C$ (عادةً 10)، لكنه يسحب عينات الكلمات الأكثر بعدًا بمعدل تكرار أقل عبر اختيار حجم نافذة $R \in [1, C]$ عشوائيًا لكل كلمة تدريب.

أي النموذجين يتفوق في المهام الدلالية مقابل التركيبية؟

يحقق CBOW دقة أعلى في التناظرات التركيبية (64% مقابل 59% عند بُعد 640)، بينما يتفوق Skip-gram تفوقًا ملحوظًا في التناظرات الدلالية (55% مقابل 24% عند بُعد 640).

هل الأفضل التدريب لعدة حقب أم استخدام بيانات أكثر مع حقب أقل؟

توصلت الورقة البحثية إلى أن التدريب لحقبة واحدة على ضعف كمية البيانات يمنح جودة تمثيل مماثلة أو متفوقة مقارنة بتكرار التدريب على بيانات أصغر لثلاث حقب، مع إتمام التدريب بسرعة أكبر أيضًا.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي