A Simple Framework for Contrastive Learning of Visual Representations

Ting Chen; Simon Kornblith; Mohammad Norouzi; Geoffrey Hinton

الأوراق البحثية · arXiv 2002.05709

إطار عمل بسيط للتعلم التبايني للتمثيلات البصرية

A Simple Framework for Contrastive Learning of Visual Representations

Ting Chen, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton

تاريخ النشر 2020-02-13cs.LGcs.CVstat.ML arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 اعتمدت الطرق السابقة للتعلم التبايني الذاتي على تصاميم معمارية معقدة، أو بنوك ذاكرة، أو شبكات مخصصة لتجميع السياق.
🔧 يعظم SimCLR التوافق في الفضاء الكامن بين مشاهد معززة مختلفة للصور باستخدام نماذج ResNets قياسية، ورأس إسقاط غير خطي، وحزم صغيرة كبيرة للأمثلة السالبة، ودالة خسارة NT-Xent.
📈 يحقق مصنف خطي فوق SimCLR ResNet-50 (4×) دقة top-1 تبلغ 76.5% على ImageNet، كما يحقق الضبط الدقيق باستخدام 1% فقط من التسميات دقة top-5 تصل إلى 85.8%.

الملخص

تقدم هذه الورقة البحثية SimCLR: إطار عمل بسيط للتعلم التبايني للتمثيلات البصرية (contrastive learning of visual representations). نقوم بتبسيط خوارزميات التعلم الذاتي التبايني المقترحة حديثًا دون الحاجة إلى معماريات مخصصة أو بنك ذاكرة (memory bank). ومن أجل فهم ما يمكّن مهام التنبؤ التبايني من تعلم تمثيلات مفيدة، قمنا بدراسة منهجية للمكونات الرئيسية لإطار عملنا. أظهرنا أن (1) تركيب تعزيزات البيانات (data augmentations) يلعب دورًا حاسمًا في تحديد مهام تنبؤية فعالة، و(2) إدخال تحويل غير خطي قابل للتعلم بين التمثيل ودالة الخسارة التباينية يحسن بشكل كبير جودة التمثيلات المتعلمة، و(3) التعلم التبايني يستفيد من أحجام الحزم الأكبر وخطوات تدريب أكثر مقارنة بالتعلم الخاضع للإشراف. ومن خلال الجمع بين هذه النتائج، تمكنا من التفوق بشكل كبير على الطرق السابقة في التعلم الذاتي وشبه الخاضع للإشراف على ImageNet. يحقق مصنف خطي مدرّب على التمثيلات ذاتية التعلم بواسطة SimCLR دقة top-1 تبلغ 76.5%، وهو تحسن نسبي بنسبة 7% مقارنة بأفضل النتائج السابقة (state-of-the-art)، ليطابق أداء نموذج ResNet-50 الخاضع للإشراف الكامل. وعند الضبط الدقيق (fine-tuning) باستخدام 1% فقط من التسميات، نحقق دقة top-5 تبلغ 85.8%، متفوقين على AlexNet مع تسميات أقل بمقدار 100 ضعف.

الملخص الأصلي (بالإنجليزية)

This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive self-supervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by SimCLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-of-the-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100X fewer labels.

دليل القراءة

المشكلة والدافع

عادةً ما يعتمد تعلم التمثيلات البصرية دون إشراف بشري على النمذجة التوليدية أو المهام التمهيدية الاستدلالية (مثل ألغاز الصور المقطوعة، التنبؤ بالدوران، أو التلوين). حققت طرق التعلم التبايني أداءً أفضل ولكنها غالبًا ما أدخلت معماريات مخصصة لتجميع السياق (مثل PixelCNNs في CPC)، أو مجالات استقبال مقيدة، أو بنوك ذاكرة صريحة (مثل MoCo أو InstDisc) لتوفير الأزواج السالبة. يعالج SimCLR هذه التعقيدات من خلال إثبات أن إطار عمل بسيط يستخدم مشفرات قياسية، وأزواجًا سالبة ضمن نفس الحزمة، وتصميمًا منهجيًا للتعزيز، يمكنه التفوق على الطرق السابقة دون حلول معمارية بديلة.

الأفكار الرئيسية

تركيب التعزيزات يحدد مهمة التنبؤ: بدلاً من تغيير المعماريات الشبكية لفرض تنبؤات السياق المكاني، فإن التركيب العشوائي لتعزيزات البيانات—وبالتحديد الاقتصاص العشوائي المقترن بتشويه الألوان—يمنع الاختصارات غير المرغوبة (مثل مطابقة مدرجات الألوان التكرارية) ويجبر الشبكة على استخراج سمات دلالية.
التعزيزات الأقوى تفيد التعلم التبايني: التعزيزات مثل تغيير الألوان القوي (color jittering) التي تقلل من أداء التدريب الخاضع للإشراف، تعمل على تحسين التعلم التبايني الذاتي بشكل ملحوظ.
رأس الإسقاط غير الخطي: إدخال شبكة عصبية متعددة الطبقات (MLP) صغيرة $g (\cdot)$ بين تمثيل المشفر $h$ ودالة الخسارة التباينية يحسن جودة التمثيل. ونظرًا لأن $z = g (h)$ يتم تدريبه ليكون ثابتًا ضد التحويلات، فإن التخلص من $g (\cdot)$ بعد التدريب يحتفظ بالمعلومات الحساسة للتحويلات في $h$ ، وهي معلومات مفيدة للمهام اللاحقة (downstream tasks).
توسيع الأزواج السالبة عبر الحزم الكبيرة والتدريب الطويل: بدلاً من استخدام بنك ذاكرة صريح، يعتمد SimCLR على أحجام حزم كبيرة (تصل إلى 8192) مُحسّنة بواسطة LARS، مما يوفر آلاف الأزواج السالبة ضمن الحزمة لكل زوج موجب.
تسوية الحزمة العامة (Global Batch Normalization): لتجنب الاختصارات التي تستغل فيها الشبكة إحصاءات تسوية الحزمة داخل الجهاز الواحد للتعرف على الأزواج الموجبة، تتم مزامنة المتوسط والتباين لتسوية الحزمة عبر جميع المسرّعات الموزعة.

الطريقة

بالنسبة لحزمة صغيرة (minibatch) مأخوذة بحجم $N$ من الصور، يتم تحويل كل مثال $x_{k}$ بواسطة تعزيزين عشوائيين متميزين $t, t^{'} \sim T$ ، مما ينتج زوجًا موجبًا $(\tilde{x}_{i}, \tilde{x}_{j})$ من بين $2 N$ من العينات المعززة.

المشفر الأساسي (Base Encoder): $h_{i} = f (\tilde{x}_{i}) = ResNet (\tilde{x}_{i})$ ، حيث تُستخرج التمثيلات من طبقة التجميع المتوسط (average pooling layer).
رأس الإسقاط (Projection Head): $z_{i} = g (h_{i}) = W^{(2)} σ (W^{(1)} h_{i})$ ، والذي يربط التمثيلات بفضاء كامن ذي 128 بُعدًا باستخدام طبقة خفية واحدة ودالة تنشيط ReLU $σ$ .
دالة خسارة NT-Xent: يُعرَّف تشابه جيب التمام (cosine similarity) بين المتجهات المعيرة بأنه $sim (u, v) = u^{⊤} v / (∥ u ∥ ∥ v ∥)$ . بالنسبة لزوج موجب $(i, j)$ ، تكون الخسارة: $ℓ_{i, j} = - lo g \frac{exp ( sim ( z _{i} , z _{j} ) / τ )}{\sum _{k = 1}^{2 N} \mathbbm 1 _{[k \neq = i]} exp ( sim ( z _{i} , z _{k} ) / τ )}$ حيث تمثل $τ$ المعلمة الفائقة لدرجة الحرارة (temperature hyperparameter) وتساوي $\mathbbm 1_{[k \neq = i]}$ القيمة $1$ إذا وفقط إذا كان $k \neq = i$ . تحسب الخسارة الكلية $L$ المتوسط عبر جميع الأزواج البالغ عددها $2 N$ في الحزمة.

بعد التدريب، يتم التخلص من $g (\cdot)$ ويُستخدم $h$ للتصنيف الخطي أو الضبط الدقيق في المهام اللاحقة.

النتائج

التقييم الخطي على ImageNet: يحقق SimCLR باستخدام ResNet-50 القياسي دقة top-1 تبلغ 69.3% (مطابقًا أو متجاوزًا النماذج ذاتية الإشراف السابقة). وعند التوسيع إلى ResNet-50 ( $4 \times$ )، يحقق دقة top-1 تبلغ 76.5%، ليضاهي ResNet-50 القياسي الخاضع للإشراف الكامل.
الضبط الدقيق شبه الخاضع للإشراف: عند الضبط الدقيق باستخدام 1% فقط من تسميات ImageNet، يصل ResNet-50 ( $4 \times$ ) إلى دقة top-5 تبلغ 85.8% (و 63.0% top-1)، متفوقًا على AlexNet المدرّب على 100% من التسميات.
التعلم بالنقل (Transfer Learning): عبر 12 مجموعة بيانات لتصنيف الصور الطبيعية، طابق نموذج SimCLR ResNet-50 ( $4 \times$ ) المضبوط بدقة خط الأساس الخاضع للإشراف أو تفوق عليه في 10 من أصل 12 مجموعة بيانات.
دراسة الاستئصال (Ablation) لرأس الإسقاط: استخدام رأس إسقاط غير خطي يتفوق على الإسقاط الخطي بنسبة +3% وعلى عدم استخدام إسقاط بأكثر من 10% في التقييم الخطي على ImageNet.

أوجه القصور والأسئلة المفتوحة

الكثافة الحسابية: يتطلب التدريب أحجام حزم صغيرة ضخمة جدًا (مثل 4096 أو 8192) وجداول تدريب طويلة (تصل إلى 1000 حقبة/epoch) لتحقيق أفضل النتائج، مما يستلزم مجموعات مسرعات كبيرة (32–128 نواة TPU).
تباين المعمارية في النقل: بينما يطابق ResNet-50 ( $4 \times$ ) خطوط الأساس الخاضعة للإشراف أو يتجاوزها في معايير النقل، لا يزال ResNet-50 القياسي متأخرًا عن خطوط الأساس الخاضعة للإشراف في جميع مهام التقييم الخطي.
المفاضلة في المعلومات: الآلية التي يحافظ بها رأس الإسقاط على المعلومات الخاصة بالتحويل في $h$ بينما يفرض الثبات في $z$ تعتمد على استدلالات تجريبية بدلاً من إطار تحليلي مبرهن.

المصطلحات الرئيسية

SimCLR: إطار عمل بسيط للتعلم التبايني للتمثيلات البصرية يستخدم تعزيزات البيانات، ومشفرًا أساسيًا، ورأس إسقاط غير خطي، ودالة خسارة الإنتروبيا المتقاطعة المعيرة والمدرجة بدرجة الحرارة.
NT-Xent: دالة خسارة الإنتروبيا المتقاطعة المعيرة والمدرجة بدرجة الحرارة (Normalized Temperature-scaled Cross Entropy)، والتي تطبق تشابهات جيب التمام المدرجة بدرجة الحرارة عبر الأزواج السالبة والموجبة داخل الحزمة.
Projection Head (رأس الإسقاط): شبكة عصبية متعددة الطبقات (MLP) صغيرة تحتوي على طبقة خفية واحدة تُطبق بعد المشفر الأساسي أثناء التدريب المسبق، ويتم التخلص منها قبل التقييم في المهام اللاحقة.
Global BN (تسوية الحزمة العامة): تسوية للحزم يتم فيها تجميع المتوسط والتباين عبر جميع الأجهزة الموزعة لمنع النموذج من استخدام الإحصائيات داخل الجهاز الواحد كاختصار للمعلومات.
Linear Evaluation Protocol (بروتوكول التقييم الخطي): طريقة تقييم قياسية في التعلم ذاتي الإشراف حيث يتم تدريب مصنف خطي فوق مستخرج ميزات مجمد لقياس جودة التمثيل.
LARS: مُحسِّن التحجيم التكيفي لمعدل التعلم على مستوى الطبقات (Layer-wise Adaptive Rate Scaling) يُستخدم لتثبيت التدريب عند التوسع إلى أحجام حزم كبيرة جدًا.

أسئلة شائعة

لماذا يُعد تشويه الألوان ضروريًا عند استخدام الاقتصاص العشوائي؟

تشترك الاقتصاصات العشوائية من نفس الصورة عادةً في مدرجات ألوان تكرارية متطابقة للغاية. وبدون تشويه الألوان، يتعلم النموذج بسهولة تحديد الأزواج الموجبة بمجرد مطابقة الألوان بدلاً من تعلم سمات دلالية عالية المستوى.

لماذا يُعد التمثيل قبل رأس الإسقاط (h) أفضل من التمثيل بعده (z)؟

تدرب الخسارة التباينية المخرج z ليكون ثابتًا تمامًا أمام تعزيزات البيانات المطبقة. يمتص رأس الإسقاط غير الخطي g هذا الفقدان للتفاصيل الخاصة بالتحويل (مثل اللون والاتجاه)، مما يترك معلومات أكثر ثراءً وقابلية للتعميم في h.

كيف يتجنب SimCLR استخدام بنك الذاكرة؟

يستخدم SimCLR أحجام حزم صغيرة ضخمة (من 256 حتى 8192). ينتج حجم الحزمة $N$ عدد $2 (N - 1)$ من الأمثلة السالبة لكل زوج موجب مباشرة داخل الحزمة، مما يلغي الحاجة إلى بنك ذاكرة منفصل أو مشفر زخم (momentum encoder).

لماذا يحتاج SimCLR إلى تسوية الحزمة العامة (Global Batch Normalization)؟

نظرًا لأن كلا المنظورين للزوج الموجب تتم معالجتهما عادةً على نفس جهاز المسرّع، فإن تسوية الحزمة المحلية القياسية تُدخل اختصارًا للمعلومات حيث تسرب الإحصائيات داخل الجهاز هوية العينة. يؤدي تجميع إحصائيات BN عبر جميع الأجهزة العاملة إلى القضاء على هذا الاختصار.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي