Learning Transferable Visual Models From Natural Language Supervision

Alec Radford; Jong Wook Kim; Chris Hallacy; Aditya Ramesh; Gabriel Goh; Sandhini Agarwal; Girish Sastry; Amanda Askell; Pamela Mishkin; Jack Clark; Gretchen Krueger; Ilya Sutskever

تعلّم نماذج بصرية قابلة للنقل انطلاقاً من إشراف اللغة الطبيعية

Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever

تاريخ النشر 2021-02-26cs.CVcs.LG arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 تعتمد أنظمة الرؤية الحاسوبية القياسية على مجموعات تسميات ثابتة ومحددة مسبقاً تتطلب تسميات توضيحية مكلفة ولا يمكنها التعميم على مفاهيم بصرية جديدة.
🔧 يدرّب Contrastive Language-Image Pre-training (CLIP) مشفّر الصور ومشفّر النصوص معاً لمضاعفة تشابه جيب التمام (cosine similarity) لأزواج الصورة والوصف المتطابقة عبر دفعات ضخمة باستخدام دالة خسارة الإنتروبيا المتقاطعة المتناظرة.
📈 يطابق دقة top-1 البالغة 76.2% لنموذج ResNet-50 الخاضع للإشراف الكامل على ImageNet بطريقة صفرية النقل دون استخدام أي من أمثلة ImageNet المصنفة البالغ عددها 1.28 مليون مثال.

الملخص

تُدرَّب أحدث أنظمة الرؤية الحاسوبية على التنبؤ بمجموعة ثابتة ومحددة مسبقاً من فئات الكائنات. يحدّ هذا الشكل المقيد من الإشراف من عموميتها وقابليتها للاستخدام، نظراً للحاجة إلى بيانات مصنفة إضافية لتحديد أي مفهوم بصري آخر. ويُعد التعلّم المباشر من النصوص الخام المرتبطة بالصور بديلاً واعداً يستفيد من مصدر إشراف أوسع نطاقاً بكثير. نُبيّن أن مهمة التدريب المسبق البسيطة المتمثلة في التنبؤ بالنص المناسب لكل صورة هي طريقة فعالة وقابلة للتوسع لتعلّم تمثيلات بصرية فائقة التطور (SOTA) من الصفر، وذلك على مجموعة بيانات تضم 400 مليون زوج (صورة، نص) جُمعت من الإنترنت. بعد التدريب المسبق، تُستخدَم اللغة الطبيعية للإشارة إلى المفاهيم البصرية المُتعلَّمة (أو وصف مفاهيم جديدة)، مما يتيح النقل الصفري (zero-shot transfer) للنموذج إلى المهام اللاحقة. وندرس أداء هذا النهج من خلال التقييم المعياري على أكثر من 30 مجموعة بيانات مختلفة في الرؤية الحاسوبية، تغطي مهاماً مثل التعرف الضوئي على الحروف (OCR)، والتعرف على الأفعال في الفيديو، وتحديد الموقع الجغرافي، وأنماطاً متعددة من التصنيف الدقيق للكائنات. ينتقل النموذج بكفاءة غير بسيطة إلى معظم المهام، وغالباً ما ينافس خط الأساس الخاضع للإشراف الكامل دون الحاجة إلى أي تدريب مخصص لمجموعة البيانات. على سبيل المثال، نطابق دقة نموذج ResNet-50 الأصلي على ImageNet بطريقة صفرية النقل (zero-shot) دون الحاجة إلى استخدام أي من أمثلة التدريب البالغ عددها 1.28 مليون مثال التي تدرّب عليها. ونوفر الكود البرمجي وأوزان النموذج المدرب مسبقاً عبر https://github.com/OpenAI/CLIP.

الملخص الأصلي (بالإنجليزية)

State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.

دليل القراءة

المشكلة والدافع

تعتمد أحدث نماذج الرؤية تقليدياً على معايير تقييم تصنيفية مغلقة ومُوسَّمة بالتعهيد الجماعي مثل ImageNet. يحدّ نموذج التسميات الثابتة هذا من إمكانية استخدامها: إذ يتطلب التعرف على أي مفهوم خارج المفردات المستهدفة جمع بيانات جديدة ووسمها. في المقابل، تحولت معالجة اللغة الطبيعية بنجاح نحو التدريب المسبق غير المرتبط بمهمة محددة مباشرة على نصوص الويب الضخمة (مثل GPT-3)، مما أنتج نماذج قادرة على التعميم الصفري (zero-shot generalization) عبر واجهات تحويل النص إلى نص. يبحث المؤلفون فيما إذا كان توسيع نطاق الإشراف باللغة الطبيعية على بيانات بحجم الويب قادراً على إنتاج تمثيلات بصرية تعمم على نطاق واسع عبر مهام الرؤية الحاسوبية دون الحاجة إلى ضبط دقيق خاضع للإشراف وخاص بكل مجموعة بيانات.

الأفكار الرئيسية

التعلّم من إشراف اللغة الطبيعية: التعامل مع أزواج (صورة، نص) المجمعة من الويب كإشارات تدريبية يربط الميزات البصرية مباشرة بالدلالات الغنية للغة الطبيعية، متجاوزاً بذلك تصنيف 1-من-N للفئات المنفصلة.
التعلّم التبايني لتحقيق الكفاءة: يُعد التنبؤ الدقيق برموز النصوص (توليد الأوصاف) هدراً حسابياً. لذا فإن صياغة الهدف كمهمة مطابقة تباينية — التمييز بين أزواج (صورة، نص) الحقيقية والأزواج غير الصحيحة عبر الدفعة المصغرة — أثبتت كفاءة في استغلال العينات تفوق التنبؤ بنموذج كيس الكلمات بمقدار 4 أضعاف، وتفوق النمذجة التوليدية بمراحل من حيث السرعة.
التصنيف الصفري كمصنفات خطية ديناميكية: يتم تضمين فئات مجموعة البيانات المستهدفة عبر مشفّر النصوص إلى متجهات ميزات. تعمل هذه المتجهات كأوزان لمصنف خطي صفري النقل في مواجهة متجهات تضمين الصور.
هندسة المحثات والتجميع: يتأثر الأداء الصفري النقل بصياغة المحث وسياقه. يؤدي وضع أسماء الفئات ضمن جمل كاملة (مثل "A photo of a {label}.") وتجميع التنبؤات عبر تنويعات متعددة من المحثات إلى تحسين النقل الصفري بنحو 5 نقاط على ImageNet.

الطريقة (مع المعادلات الأساسية)

يبني CLIP فضاء تضمين متعدد الوسائط من خلال التدريب المشترك لمشفّر الصور $f_{image}$ ومشفّر النصوص $f_{text}$ على مجموعة بيانات تضم 400 مليون زوج (صورة، نص) جُمعت من الإنترنت (WIT).

استخراج الميزات والإسقاط: بالنظر إلى دفعة مصغرة مكونة من $N$ من أزواج الصورة والنص $(I_{i}, T_{i})$ حيث $i \in {1, \dots, N}$ ، يُسقط كل مشفّر المدخلات في بُعد مشترك $d$ باستخدام إسقاطات خطية $W_{i}$ و $W_{t}$ : $I_{i}^{e} = \frac{f _{image} ( I _{i} ) W _{i}}{∥ f _{image} ( I _{i} ) W _{i} ∥ _{2}}, T_{j}^{e} = \frac{f _{text} ( T _{j} ) W _{t}}{∥ f _{text} ( T _{j} ) W _{t} ∥ _{2}}$
مصفوفة التشابه: تُحسب القيم اللوجستية (logits) عبر تشابه جيب التمام الموزون بمقياس: $S_{i, j} = \frac{⟨ I _{i}^{e} , T _{j}^{e} ⟩}{τ}$ حيث تمثل $τ$ معامل درجة حرارة قابل للتعلّم تبدأ قيمته من 0.07، ويتم تقييده لمنع تجاوز القيم اللوجستية للحد 100.
خسارة الإنتروبيا المتقاطعة المتناظرة: الخسارة الكلية هي متوسط خسائر التصنيف من الصورة إلى النص ومن النص إلى الصورة عبر مصفوفة الاقتران ذات الحجم $N \times N$ : $L = \frac{1}{2} (- \frac{1}{N} i = 1 \sum N lo g \frac{exp ( S _{i, i} )}{\sum _{j = 1}^{N} exp ( S _{i, j} )} - \frac{1}{N} j = 1 \sum N lo g \frac{exp ( S _{j, j} )}{\sum _{i = 1}^{N} exp ( S _{i, j} )})$
الاستدلال الصفري (Zero-Shot Inference): بالنسبة لمجموعة بيانات تحتوي على $K$ من الفئات، تُشفَّر قوالب النصوص (مثل "a photo of a {class_name}") إلى $w_{k} = T_{k}^{e}$ . وبالنسبة لصورة الاختبار $x$ ، تُحسب الاحتمالات المتوقعة كما يلي: $p (y = k ∣ x) = \frac{exp (⟨ I _{x}^{e} , w _{k} ⟩ / τ )}{\sum _{j = 1}^{K} exp (⟨ I _{x}^{e} , w _{j} ⟩ / τ )}$

النتائج (مع أهم الأرقام)

ImageNet الصفري النقل: حقق CLIP (ViT-L/14@336px) دقة top-1 بلغت 76.2% (ودقة top-5 بلغت 95%) بطريقة صفرية النقل على ImageNet، مطابقاً بذلك نموذج ResNet-50 الأصلي الخاضع للإشراف دون استخدام أي من صور التدريب الخاصة به البالغ عددها 1.28 مليون صورة.
المقارنة الصفرية مع خط الأساس الخاضع للإشراف: عند التقييم عبر 27 مجموعة بيانات لاحقة، تفوق CLIP الصفري على مسبار خطي خاضع للإشراف الكامل مبني فوق ميزات ResNet-50 القياسية في 16 من أصل 27 مجموعة بيانات.
المقارنة مع التعلّم قليل الأمثلة (Few-Shot): يطابق أداء CLIP الصفري متوسط أداء مصنف خطي مدرَّب على 4 أمثلة (4-shot) باستخدام نفس تمثيلات ميزات CLIP تماماً، وينافس نموذج BiT-M ResNet-152x2 المدرَّب على 16 مثالاً.
جودة التمثيل عبر المسبار الخطي: عند تقييم التمثيلات المجمدة باستخدام مسابير خطية خاضعة للإشراف، تفوق أفضل نموذج لـ CLIP على Noisy Student EfficientNet-L2 في 21 من أصل 27 مجموعة بيانات، متميزاً في مهام OCR، والتعرف على الأفعال في الفيديو (Kinetics-700: تفوق بـ +14.5% مقارنة بـ ResNet-50)، وتحديد الموقع الجغرافي.
المتانة تجاه انزياح التوزيع: عبر 7 مجموعات بيانات تمثل انزياحاً طبيعياً للتوزيع (ImageNetV2 وImageNet-R وImageNet-A وObjectNet وغيرها)، قلص CLIP الصفري فجوة الانخفاض في الدقة بين التوزيع الداخلي والتوزيع الخارجي بنسبة تصل إلى 75% مقارنة بالنماذج القياسية المدربة على ImageNet.

القيود والأسئلة المفتوحة

المهام التجريدية والمتخصصة والمنهجية: يواجه CLIP الصفري صعوبة بالغة في مهام العد (CLEVRCounts)، والمهام الدقيقة ذات الفروق الطفيفة (FGVCAircraft وFlowers102)، والمهام الخاصة بمجالات محددة لا تشيع في نصوص الويب (كشف الأورام على PatchCamelyon؛ وتقدير المسافات على KITTI).
البيانات الخارجة تماماً عن التوزيع: في الأرقام المكتوبة بخط اليد على MNIST، حقق CLIP الصفري دقة 88% فقط — وهو أداء أدنى من الانحدار اللوجستي على البكسلات الخام — مما يوضح أن CLIP يتفادى مشكلة الهشاشة تجاه البيانات الخارجة عن التوزيع بدلاً من حلها جذرياً.
المتطلبات الحسابية: تشير التقديرات إلى أن الوصول إلى الصدارة الإجمالية للنماذج الخاضعة للإشراف عبر جميع معايير التقييم بالاعتماد كلياً على النقل الصفري يتطلب زيادة الحوسبة بنحو 1000 ضعف وفقاً لاتجاهات التوسع الحالية.
التحيزات الاجتماعية والازدراء: كشف التقييم المعياري باستخدام FairFace عن أنماط فشل متباينة بشكل ملحوظ، شملت تصنيفات خاطئة مرتبطة بكيانات غير بشرية وأنشطة إجرامية انحازت ضد أصحاب البشرة السوداء والشباب، وتتأثر هذه الأنماط بشدة بتصميم مسميات الفئات وحدود العتبة المستخدمة.

المصطلحات الرئيسية

CLIP: التدريب المسبق التبايني بين اللغة والصورة؛ إطار عمل يدرّب مشفّرات الصور والنصوص معاً باستخدام هدف تبايني على بيانات أزواج من الويب.
WIT: WebImageText؛ مجموعة بيانات أعدتها OpenAI تضم 400 مليون زوج (صورة، نص) جُمعت من مصادر الإنترنت باستخدام 500,000 مصطلح بحث.
Zero-Shot Transfer: تقييم نموذج على مجموعات بيانات ومهام غير مرئية مسبقاً باستخدام أوصاف المفاهيم باللغة الطبيعية دون تحديث المعاملات للمهمة المستهدفة.
Prompt Engineering: صياغة أسماء الفئات ضمن قوالب سياقية باللغة الطبيعية (مثل 'A photo of a {label}, a type of pet.') لتقليص فجوة توزيع نصوص التدريب المسبق.
Prompt Ensembling: حساب متوسط متجهات تضمين النصوص الناتجة عن محثات سياقية متعددة ومختلفة لنفس الفئة قبل حساب تشابه التصنيف.
Effective Robustness: تحسينات الدقة على البيانات الخارجة عن التوزيع بما يتجاوز ما هو متوقع بناءً على الأداء في التوزيع الداخلي وفقاً لاتجاهات توسع خطوط الأساس القياسية.
Linear Probe: طبقة تصنيف خطية منظمة وخاضعة للإشراف، تُدرَّب فوق تمثيلات ميزات مجمدة ومدربة مسبقاً لقياس جودة التمثيل.
Attention Pooling: طبقة تجميع مكاني معدلة لشبكات ResNet صُممت كآلية انتباه QKV متعددة الرؤوس أحادية الطبقة ومكيفة بالاعتماد على ميزات التجميع المتوسط الشامل.

أسئلة شائعة

لماذا فضل CLIP التعلّم التبايني على توليد أوصاف الصور؟

تحاول نماذج التوليد التنبؤ برموز النصوص الدقيقة، مما يتطلب موارد حسابية هائلة بسبب التباين الواسع في الأوصاف. في المقابل، يحل التعلّم التبايني مهمة بديلة أبسط تتمثل في مطابقة النصوص الكاملة بالصور، مما أثبت كفاءة حسابية تفوق التنبؤ بنموذج كيس الكلمات بمقدار 4 أضعاف وتتجاوز النماذج التوليدية بأكثر من رتبة مقدارية.

كيف يعمل التصنيف الصفري النقل أثناء الاختبار في CLIP؟

توضع كل تسمية فئة مرشحة في قالب محث نصي ثم تُضمَّن عبر مشفّر النصوص. تعمل هذه التضمينات المعيارية كمتجهات أوزان ثابتة لمصنف خطي ديناميكي، ويتم تقييمها في مواجهة تضمينات الصور المعيارية باستخدام تشابه جيب التمام ودالة softmax.

لماذا يُعد CLIP الصفري أكثر متانة تجاه انزياحات التوزيع مقارنة بنماذج ImageNet الخاضعة للإشراف؟

غالباً ما تحفظ نماذج ImageNet الخاضعة للإشراف ارتباطات زائفة وإحصاءات سطحية خاصة بالتوزيع البصري لـ ImageNet. ويتجنب CLIP الصفري الضبط الدقيق على التوزيع التدريبي المستهدف، مما يقلص فجوة الأداء بشكل كبير عند التقييم على مجموعات بيانات ذات انزياح في التوزيع مثل ImageNet-A وObjectNet وImageNet-R.

هل يفسر تداخل مجموعة التدريب نتائج CLIP القوية في المعايير الصفرية؟

لا. وجد تحليل إزالة التكرار أن متوسط نسبة التداخل لم يتجاوز 2.2% عبر 35 مجموعة بيانات لاحقة. ونادراً ما أدى حذف العينات المتداخلة إلى تغيير دقة التقييم بأكثر من 0.1%، وكان أقصى تحسن رُصد هو 0.6% فقط على مجموعة Birdsnap.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي