Learning Transferable Visual Models From Natural Language Supervision

Alec Radford; Jong Wook Kim; Chris Hallacy; Aditya Ramesh; Gabriel Goh; Sandhini Agarwal; Girish Sastry; Amanda Askell; Pamela Mishkin; Jack Clark; Gretchen Krueger; Ilya Sutskever

Learning Transferable Visual Models From Natural Language Supervision

Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever

प्रकाशित 2021-02-26cs.CVcs.LG arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 मानक कंप्यूटर विज़न सिस्टम निश्चित, पूर्व-निर्धारित लेबल सेट पर निर्भर करते हैं, जिनमें महंगे एनोटेशन की आवश्यकता होती है और वे नई विज़ुअल अवधारणाओं के लिए सामान्यीकृत नहीं हो पाते हैं।
🔧 Contrastive Language-Image Pre-training (CLIP) एक सिमेट्रिक क्रॉस-एन्ट्रॉपी लॉस का उपयोग करके बड़े बैचों में सुमेलित इमेज-कैप्शन जोड़ियों के लिए कोसाइन समानता को अधिकतम करने हेतु एक इमेज एन्कोडर और एक टेक्स्ट एन्कोडर को संयुक्त रूप से प्रशिक्षित करता है।
📈 ImageNet के 1.28M लेबल्ड उदाहरणों में से किसी का भी उपयोग किए बिना, ज़ीरो-शॉट में पूरी तरह से सुपरवाइज्ड ResNet-50 की 76.2% टॉप-1 सटीकता से मेल खाता है।

सार

अत्याधुनिक कंप्यूटर विज़न सिस्टम पूर्व-निर्धारित ऑब्जेक्ट श्रेणियों के एक निश्चित सेट की भविष्यवाणी करने के लिए प्रशिक्षित किए जाते हैं। पर्यवेक्षण (supervision) का यह सीमित रूप उनकी सामान्यता और उपयोगिता को प्रतिबंधित करता है, क्योंकि किसी भी अन्य विज़ुअल अवधारणा को निर्दिष्ट करने के लिए अतिरिक्त लेबल्ड डेटा की आवश्यकता होती है। छवियों के बारे में असंपादित (raw) टेक्स्ट से सीधे सीखना एक आशाजनक विकल्प है, जो पर्यवेक्षण के कहीं अधिक व्यापक स्रोत का लाभ उठाता है। हम प्रदर्शित करते हैं कि इंटरनेट से एकत्र किए गए 400 मिलियन (इमेज, टेक्स्ट) जोड़ियों के डेटासेट पर कौन सा कैप्शन किस छवि के साथ जाता है, इसकी भविष्यवाणी करने का सरल प्री-ट्रेनिंग कार्य स्क्रैच से SOTA इमेज रिप्रेजेंटेशन सीखने का एक कुशल और स्केलेबल तरीका है। प्री-ट्रेनिंग के बाद, सीखी गई विज़ुअल अवधारणाओं को संदर्भित करने (या नई अवधारणाओं का वर्णन करने) के लिए प्राकृतिक भाषा का उपयोग किया जाता है, जिससे डाउनस्ट्रीम कार्यों में मॉडल का ज़ीरो-शॉट ट्रांसफर संभव हो जाता है। हम 30 से अधिक विभिन्न मौजूदा कंप्यूटर विज़न डेटासेट पर बेंचमार्किंग करके इस दृष्टिकोण के प्रदर्शन का अध्ययन करते हैं, जिसमें OCR, वीडियो में एक्शन पहचान, जियो-लोकलाइज़ेशन और कई प्रकार के फाइन-ग्रेंड ऑब्जेक्ट वर्गीकरण जैसे कार्य शामिल हैं। मॉडल अधिकांश कार्यों में गैर-तुच्छ रूप से ट्रांसफर होता है और अक्सर बिना किसी डेटासेट-विशिष्ट प्रशिक्षण की आवश्यकता के पूरी तरह से सुपरवाइज्ड बेसलाइन के साथ प्रतिस्पर्धी होता है। उदाहरण के लिए, हम ImageNet पर मूल ResNet-50 की सटीकता को ज़ीरो-शॉट में बिना उसके 1.28 मिलियन प्रशिक्षण उदाहरणों का उपयोग किए हासिल करते हैं। हम अपना कोड और प्री-ट्रेन्ड मॉडल वेट https://github.com/OpenAI/CLIP पर जारी करते हैं।

मूल सार (अंग्रेज़ी)

State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.

पढ़ने की गाइड

समस्या और प्रेरणा

अत्याधुनिक विज़न मॉडल पारंपरिक रूप से ImageNet जैसे क्राउड-लेबल्ड, क्लोज्ड-सेट वर्गीकरण बेंचमार्क पर निर्भर करते हैं। यह फिक्स्ड-लेबल प्रतिमान उनकी उपयोगिता को सीमित करता है: लक्ष्य शब्दावली के बाहर किसी भी अवधारणा को पहचानने के लिए नए डेटा को एकत्र करने और एनोटेट करने की आवश्यकता होती है। इसके विपरीत, प्राकृतिक भाषा प्रसंस्करण (NLP) वेब-स्केल टेक्स्ट (उदा., GPT-3) पर सीधे टास्क-एग्नॉस्टिक प्री-ट्रेनिंग की ओर सफलतापूर्वक स्थानांतरित हो गया था, जिससे टेक्स्ट-टू-टेक्स्ट इंटरफेस के माध्यम से ज़ीरो-शॉट सामान्यीकरण में सक्षम मॉडल तैयार हुए। शोधकर्ता यह जांच करते हैं कि क्या वेब-स्केल डेटा पर प्राकृतिक भाषा पर्यवेक्षण को स्केल करने से ऐसे विज़ुअल रिप्रेजेंटेशन प्राप्त हो सकते हैं जो डेटासेट-विशिष्ट सुपरवाइज्ड फाइन-ट्यूनिंग के बिना कंप्यूटर विज़न कार्यों में व्यापक रूप से सामान्यीकृत होते हैं।

मुख्य विचार

Learning from Natural Language Supervision: वेब-स्क्रैप की गई (इमेज, टेक्स्ट) जोड़ियों को प्रशिक्षण सिग्नल के रूप में उपयोग करने से विज़ुअल फीचर्स सीधे समृद्ध प्राकृतिक भाषा सिमेंटिक्स से जुड़ते हैं, जिससे 1-of-N असतत (discrete) क्लास लेबलिंग की आवश्यकता समाप्त हो जाती है।
कार्यकुशलता के लिए कॉन्ट्रास्टिव लर्निंग: सटीक टेक्स्ट टोकन की भविष्यवाणी करना (जनरेटिव कैप्शनिंग) कम्प्यूटेशनल रूप से काफी महंगा है। उद्देश्य को एक कॉन्ट्रास्टिव मैचिंग टास्क के रूप में तैयार करना—एक मिनीबैच में सही (इमेज, टेक्स्ट) जोड़ियों को गलत जोड़ियों से अलग करना—बैग-ऑफ-वर्ड्स प्रेडिक्शन की तुलना में 4 गुना अधिक सैंपल-कुशल और जनरेटिव मॉडलिंग से कहीं अधिक तेज़ साबित होता है।
डायनामिक लीनियर क्लासिफायर के रूप में ज़ीरो-शॉट वर्गीकरण: लक्ष्य डेटासेट की क्लासेस को टेक्स्ट एन्कोडर के माध्यम से फीचर वैक्टर में एम्बेड किया जाता है। ये वैक्टर इमेज एम्बेडिंग के लिए एक ज़ीरो-शॉट लीनियर क्लासिफायर के वेट्स (weights) के रूप में कार्य करते हैं।
प्रॉम्प्ट इंजीनियरिंग और एन्सेम्बलिंग: ज़ीरो-शॉट प्रदर्शन प्रॉम्प्ट सिंटैक्स और संदर्भ के प्रति संवेदनशील होता है। क्लास के नामों को पूर्ण वाक्यों (उदा., "A photo of a {label}.") में लपेटना और कई प्रॉम्प्ट विविधताओं में एन्सेम्बलिंग करना ImageNet पर ज़ीरो-शॉट ट्रांसफर को लगभग 5 अंक सुधारता है।

विधि (मुख्य समीकरणों के साथ)

CLIP 400 मिलियन इंटरनेट-स्क्रैप किए गए (इमेज, टेक्स्ट) जोड़ियों (WIT) के डेटासेट पर एक इमेज एन्कोडर $f_{image}$ और एक टेक्स्ट एन्कोडर $f_{text}$ को संयुक्त रूप से प्रशिक्षित करके एक मल्टी-मॉडल एम्बेडिंग स्पेस का निर्माण करता है।

फीचर एक्सट्रैक्शन और प्रोजेक्शन: $i \in {1, \dots, N}$ के लिए $N$ इमेज-टेक्स्ट जोड़ियों $(I_{i}, T_{i})$ के मिनीबैच को देखते हुए, प्रत्येक एन्कोडर इनपुट को लीनियर प्रोजेक्शन $W_{i}$ और $W_{t}$ के साथ एक संयुक्त आयाम $d$ पर मैप करता है: $I_{i}^{e} = \frac{f _{image} ( I _{i} ) W _{i}}{∥ f _{image} ( I _{i} ) W _{i} ∥ _{2}}, T_{j}^{e} = \frac{f _{text} ( T _{j} ) W _{t}}{∥ f _{text} ( T _{j} ) W _{t} ∥ _{2}}$
समानता मैट्रिक्स (Similarity Matrix): लॉगिट्स की गणना स्केल्ड कोसाइन समानता के माध्यम से की जाती है: $S_{i, j} = \frac{⟨ I _{i}^{e} , T _{j}^{e} ⟩}{τ}$ जहाँ $τ$ एक सीखने योग्य तापमान पैरामीटर (learnable temperature parameter) है जो 0.07 पर इनिशियलाइज़ होता है, और लॉगिट्स को 100 से अधिक स्केल होने से रोकने के लिए क्लिप किया जाता है।
सिमेट्रिक क्रॉस-एन्ट्रॉपी लॉस: कुल लॉस $N \times N$ पेयरिंग मैट्रिक्स पर इमेज-टू-टेक्स्ट और टेक्स्ट-टू-इमेज वर्गीकरण लॉस का औसत है: $L = \frac{1}{2} (- \frac{1}{N} i = 1 \sum N lo g \frac{exp ( S _{i, i} )}{\sum _{j = 1}^{N} exp ( S _{i, j} )} - \frac{1}{N} j = 1 \sum N lo g \frac{exp ( S _{j, j} )}{\sum _{i = 1}^{N} exp ( S _{i, j} )})$
ज़ीरो-शॉट इन्फरेंस: $K$ क्लासेस वाले डेटासेट के लिए, टेक्स्ट टेम्प्लेट (उदा., "a photo of a {class_name}") को $w_{k} = T_{k}^{e}$ में एन्कोड किया जाता है। टेस्ट इमेज $x$ के लिए, अनुमानित संभावनाएं हैं: $p (y = k ∣ x) = \frac{exp (⟨ I _{x}^{e} , w _{k} ⟩ / τ )}{\sum _{j = 1}^{K} exp (⟨ I _{x}^{e} , w _{j} ⟩ / τ )}$

परिणाम (सर्वाधिक महत्वपूर्ण आंकड़ों के साथ)

ज़ीरो-शॉट ImageNet: CLIP (ViT-L/14@336px) ImageNet पर ज़ीरो-शॉट में 76.2% टॉप-1 सटीकता (और 95% टॉप-5 सटीकता) तक पहुँचता है, जो बिना इसके 1.28 मिलियन प्रशिक्षण छवियों का उपयोग किए मूल सुपरवाइज्ड ResNet-50 से मेल खाता है।
ज़ीरो-शॉट बनाम सुपरवाइज्ड बेसलाइन: 27 डाउनस्ट्रीम डेटासेट पर मूल्यांकित, ज़ीरो-शॉट CLIP 27 में से 16 डेटासेट पर मानक ResNet-50 फीचर्स के शीर्ष पर पूरी तरह से सुपरवाइज्ड लीनियर प्रोब से बेहतर प्रदर्शन करता है।
फ्यू-शॉट तुलना: ज़ीरो-शॉट CLIP बिल्कुल समान CLIP फीचर रिप्रेजेंटेशन पर प्रशिक्षित 4-शॉट लीनियर क्लासिफायर के औसत प्रदर्शन से मेल खाता है, और 16-शॉट BiT-M ResNet-152x2 मॉडल को टक्कर देता है।
लीनियर प्रोब रिप्रेजेंटेशन गुणवत्ता: सुपरवाइज्ड लीनियर प्रोब के साथ फ्रोजन रिप्रेजेंटेशन का मूल्यांकन करते समय, CLIP का सर्वश्रेष्ठ मॉडल 27 में से 21 डेटासेट पर Noisy Student EfficientNet-L2 से बेहतर प्रदर्शन करता है, जो OCR, वीडियो एक्शन पहचान (Kinetics-700: ResNet-50 पर +14.5%), और जियो-लोकलाइज़ेशन में उत्कृष्ट है।
डिस्ट्रिब्यूशन शिफ्ट रोबस्टनेस: 7 प्राकृतिक डिस्ट्रिब्यूशन शिफ्ट डेटासेट (ImageNetV2, ImageNet-R, ImageNet-A, ObjectNet, आदि) में, ज़ीरो-शॉट CLIP मानक ImageNet-प्रशिक्षित मॉडल की तुलना में इन-डिस्ट्रिब्यूशन और आउट-ऑफ-डिस्ट्रिब्यूशन सटीकता के बीच की गिरावट को 75% तक कम करता है।

सीमाएं और खुले प्रश्न

अमूर्त, विशिष्ट और व्यवस्थित कार्य: ज़ीरो-शॉट CLIP काउंटिंग (CLEVRCounts), सूक्ष्म अंतर वाले फाइन-ग्रेंड कार्यों (FGVCAircraft, Flowers102), और सामान्य वेब टेक्स्ट से बाहर के डोमेन-विशिष्ट कार्यों (PatchCamelyon पर ट्यूमर का पता लगाना; KITTI पर दूरी का अनुमान) के साथ गंभीर रूप से संघर्ष करता है।
वास्तविक आउट-ऑफ-डिस्ट्रिब्यूशन डेटा: MNIST हस्तलिखित अंकों पर, ज़ीरो-शॉट CLIP केवल 88% सटीकता प्राप्त करता है—जो रॉ पिक्सल पर लॉजिस्टिक रिग्रेशन से भी कमतर है—यह दर्शाता है कि CLIP आउट-ऑफ-डिस्ट्रिब्यूशन की भंगुरता को हल करने के बजाय उससे बचता है।
कम्प्यूट आवश्यकताएं: सभी बेंचमार्क पर विशुद्ध रूप से ज़ीरो-शॉट के माध्यम से समग्र सुपरवाइज्ड अत्याधुनिक प्रदर्शन तक पहुँचने के लिए मौजूदा स्केलिंग प्रवृत्तियों के साथ अनुमानित 1000x कम्प्यूट वृद्धि की आवश्यकता होगी।
सामाजिक पूर्वाग्रह और विकृतियां: FairFace बेंचमार्क से जांच करने पर महत्वपूर्ण असमान विफलता मोड सामने आते हैं, जिसमें अश्वेत व्यक्तियों और युवाओं की ओर झुके हुए गैर-मानवीय और अपराध-संबंधी गलत वर्गीकरण शामिल हैं, जो क्लास लेबल डिज़ाइन और थ्रेशोल्डिंग के साथ काफी भिन्न होते हैं।

मुख्य शब्द

CLIP: Contrastive Language-Image Pre-training; एक ऐसा फ्रेमवर्क जो युग्मित वेब डेटा पर कॉन्ट्रास्टिव उद्देश्य का उपयोग करके इमेज और टेक्स्ट एन्कोडर को संयुक्त रूप से प्रशिक्षित करता है।
WIT: WebImageText; 500,000 क्वेरी शब्दों का उपयोग करके इंटरनेट स्रोतों से एकत्र किए गए 400 मिलियन (इमेज, टेक्स्ट) जोड़ियों का OpenAI द्वारा तैयार किया गया डेटासेट।
Zero-Shot Transfer: टारगेट टास्क पर पैरामीटर्स को अपडेट किए बिना प्राकृतिक भाषा अवधारणा विवरणों का उपयोग करके अनदेखे डेटासेट और कार्यों पर मॉडल का मूल्यांकन करना।
Prompt Engineering: प्री-ट्रेनिंग टेक्स्ट डिस्ट्रिब्यूशन गैप को पाटने के लिए क्लास के नामों को प्राकृतिक भाषा संदर्भ टेम्पलेट्स (उदा., 'A photo of a {label}, a type of pet.') में तैयार करना।
Prompt Ensembling: वर्गीकरण समानता की गणना करने से पहले एक ही क्लास के लिए कई अलग-अलग संदर्भ प्रॉम्प्ट से उत्पन्न टेक्स्ट एम्बेडिंग वैक्टर का औसत निकालना।
Effective Robustness: मानक बेसलाइन स्केलिंग प्रवृत्तियों के अनुसार इन-डिस्ट्रिब्यूशन प्रदर्शन से अपेक्षित स्तर से परे आउट-ऑफ-डिस्ट्रिब्यूशन सटीकता में सुधार।
Linear Probe: रिप्रेजेंटेशन की गुणवत्ता को मापने के लिए फ्रोजन प्री-ट्रेन्ड फीचर रिप्रेजेंटेशन के शीर्ष पर प्रशिक्षित एक सुपरवाइज्ड, रेगुलराइज्ड लीनियर क्लासिफिकेशन लेयर।
Attention Pooling: ResNet बैकबोन के लिए एक संशोधित स्थानिक पूलिंग लेयर, जिसे ग्लोबल एवरेज-पूल किए गए फीचर्स पर आधारित सिंगल-लेयर मल्टी-हेड QKV अटेंशन के रूप में कार्यान्वित किया गया है।

प्रश्न

CLIP ने इमेज कैप्शन जनरेशन के स्थान पर कॉन्ट्रास्टिव लर्निंग को क्यों चुना?

जनरेटिव कैप्शनिंग मॉडल सटीक टेक्स्ट टोकन की भविष्यवाणी करने का प्रयास करते हैं, जिसके लिए कैप्शन की व्यापक विविधता के कारण भारी कम्प्यूट की आवश्यकता होती है। कॉन्ट्रास्टिव लर्निंग छवियों से संपूर्ण टेक्स्ट को मिलाने के सरल प्रॉक्सी कार्य को हल करता है, जो बैग-ऑफ-वर्ड्स प्रेडिक्शन की तुलना में 4 गुना अधिक कम्प्यूट-कुशल और जनरेटिव मॉडल की तुलना में एक परिमाण से भी अधिक कुशल साबित होता है।

CLIP में टेस्ट के समय ज़ीरो-शॉट वर्गीकरण कैसे काम करता है?

प्रत्येक उम्मीदवार क्लास लेबल को एक टेक्स्ट प्रॉम्प्ट टेम्पलेट में रखा जाता है और टेक्स्ट एन्कोडर के माध्यम से एम्बेड किया जाता है। ये सामान्यीकृत (normalized) एम्बेडिंग एक डायनामिक लीनियर क्लासिफायर के निश्चित वेट वैक्टर के रूप में कार्य करते हैं, जिनका मूल्यांकन कोसाइन समानता और सॉफ्टमैक्स के माध्यम से सामान्यीकृत इमेज एम्बेडिंग के साथ किया जाता है।

सुपरवाइज्ड ImageNet मॉडल की तुलना में ज़ीरो-शॉट CLIP डिस्ट्रिब्यूशन शिफ्ट के प्रति अधिक रोबस्ट क्यों है?

सुपरवाइज्ड ImageNet मॉडल अक्सर ImageNet के विज़ुअल डिस्ट्रिब्यूशन के लिए विशिष्ट नकली सहसंबंधों और सतही आंकड़ों को याद कर लेते हैं। ज़ीरो-शॉट CLIP टारगेट ट्रेनिंग डिस्ट्रिब्यूशन पर फाइन-ट्यूनिंग से बचता है, जिससे ImageNet-A, ObjectNet और ImageNet-R जैसे डिस्ट्रिब्यूशन-शिफ्टेड डेटासेट पर मूल्यांकन किए जाने पर प्रदर्शन अंतर काफी कम हो जाता है।

क्या ट्रेनिंग सेट का ओवरलैप CLIP के मजबूत ज़ीरो-शॉट बेंचमार्क परिणामों की व्याख्या करता है?

नहीं। डेटा डी-डुप्लिकेशन विश्लेषण में 35 डाउनस्ट्रीम डेटासेट में केवल 2.2% का मीडियन ओवरलैप पाया गया। ओवरलैपिंग नमूनों को हटाने से मूल्यांकन सटीकता में शायद ही कभी 0.1% से अधिक का बदलाव आया, जिसमें Birdsnap पर अधिकतम 0.6% का सुधार देखा गया।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें