A Simple Framework for Contrastive Learning of Visual Representations

Ting Chen; Simon Kornblith; Mohammad Norouzi; Geoffrey Hinton

शोध पत्र · arXiv 2002.05709

A Simple Framework for Contrastive Learning of Visual Representations

Ting Chen, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton

प्रकाशित 2020-02-13cs.LGcs.CVstat.ML arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 पिछले कंट्रास्टिव सेल्फ-सुपरवाइज़्ड तरीके जटिल आर्किटेक्चरल डिज़ाइनों, मेमोरी बैंकों, या विशेष संदर्भ एकत्रीकरण नेटवर्क पर निर्भर थे।
🔧 SimCLR मानक ResNets, एक नॉनलीनियर प्रोजेक्शन हेड, नेगेटिव्स के लिए बड़े मिनी-बैच और NT-Xent लॉस का उपयोग करके छवियों के अलग-अलग संवर्धित दृश्यों के बीच लेटेंट सहमति को अधिकतम करता है।
📈 SimCLR ResNet-50 (4×) पर एक लीनियर क्लासिफायर 76.5% टॉप-1 ImageNet सटीकता प्राप्त करता है, और केवल 1% लेबल्स पर फाइन-ट्यूनिंग 85.8% टॉप-5 सटीकता प्रदान करती है।

सार

यह शोधपत्र SimCLR प्रस्तुत करता है: विज़ुअल रिप्रज़ेंटेशन्स के कंट्रास्टिव लर्निंग के लिए एक सरल फ्रेमवर्क। हम बिना किसी विशेष आर्किटेक्चर या मेमोरी बैंक की आवश्यकता के, हाल ही में प्रस्तावित कंट्रास्टिव सेल्फ-सुपरवाइज़्ड लर्निंग एल्गोरिदम को सरल बनाते हैं। कंट्रास्टिव प्रेडिक्शन कार्यों को उपयोगी रिप्रज़ेंटेशन्स सीखने में क्या सक्षम बनाता है, इसे समझने के लिए हम अपने फ्रेमवर्क के प्रमुख घटकों का व्यवस्थित अध्ययन करते हैं। हम दिखाते हैं कि (1) डेटा ऑग्मेंटेशन का संयोजन प्रभावी प्रेडिक्टिव कार्यों को परिभाषित करने में महत्वपूर्ण भूमिका निभाता है, (2) रिप्रज़ेंटेशन और कंट्रास्टिव लॉस के बीच एक सीखने योग्य नॉनलीनियर ट्रांसफ़ॉर्मेशन शुरू करने से सीखे गए रिप्रज़ेंटेशन्स की गुणवत्ता में काफी सुधार होता है, और (3) सुपरवाइज़्ड लर्निंग की तुलना में कंट्रास्टिव लर्निंग को बड़े बैच साइज़ और अधिक ट्रेनिंग स्टेप्स से लाभ होता है। इन निष्कर्षों को मिलाकर, हम ImageNet पर सेल्फ-सुपरवाइज़्ड और सेमी-सुपरवाइज़्ड लर्निंग के पिछले तरीकों से काफी बेहतर प्रदर्शन करने में सक्षम हैं। SimCLR द्वारा सीखे गए सेल्फ-सुपरवाइज़्ड रिप्रज़ेंटेशन्स पर प्रशिक्षित एक लीनियर क्लासिफायर 76.5% टॉप-1 सटीकता प्राप्त करता है, जो पिछले स्टेट-ऑफ-द-आर्ट की तुलना में 7% सापेक्ष सुधार है, और एक सुपरवाइज़्ड ResNet-50 के प्रदर्शन से मेल खाता है। केवल 1% लेबल्स पर फाइन-ट्यून करने पर, हम 85.8% टॉप-5 सटीकता प्राप्त करते हैं, जो 100 गुना कम लेबल्स के साथ AlexNet से बेहतर प्रदर्शन करता है।

मूल सार (अंग्रेज़ी)

This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive self-supervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by SimCLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-of-the-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100X fewer labels.

पढ़ने की गाइड

समस्या और प्रेरणा

मानव पर्यवेक्षण के बिना विज़ुअल रिप्रज़ेंटेशन्स सीखना आमतौर पर जनरेटिव मॉडलिंग या ह्यूरिस्टिक प्रीटेक्स्ट कार्यों (जैसे, जिग्सॉ पहेलियाँ, रोटेशन प्रेडिक्शन, कलराइज़ेशन) पर निर्भर करता है। कंट्रास्टिव लर्निंग विधियों ने बेहतर प्रदर्शन हासिल किया, लेकिन अक्सर नेगेटिव जोड़ों की आपूर्ति के लिए विशेष संदर्भ-एकत्रीकरण आर्किटेक्चर (जैसे CPC में PixelCNNs), प्रतिबंधात्मक रिसेप्टिव फील्ड्स, या स्पष्ट मेमोरी बैंक (जैसे MoCo या InstDisc) का इस्तेमाल किया। SimCLR इन जटिलताओं को यह दिखाकर संबोधित करता है कि मानक एनकोडर्स, इन-बैच नेगेटिव जोड़े, और व्यवस्थित ऑग्मेंटेशन डिज़ाइन का उपयोग करने वाला एक सरल फ्रेमवर्क बिना किसी आर्किटेक्चरल बदलाव के पूर्व तरीकों से बेहतर प्रदर्शन कर सकता है।

मुख्य विचार

ऑग्मेंटेशन कंपोज़िशन प्रेडिक्शन टास्क को परिभाषित करता है: स्थानिक संदर्भ प्रेडिक्शन को लागू करने के लिए नेटवर्क आर्किटेक्चर को बदलने के बजाय, डेटा ऑग्मेंटेशन का स्टोकेस्टिक कंपोज़िशन—विशेष रूप से कलर डिस्टॉर्शन के साथ रैंडम क्रॉपिंग—शॉर्टकट (जैसे रंग हिस्टोग्राम का मिलान) को रोकता है और नेटवर्क को सिमेंटिक विशेषताओं को निकालने के लिए मजबूर करता है।
मजबूत ऑग्मेंटेशन कंट्रास्टिव लर्निंग को लाभ पहुंचाते हैं: आक्रामक कलर जिटरिंग जैसे ऑग्मेंटेशन, जो सुपरवाइज़्ड ट्रेनिंग प्रदर्शन को ख़राब करते हैं, सेल्फ-सुपरवाइज़्ड कंट्रास्टिव लर्निंग में काफी सुधार करते हैं।
नॉनलीनियर प्रोजेक्शन हेड: एनकोडर रिप्रज़ेंटेशन $h$ और कंट्रास्टिव लॉस के बीच एक छोटा MLP $g (\cdot)$ पेश करने से रिप्रज़ेंटेशन की गुणवत्ता में सुधार होता है। चूँकि $z = g (h)$ को ट्रांसफ़ॉर्मेशन के प्रति इनवेरिएंट होने के लिए प्रशिक्षित किया जाता है, इसलिए ट्रेनिंग के बाद $g (\cdot)$ को हटा देने से $h$ में ट्रांसफ़ॉर्मेशन-संवेदनशील जानकारी बरकरार रहती है जो डाउनस्ट्रीम कार्यों के लिए फायदेमंद होती है।
बड़े बैचों और लंबी ट्रेनिंग के माध्यम से नेगेटिव्स को स्केल करना: एक स्पष्ट मेमोरी बैंक के बजाय, SimCLR LARS के साथ अनुकूलित बड़े बैच साइज़ (8192 तक) पर निर्भर करता है, जो प्रति पॉजिटिव जोड़े पर हजारों इन-बैच नेगेटिव जोड़े प्रदान करता है।
ग्लोबल बैच नॉर्मलाइज़ेशन: ऐसे शॉर्टकट्स से बचने के लिए जहाँ नेटवर्क पॉजिटिव जोड़ों की पहचान करने के लिए इंट्रा-डिवाइस बैच नॉर्मलाइज़ेशन आँकड़ों का फायदा उठाता है, बैच नॉर्मलाइज़ेशन माध्य और प्रसरण को सभी वितरित एक्सेलरेटरों में सिंक्रनाइज़ किया जाता है।

विधि

$N$ छवियों के एक नमूना मिनीबैच के लिए, प्रत्येक उदाहरण $x_{k}$ को दो अलग-अलग स्टोकेस्टिक ऑग्मेंटेशन $t, t^{'} \sim T$ द्वारा रूपांतरित किया जाता है, जिससे $2 N$ संवर्धित नमूनों के बीच एक पॉजिटिव जोड़ी $(\tilde{x}_{i}, \tilde{x}_{j})$ प्राप्त होती है।

बेस एनकोडर: $h_{i} = f (\tilde{x}_{i}) = ResNet (\tilde{x}_{i})$ , जो एवरेज पूलिंग लेयर से रिप्रज़ेंटेशन निकालता है।
प्रोजेक्शन हेड: $z_{i} = g (h_{i}) = W^{(2)} σ (W^{(1)} h_{i})$ , जो एक सिंगल हिडन लेयर और ReLU एक्टिवेशन $σ$ के साथ रिप्रज़ेंटेशन्स को 128-आयामी लेटेंट स्पेस में मैप करता है।
NT-Xent लॉस: नॉर्मलाइज़्ड वेक्टर्स के बीच कोसाइन सिमिलैरिटी को $sim (u, v) = u^{⊤} v / (∥ u ∥ ∥ v ∥)$ के रूप में परिभाषित किया गया है। एक पॉजिटिव जोड़ी $(i, j)$ के लिए, लॉस है: $ℓ_{i, j} = - lo g \frac{exp ( sim ( z _{i} , z _{j} ) / τ )}{\sum _{k = 1}^{2 N} \mathbbm 1 _{[k \neq = i]} exp ( sim ( z _{i} , z _{k} ) / τ )}$ जहाँ $τ$ टेम्परेचर हाइपरपैरामीटर है और $\mathbbm 1_{[k \neq = i]}$ का मान $1$ होता है यदि और केवल यदि $k \neq = i$ । कुल लॉस $L$ बैच में सभी $2 N$ जोड़ों पर औसत होता है।

ट्रेनिंग के बाद, $g (\cdot)$ को हटा दिया जाता है और $h$ का उपयोग डाउनस्ट्रीम लीनियर क्लासिफिकेशन या फाइन-ट्यूनिंग के लिए किया जाता है।

परिणाम

ImageNet पर लीनियर इवैल्यूएशन: मानक ResNet-50 के साथ SimCLR 69.3% टॉप-1 सटीकता प्राप्त करता है (पिछले सेल्फ-सुपरवाइज़्ड मॉडल्स के बराबर या उससे बेहतर)। ResNet-50 ( $4 \times$ ) तक स्केल करने पर 76.5% टॉप-1 सटीकता प्राप्त होती है, जो पूरी तरह से सुपरवाइज़्ड मानक ResNet-50 से मेल खाती है।
सेमी-सुपरवाइज़्ड फाइन-ट्यूनिंग: केवल 1% ImageNet लेबल्स पर फाइन-ट्यूनिंग करते समय, ResNet-50 ( $4 \times$ ) 85.8% टॉप-5 सटीकता (और 63.0% टॉप-1) तक पहुँचता है, जो 100% लेबल्स पर प्रशिक्षित AlexNet से बेहतर प्रदर्शन करता है।
ट्रांसफर लर्निंग: 12 प्राकृतिक छवि वर्गीकरण डेटासेट्स में, फाइन-ट्यून किया गया SimCLR ResNet-50 ( $4 \times$ ) 12 में से 10 डेटासेट्स पर सुपरवाइज़्ड बेसलाइन से मेल खाता है या उससे बेहतर प्रदर्शन करता है।
प्रोजेक्शन हेड पर एब्लेशन: एक नॉनलीनियर प्रोजेक्शन हेड का उपयोग करने से ImageNet लीनियर इवैल्यूएशन पर लीनियर प्रोजेक्शन की तुलना में +3% और बिना किसी प्रोजेक्शन की तुलना में >10% बेहतर प्रदर्शन मिलता है।

सीमाएं और खुले प्रश्न

कंप्यूट गहनता: शीर्ष परिणाम प्राप्त करने के लिए ट्रेनिंग हेतु बहुत बड़े मिनी-बैच साइज़ (जैसे, 4096 या 8192) और लंबे ट्रेनिंग शेड्यूल (1000 एपॉक्स तक) की आवश्यकता होती है, जिसके लिए बड़े एक्सेलरेटर क्लस्टर (32–128 TPU कोर) की आवश्यकता होती है।
ट्रांसफर पर आर्किटेक्चरल विषमता: जबकि ResNet-50 ( $4 \times$ ) ट्रांसफर बेंचमार्क पर सुपरवाइज़्ड बेसलाइन से मेल खाता है या उससे बेहतर प्रदर्शन करता है, मानक ResNet-50 अभी भी सभी लीनियर इवैल्यूएशन कार्यों में सुपरवाइज़्ड बेसलाइन से पीछे है।
सूचना का ट्रेड-ऑफ: जिस तंत्र द्वारा प्रोजेक्शन हेड $z$ में इनवेरिएंस लागू करते हुए $h$ में ट्रांसफ़ॉर्मेशन-विशिष्ट जानकारी को संरक्षित करता है, वह एक विश्लेषणात्मक ढांचे के बजाय अनुभवजन्य ह्यूरिस्टिक्स पर निर्भर करता है।

मुख्य शब्द

SimCLR: डेटा ऑग्मेंटेशन, एक बेस एनकोडर, एक नॉनलीनियर प्रोजेक्शन हेड और नॉर्मलाइज़्ड टेम्परेचर-स्केल्ड क्रॉस-एन्ट्रॉपी लॉस का उपयोग करके विज़ुअल रिप्रज़ेंटेशन्स के कंट्रास्टिव लर्निंग के लिए एक सरल फ्रेमवर्क।
NT-Xent: नॉर्मलाइज़्ड टेम्परेचर-स्केल्ड क्रॉस एन्ट्रॉपी (Normalized Temperature-scaled Cross Entropy) लॉस, जो इन-बैच नेगेटिव और पॉजिटिव जोड़ों पर टेम्परेचर-स्केल्ड कोसाइन सिमिलैरिटी लागू करता है।
Projection Head: प्रीट्रेनिंग के दौरान बेस एनकोडर के बाद लागू किया गया एक हिडन लेयर वाला एक छोटा मल्टी-लेयर परसेप्ट्रॉन, जिसे डाउनस्ट्रीम मूल्यांकन से पहले हटा दिया जाता है।
Global BN: बैच नॉर्मलाइज़ेशन जहाँ माध्य और प्रसरण को सभी वितरित उपकरणों में एकत्र किया जाता है ताकि मॉडल को सूचना शॉर्टकट के रूप में इंट्रा-डिवाइस आँकड़ों का उपयोग करने से रोका जा सके।
Linear Evaluation Protocol: सेल्फ-सुपरवाइज़्ड लर्निंग में एक मानक मूल्यांकन विधि जहाँ रिप्रज़ेंटेशन की गुणवत्ता को मापने के लिए एक फ्रोजन फीचर एक्सट्रैक्टर के शीर्ष पर एक लीनियर क्लासिफायर को प्रशिक्षित किया जाता है।
LARS: लेयर-वाइज़ एडेप्टिव रेट स्केलिंग (Layer-wise Adaptive Rate Scaling) ऑप्टिमाइज़र जिसका उपयोग बहुत बड़े बैच साइज़ को स्केल करते समय ट्रेनिंग को स्थिर करने के लिए किया जाता है।

प्रश्न

रैंडम क्रॉपिंग का उपयोग करते समय कलर जिटरिंग क्यों आवश्यक है?

एक ही छवि के रैंडम क्रॉप्स आमतौर पर बहुत समान रंग हिस्टोग्राम साझा करते हैं। रंग विकृति (color distortion) के बिना, मॉडल उच्च-स्तरीय सिमेंटिक विशेषताओं को सीखने के बजाय केवल रंग प्रोफ़ाइल मिलान द्वारा पॉजिटिव जोड़ों की पहचान करना आसानी से सीख जाता है।

प्रोजेक्शन हेड ($h$) से पहले का रिप्रज़ेंटेशन बाद वाले ($z$) से बेहतर क्यों है?

कंट्रास्टिव लॉस आउटपुट $z$ को लागू किए गए डेटा ऑग्मेंटेशन के प्रति पूरी तरह से इनवेरिएंट होने के लिए प्रशिक्षित करता है। नॉनलीनियर प्रोजेक्शन हेड $g$ ट्रांसफ़ॉर्मेशन-विशिष्ट विवरणों (जैसे रंग और ओरिएंटेशन) के इस नुकसान को अवशोषित करता है, जिससे $h$ में अधिक समृद्ध और अधिक सामान्यीकरण योग्य जानकारी बचती है।

SimCLR मेमोरी बैंक के उपयोग से कैसे बचता है?

SimCLR बड़े मिनीबैच साइज़ (256 से 8192 तक) का उपयोग करता है। $N$ का एक बैच साइज़ सीधे बैच के भीतर प्रति पॉजिटिव जोड़े पर $2 (N - 1)$ नेगेटिव उदाहरण प्रदान करता है, जिससे एक अलग मेमोरी बैंक या मोमेंटम एनकोडर की आवश्यकता समाप्त हो जाती है।

SimCLR को ग्लोबल बैच नॉर्मलाइज़ेशन की आवश्यकता क्यों है?

चूंकि एक पॉजिटिव जोड़े के दोनों दृश्यों को आमतौर पर एक ही एक्सेलरेटर डिवाइस पर संसाधित किया जाता है, इसलिए मानक लोकल बैच नॉर्मलाइज़ेशन एक सूचना शॉर्टकट पेश करता है जहाँ इंट्रा-डिवाइस आँकड़े नमूना पहचान को लीक कर देते हैं। सभी वर्कर डिवाइसों में BN आँकड़ों को एकत्रित करने से यह शॉर्टकट समाप्त हो जाता है।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें