A Simple Framework for Contrastive Learning of Visual Representations

Ting Chen; Simon Kornblith; Mohammad Norouzi; Geoffrey Hinton

Makaleler · arXiv 2002.05709

A Simple Framework for Contrastive Learning of Visual Representations

Ting Chen, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton

Yayımlanma 2020-02-13cs.LGcs.CVstat.ML arXiv PDF

Çeviri ve yapay zekâ ile oku

Üç satırda özet

🎯 Önceki kontrastif kendi kendine denetimli yöntemler; karmaşık mimari tasarımlara, bellek bankalarına veya özel bağlam birleştirme ağlarına dayanıyordu.
🔧 SimCLR; standart ResNet'ler, doğrusal olmayan bir projeksiyon başlığı, negatifler için büyük mini-yığınlar ve NT-Xent kaybı kullanarak görüntünün farklı artırılmış görünümleri arasındaki örtük uzlaşmayı maksimize eder.
📈 SimCLR ResNet-50 (4×) üzerindeki doğrusal bir sınıflandırıcı, ImageNet'te %76,5 top-1 doğruluğuna ulaşır ve etiketlerin yalnızca %1'i ile yapılan ince ayar %85,8 top-5 doğruluğu sağlar.

Özet

Bu makale, görsel temsillerin kontrastif öğrenimi için basit bir çerçeve olan SimCLR'ı sunmaktadır. Özel mimariler veya bir bellek bankası (memory bank) gerektirmeden, son zamanlarda önerilen kontrastif kendi kendine denetimli öğrenme algoritmalarını basitleştiriyoruz. Kontrastif tahmin görevlerinin faydalı temsiller öğrenmesini neyin sağladığını anlamak amacıyla çerçevemizin temel bileşenlerini sistematik olarak inceliyoruz. Şunları gösteriyoruz: (1) veri artırmalarının bileşimi, etkili tahmin görevlerinin tanımlanmasında kritik bir rol oynar, (2) temsil ile kontrastif kayıp arasına öğrenilebilir doğrusal olmayan bir dönüşüm eklemek öğrenilen temsillerin kalitesini önemli ölçüde artırır ve (3) kontrastif öğrenme, denetimli öğrenmeye kıyasla daha büyük yığın boyutlarından ve daha fazla eğitim adımından fayda sağlar. Bu bulguları birleştirerek, ImageNet üzerinde kendi kendine denetimli ve yarı denetimli öğrenmeye yönelik önceki yöntemleri belirgin şekilde geride bırakabiliyoruz. SimCLR tarafından öğrenilen kendi kendine denetimli temsiller üzerinde eğitilen doğrusal bir sınıflandırıcı, önceki en gelişmiş yönteme kıyasla %7 bağıl iyileşme ile %76,5 top-1 doğruluğuna ulaşarak denetimli bir ResNet-50'nin başarımını yakalamaktadır. Etiketlerin yalnızca %1'i ile ince ayar yapıldığında, AlexNet'i 100 kat daha az etiketle geride bırakarak %85,8 top-5 doğruluğu elde ediyoruz.

Orijinal özet (İngilizce)

This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive self-supervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by SimCLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-of-the-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100X fewer labels.

Okuma rehberi

Problem ve motivasyon

İnsan denetimi olmadan görsel temsillerin öğrenilmesi tipik olarak üretici modellemeye veya sezgisel öncül görevlere (ör. yapboz bulmacaları, rotasyon tahmini, renklendirme) dayanır. Kontrastif öğrenme yöntemleri daha iyi başarım elde etmiş olsa da, negatif çiftler sağlamak için sıklıkla özel bağlam birleştirme mimarileri (CPC'deki PixelCNN'ler gibi), kısıtlayıcı alıcı alanlar veya açık bellek bankaları (MoCo veya InstDisc gibi) getirmiştir. SimCLR, standart kodlayıcılar, yığın içi negatif çiftler ve sistematik artırma tasarımı kullanan basit bir çerçevenin, mimari geçici çözümlere gerek kalmadan önceki yöntemleri geride bırakabileceğini göstererek bu karmaşıklıkları ele alır.

Temel fikirler

Artırma bileşimi tahmin görevini tanımlar: Ağ mimarilerini mekânsal bağlam tahminlerini zorlayacak şekilde değiştirmek yerine, veri artırmalarının stokastik bileşimi—özellikle rastgele kırpmanın renk bozulması ile eşleştirilmesi—kestirme yolları (renk histogramlarını eşleştirmek gibi) önler ve ağı anlamsal öznitelikleri çıkarmaya zorlar.
Daha güçlü artırmalar kontrastif öğrenmeye fayda sağlar: Denetimli eğitim başarımını düşüren agresif renk titremesi (color jittering) gibi artırmalar, kendi kendine denetimli kontrastif öğrenmeyi önemli ölçüde geliştirir.
Doğrusal olmayan projeksiyon başlığı: Kodlayıcı temsili $h$ ile kontrastif kayıp arasına küçük bir MLP $g (\cdot)$ eklemek temsil kalitesini artırır. $z = g (h)$ dönüşümlere karşı değişmez olacak şekilde eğitildiğinden, eğitimden sonra $g (\cdot)$ 'nin atılması, $h$ içinde alt görevler için faydalı olan dönüşüme duyarlı bilgileri korur.
Büyük yığınlar ve uzun eğitim ile negatifleri ölçeklendirme: SimCLR, açık bir bellek bankası yerine, LARS ile optimize edilen ve pozitif çift başına binlerce yığın içi negatif çift sağlayan büyük yığın boyutlarına (8192'ye kadar) dayanır.
Global Batch Normalization: Ağın pozitif çiftleri tanımlamak için cihaz içi grup normalizasyonu istatistiklerinden faydalandığı kestirme yollardan kaçınmak amacıyla, grup normalizasyonu ortalaması ve varyansı tüm dağıtılmış hızlandırıcılar arasında senkronize edilir.

Yöntem

Örneklenen $N$ adet görüntüden oluşan bir mini-yığın için, her bir $x_{k}$ örneği iki farklı stokastik artırma $t, t^{'} \sim T$ ile dönüştürülür ve $2 N$ artırılmış örnek arasında bir pozitif çift $(\tilde{x}_{i}, \tilde{x}_{j})$ elde edilir.

Temel Kodlayıcı: $h_{i} = f (\tilde{x}_{i}) = ResNet (\tilde{x}_{i})$ , temsilleri ortalama havuzlama (average pooling) katmanından çıkarır.
Projeksiyon Başlığı: $z_{i} = g (h_{i}) = W^{(2)} σ (W^{(1)} h_{i})$ , temsilleri tek bir gizli katman ve ReLU aktivasyonu $σ$ ile 128 boyutlu bir örtük uzaya eşler.
NT-Xent Kaybı: Normalize edilmiş vektörler arasındaki kosinüs benzerliği $sim (u, v) = u^{⊤} v / (∥ u ∥ ∥ v ∥)$ olarak tanımlanır. Bir $(i, j)$ pozitif çifti için kayıp şöyledir: $ℓ_{i, j} = - lo g \frac{exp ( sim ( z _{i} , z _{j} ) / τ )}{\sum _{k = 1}^{2 N} \mathbbm 1 _{[k \neq = i]} exp ( sim ( z _{i} , z _{k} ) / τ )}$ burada $τ$ sıcaklık hiperparametresidir ve $\mathbbm 1_{[k \neq = i]}$ , yalnızca ve yalnızca $k \neq = i$ olduğunda $1$ değerini alır. Toplam kayıp $L$ , yığındaki tüm $2 N$ çift üzerinden ortalanır.

Eğitimden sonra $g (\cdot)$ atılır ve $h$ , aşağı akış doğrusal sınıflandırma veya ince ayar için kullanılır.

Sonuçlar

ImageNet Üzerinde Doğrusal Değerlendirme: Standart bir ResNet-50 ile SimCLR %69,3 top-1 doğruluğuna ulaşır (önceki kendi kendine denetimli modelleri yakalar veya geçer). ResNet-50 ( $4 \times$ )'e ölçeklendirildiğinde %76,5 top-1 doğruluğu elde ederek tamamen denetimli standart bir ResNet-50'yi yakalar.
Yarı Denetimli İnce Ayar: ImageNet etiketlerinin yalnızca %1'i ile ince ayar yapıldığında, ResNet-50 ( $4 \times$ ) %85,8 top-5 doğruluğuna (ve %63,0 top-1) ulaşarak etiketlerin %100'ü üzerinde eğitilmiş AlexNet'i geride bırakır.
Aktarım Öğrenimi: 12 doğal görüntü sınıflandırma veri kümesinde, ince ayarlı SimCLR ResNet-50 ( $4 \times$ ), 12 veri kümesinin 10'unda denetimli temel modeli yakalar veya geçer.
Projeksiyon Başlığı Üzerine Ablasyon: Doğrusal olmayan bir projeksiyon başlığı kullanmak, ImageNet doğrusal değerlendirmesinde doğrusal bir projeksiyondan +%3, hiç projeksiyon kullanılmamasından ise >%10 daha iyi performans gösterir.

Sınırlılıklar ve açık sorular

Hesaplama Yoğunluğu: En üst düzey sonuçları elde etmek için eğitim çok büyük mini-yığın boyutları (ör. 4096 veya 8192) ve uzun eğitim programları (1000 epoka kadar) gerektirir; bu da büyük hızlandırıcı kümeleri (32–128 TPU çekirdeği) gerektirir.
Aktarımda Mimari Eşitsizliği: ResNet-50 ( $4 \times$ ) aktarım karşılaştırmalarında denetimli temelleri yakalasa veya aşsa da, standart ResNet-50 tüm doğrusal değerlendirme görevlerinde hâlâ denetimli temellerin gerisinde kalmaktadır.
Bilgi Dengesi: Projeksiyon başlığının $z$ 'de değişmezliği zorlarken $h$ 'deki dönüşüme özgü bilgileri koruma mekanizması, analitik bir çerçeveden ziyade ampirik sezgisellere dayanmaktadır.

Temel terimler

SimCLR: Veri artırmaları, temel kodlayıcı, doğrusal olmayan projeksiyon başlığı ve normalize edilmiş sıcaklık ölçekli çapraz entropi kaybı kullanan, görsel temsillerin kontrastif öğrenimi için basit bir çerçeve.
NT-Xent: Yığın içi negatif ve pozitif çiftler üzerinde sıcaklık ölçekli kosinüs benzerlikleri uygulayan Normalize Edilmiş Sıcaklık Ölçekli Çapraz Entropi (Normalized Temperature-scaled Cross Entropy) kaybı.
Projection Head: Ön eğitim sırasında temel kodlayıcıdan sonra uygulanan ve aşağı akış değerlendirmesinden önce atılan tek gizli katmanlı küçük bir çok katmanlı algılayıcı (MLP).
Global BN: Modelin cihaz içi istatistikleri bir bilgi kestirmesi olarak kullanmasını önlemek için ortalama ve varyansın tüm dağıtılmış cihazlar arasında toplandığı grup normalizasyonu (Batch Normalization).
Linear Evaluation Protocol: Kendi kendine denetimli öğrenmede, temsil kalitesini ölçmek için dondurulmuş bir öznitelik çıkarıcının üzerine doğrusal bir sınıflandırıcının eğitildiği standart bir değerlendirme yöntemi.
LARS: Çok büyük yığın boyutlarına ölçeklendirme yaparken eğitimi kararlı hale getirmek için kullanılan Katman Bazlı Uyarlamalı Hız Ölçekleme (Layer-wise Adaptive Rate Scaling) optimize edicisi.

Sorular

Rastgele kırpma kullanıldığında renk titremesi (color jittering) neden gereklidir?

Aynı görüntüden alınan rastgele kırpmalar genellikle çok benzer renk histogramlarını paylaşır. Renk bozulması olmadan model, üst düzey anlamsal öznitelikleri öğrenmek yerine pozitif çiftleri yalnızca renk profili eşleştirmesi yoluyla tanımlamayı kolayca öğrenir.

Projeksiyon başlığından önceki temsil ($h$) neden sonrakinden ($z$) daha iyidir?

Kontrastif kayıp, çıktı $z$ 'yi uygulanan veri artırmalarına tamamen değişmez olacak şekilde eğitir. Doğrusal olmayan projeksiyon başlığı $g$ , dönüşüme özgü ayrıntıların (renk ve yönelim gibi) bu kaybını absorbe ederek $h$ içinde daha zengin ve genelleştirilebilir bilgiler bırakır.

SimCLR bellek bankası (memory bank) kullanmaktan nasıl kaçınır?

SimCLR büyük mini-yığın boyutları (256'dan 8192'ye kadar) kullanır. $N$ boyutundaki bir yığın, doğrudan yığın içinde pozitif çift başına $2 (N - 1)$ negatif örnek sağlar ve ayrı bir bellek bankası veya momentum kodlayıcı ihtiyacını ortadan kaldırır.

SimCLR neden Global Batch Normalization'a ihtiyaç duyar?

Bir pozitif çiftin her iki görünümü de tipik olarak aynı hızlandırıcı cihazda işlendiğinden, standart yerel Grup Normalizasyonu, cihaz içi istatistiklerin örnek kimliğini sızdırdığı bir bilgi kestirmesi yaratır. BN istatistiklerinin tüm çalışan cihazlar arasında toplanması bu kestirme yolu ortadan kaldırır.

Bu sayfadaki açıklama yapay zekâ tarafından makaleden yazılmıştır ve hata içerebilir. Ayrıntılar için makaleyi okuyun.

Çeviri ve yapay zekâ ile oku