A Simple Framework for Contrastive Learning of Visual Representations

Ting Chen; Simon Kornblith; Mohammad Norouzi; Geoffrey Hinton

Makalah · arXiv 2002.05709

A Simple Framework for Contrastive Learning of Visual Representations

Ting Chen, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton

Terbit 2020-02-13cs.LGcs.CVstat.ML arXiv PDF

Baca dengan terjemahan dan AI

Ringkasan tiga baris

🎯 Metode contrastive self-supervised sebelumnya bergantung pada desain arsitektur yang kompleks, memory bank, atau jaringan agregasi konteks khusus.
🔧 SimCLR memaksimalkan kesesuaian laten antara tampilan gambar yang diaugmentasi secara berbeda menggunakan ResNet standar, projection head non-linear, mini-batch besar untuk sampel negatif, dan NT-Xent loss.
📈 Pengklasifikasi linear pada SimCLR ResNet-50 (4×) mencapai akurasi top-1 76,5% di ImageNet, dan fine-tuning hanya pada 1% label menghasilkan akurasi top-5 85,8%.

Abstrak

Makalah ini memperkenalkan SimCLR: sebuah kerangka kerja sederhana untuk contrastive learning pada representasi visual. Kami menyederhanakan algoritma contrastive self-supervised learning yang baru-baru ini diusulkan tanpa memerlukan arsitektur khusus atau memory bank. Untuk memahami apa yang memungkinkan tugas prediksi kontrastif mempelajari representasi yang berguna, kami mempelajari komponen utama kerangka kerja kami secara sistematis. Kami menunjukkan bahwa (1) komposisi augmentasi data memainkan peran penting dalam menentukan tugas prediktif yang efektif, (2) memperkenalkan transformasi non-linear yang dapat dipelajari antara representasi dan contrastive loss secara substansial meningkatkan kualitas representasi yang dipelajari, dan (3) contrastive learning memperoleh manfaat dari ukuran batch yang lebih besar dan langkah pelatihan yang lebih banyak dibandingkan dengan supervised learning. Dengan menggabungkan temuan-temuan ini, kami mampu secara signifikan melampaui metode sebelumnya untuk self-supervised dan semi-supervised learning pada ImageNet. Pengklasifikasi linear yang dilatih pada representasi self-supervised yang dipelajari oleh SimCLR mencapai akurasi top-1 76,5%, yang merupakan peningkatan relatif 7% dibandingkan state-of-the-art sebelumnya, menyamai kinerja ResNet-50 tersupervisi. Ketika di-fine-tune hanya pada 1% label, kami mencapai akurasi top-5 85,8%, mengungguli AlexNet dengan label 100 kali lebih sedikit.

Abstrak asli (bahasa Inggris)

This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive self-supervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by SimCLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-of-the-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100X fewer labels.

Panduan membaca

Masalah dan motivasi

Mempelajari representasi visual tanpa supervisi manusia biasanya bergantung pada pemodelan generatif atau tugas dalih heuristik (misalnya, teka-teki jigsaw, prediksi rotasi, pewarnaan). Metode contrastive learning mencapai kinerja yang lebih baik tetapi sering kali memperkenalkan arsitektur agregasi konteks khusus (seperti PixelCNN pada CPC), receptive field yang membatasi, atau memory bank eksplisit (seperti MoCo atau InstDisc) untuk menyediakan pasangan negatif. SimCLR mengatasi kerumitan ini dengan menunjukkan bahwa kerangka kerja sederhana yang menggunakan encoder standar, pasangan negatif dalam batch, dan desain augmentasi sistematis dapat mengungguli metode sebelumnya tanpa penyesuaian arsitektur khusus.

Ide utama

Komposisi augmentasi menentukan tugas prediksi: Alih-alih mengubah arsitektur jaringan untuk memaksakan prediksi konteks spasial, komposisi stokastik augmentasi data—khususnya pemotongan acak yang dipasangkan dengan distorsi warna—mencegah jalan pintas (seperti mencocokkan histogram warna) dan memaksa jaringan untuk mengekstrak fitur semantik.
Augmentasi yang lebih kuat menguntungkan contrastive learning: Augmentasi seperti color jittering agresif yang menurunkan performa pelatihan tersupervisi justru secara signifikan meningkatkan self-supervised contrastive learning.
Nonlinear projection head: Memperkenalkan MLP kecil $g (\cdot)$ antara representasi encoder $h$ dan contrastive loss meningkatkan kualitas representasi. Karena $z = g (h)$ dilatih untuk invarian terhadap transformasi, membuang $g (\cdot)$ setelah pelatihan akan mempertahankan informasi peka transformasi pada $h$ yang bermanfaat untuk tugas hilir (downstream tasks).
Penskalaan sampel negatif melalui batch besar dan pelatihan panjang: Alih-alih memory bank eksplisit, SimCLR mengandalkan ukuran batch besar (hingga 8192) yang dioptimalkan dengan LARS, menyediakan ribuan pasangan negatif dalam batch per pasangan positif.
Global Batch Normalization: Untuk menghindari jalan pintas di mana jaringan mengeksploitasi statistik batch normalization intra-perangkat untuk mengidentifikasi pasangan positif, rata-rata dan varians batch normalization disinkronkan di semua akselerator terdistribusi.

Metode

Untuk minibatch sampel berisi $N$ gambar, setiap contoh $x_{k}$ ditransformasikan oleh dua augmentasi stokastik yang berbeda $t, t^{'} \sim T$ , menghasilkan pasangan positif $(\tilde{x}_{i}, \tilde{x}_{j})$ di antara $2 N$ sampel teraugmentasi.

Base Encoder: $h_{i} = f (\tilde{x}_{i}) = ResNet (\tilde{x}_{i})$ , mengekstrak representasi dari lapisan average pooling.
Projection Head: $z_{i} = g (h_{i}) = W^{(2)} σ (W^{(1)} h_{i})$ , memetakan representasi ke ruang laten 128 dimensi dengan satu lapisan tersembunyi dan aktivasi ReLU $σ$ .
NT-Xent Loss: Kesamaan kosinus antara vektor yang dinormalisasi didefinisikan sebagai $sim (u, v) = u^{⊤} v / (∥ u ∥ ∥ v ∥)$ . Untuk pasangan positif $(i, j)$ , loss-nya adalah: $ℓ_{i, j} = - lo g \frac{exp ( sim ( z _{i} , z _{j} ) / τ )}{\sum _{k = 1}^{2 N} \mathbbm 1 _{[k \neq = i]} exp ( sim ( z _{i} , z _{k} ) / τ )}$ di mana $τ$ adalah hiperparameter temperatur dan $\mathbbm 1_{[k \neq = i]}$ bernilai $1$ jika dan hanya jika $k \neq = i$ . Total loss $L$ dirata-ratakan di seluruh $2 N$ pasangan dalam batch.

Setelah pelatihan, $g (\cdot)$ dibuang dan $h$ digunakan untuk klasifikasi linear atau fine-tuning pada tugas hilir.

Hasil

Evaluasi Linear pada ImageNet: SimCLR dengan ResNet-50 standar mencapai akurasi top-1 69,3% (menyamai atau melampaui model self-supervised sebelumnya). Penskalaan ke ResNet-50 ( $4 \times$ ) mencapai akurasi top-1 76,5%, menyamai ResNet-50 standar yang sepenuhnya tersupervisi.
Fine-tuning Semi-supervised: Ketika melakukan fine-tuning hanya pada 1% label ImageNet, ResNet-50 ( $4 \times$ ) mencapai akurasi top-5 85,8% (dan top-1 63,0%), mengungguli AlexNet yang dilatih pada 100% label.
Transfer Learning: Di 12 dataset klasifikasi gambar alami, SimCLR ResNet-50 ( $4 \times$ ) yang di-fine-tune menyamai atau mengungguli baseline tersupervisi pada 10 dari 12 dataset.
Ablasi pada Projection Head: Menggunakan projection head non-linear mengungguli proyeksi linear sebesar +3% dan tanpa proyeksi sebesar >10% pada evaluasi linear ImageNet.

Keterbatasan dan pertanyaan terbuka

Intensitas Komputasi: Pelatihan memerlukan ukuran mini-batch yang sangat besar (misalnya, 4096 atau 8192) dan jadwal pelatihan yang panjang (hingga 1000 epoch) untuk mencapai hasil terbaik, sehingga membutuhkan kluster akselerator besar (32–128 TPU core).
Disparitas Arsitektur pada Transfer: Meskipun ResNet-50 ( $4 \times$ ) menyamai atau melampaui baseline tersupervisi pada tolok ukur transfer, ResNet-50 standar masih tertinggal di belakang baseline tersupervisi pada semua tugas evaluasi linear.
Trade-off Informasi: Mekanisme di mana projection head mempertahankan informasi spesifik transformasi pada $h$ sambil memaksakan invariansi pada $z$ masih bergantung pada heuristik empiris daripada kerangka analitis.

Istilah kunci

SimCLR: Kerangka kerja sederhana untuk contrastive learning pada representasi visual menggunakan augmentasi data, base encoder, projection head non-linear, dan normalized temperature-scaled cross-entropy loss.
NT-Xent: Normalized Temperature-scaled Cross Entropy loss, yang menerapkan kesamaan kosinus berskala temperatur pada pasangan negatif dan positif dalam batch.
Projection Head: Multi-layer perceptron kecil dengan satu lapisan tersembunyi yang diterapkan setelah base encoder selama pra-pelatihan, yang kemudian dibuang sebelum evaluasi hilir.
Global BN: Batch normalization di mana rata-rata dan varians diagregasikan di seluruh perangkat terdistribusi untuk mencegah model menggunakan statistik intra-perangkat sebagai jalan pintas informasi.
Linear Evaluation Protocol: Metode evaluasi standar dalam self-supervised learning di mana pengklasifikasi linear dilatih di atas ekstraktor fitur yang dibekukan untuk mengukur kualitas representasi.
LARS: Pengoptimal Layer-wise Adaptive Rate Scaling yang digunakan untuk menstabilkan pelatihan saat melakukan penskalaan ke ukuran batch yang sangat besar.

Pertanyaan

Mengapa color jittering diperlukan saat menggunakan pemotongan acak (random cropping)?

Potongan acak dari gambar yang sama biasanya memiliki histogram warna yang sangat mirip. Tanpa distorsi warna, model dengan mudah belajar mengidentifikasi pasangan positif hanya melalui pencocokan profil warna alih-alih mempelajari fitur semantik tingkat tinggi.

Mengapa representasi sebelum projection head (h) lebih baik daripada setelahnya (z)?

Contrastive loss melatih output z agar sepenuhnya invarian terhadap augmentasi data yang diterapkan. Projection head non-linear g menyerap hilangnya detail spesifik transformasi ini (seperti warna dan orientasi), meninggalkan informasi yang lebih kaya dan dapat digeneralisasi pada h.

Bagaimana SimCLR menghindari penggunaan memory bank?

SimCLR menggunakan ukuran minibatch yang besar (dari 256 hingga 8192). Ukuran batch sebesar N menghasilkan 2(N-1) contoh negatif per pasangan positif langsung dari dalam batch tersebut, menghilangkan kebutuhan akan memory bank terpisah atau momentum encoder.

Mengapa SimCLR membutuhkan Global Batch Normalization?

Karena kedua tampilan dari pasangan positif biasanya diproses pada perangkat akselerator yang sama, Batch Normalization lokal standar memunculkan jalan pintas informasi di mana statistik intra-perangkat membocorkan identitas sampel. Mengagregasi statistik BN di seluruh perangkat pekerja menghilangkan jalan pintas ini.

Ulasan di halaman ini ditulis oleh AI dari makalah dan mungkin mengandung kesalahan. Baca makalahnya untuk detail.

Baca dengan terjemahan dan AI