Learning Transferable Visual Models From Natural Language Supervision

Panduan membaca

Masalah dan motivasi

Model vision mutakhir secara tradisional mengandalkan tolok ukur klasifikasi himpunan tertutup berlabel urun daya (crowd-labeled) seperti ImageNet. Paradigma label tetap ini membatasi kegunaannya: mengenali konsep apa pun di luar kosakata target memerlukan pengumpulan dan anotasi data baru. Sebaliknya, pemrosesan bahasa alami telah berhasil beralih ke pra-latih agnostik tugas langsung pada teks berskala web (misalnya, GPT-3), menghasilkan model yang mampu melakukan generalisasi zero-shot melalui antarmuka teks-ke-teks. Para penulis menyelidiki apakah penskalaan supervisi bahasa alami pada data berskala web dapat menghasilkan representasi visual yang bergeneralisasi secara luas di berbagai tugas computer vision tanpa fine-tuning tersupervisi khusus dataset.

Ide-ide kunci

• Belajar dari Supervisi Bahasa Alami: Memperlakukan pasangan (gambar, teks) hasil penelusuran web sebagai sinyal pelatihan menghubungkan fitur visual secara langsung dengan semantik bahasa alami yang kaya, melewati pelabelan kelas diskret 1-dari-N.
• Pembelajaran Kontrasif untuk Efisiensi: Memprediksi token teks secara tepat (captioning generatif) membuang-buang komputasi. Merumuskan tujuannya sebagai tugas pencocokan kontrasif—membedakan pasangan (gambar, teks) yang benar dari pasangan yang salah dalam sebuah minibatch—terbukti 4x lebih efisien sampel daripada prediksi bag-of-words dan jauh lebih cepat daripada pemodelan generatif.
• Klasifikasi Zero-Shot sebagai Pengklasifikasi Linier Dinamis: Kelas-kelas dataset target disematkan melalui encoder teks ke dalam vektor fitur. Vektor-vektor ini berfungsi sebagai bobot untuk pengklasifikasi linier zero-shot terhadap embedding gambar.
• Prompt Engineering dan Ensembling: Performa zero-shot sensitif terhadap sintaksis dan konteks prompt. Membungkus nama kelas dalam kalimat lengkap (misalnya, "A photo of a {label}.") dan melakukan ensembling pada beberapa variasi prompt meningkatkan transfer zero-shot sekitar 5 poin pada ImageNet.

Metode (dengan persamaan kunci)

CLIP membangun ruang embedding multi-modal dengan melatih bersama encoder gambar $f_{\text{image}}$ dan encoder teks $f_{\text{text}}$ pada dataset berisi 400 juta pasangan (gambar, teks) dari internet (WIT).

1. Ekstraksi dan Proyeksi Fitur: Diberikan sebuah minibatch dari $N$ pasangan gambar-teks $(I_i,T_i)$ untuk $i\in \{1,\dots ,N\}$, setiap encoder memetakan masukan ke dimensi bersama $d$ dengan proyeksi linier $W_i$ dan $W_t$: $$I_i^e=\frac{f_{\text{image}}(I_i)W_i}{\Vert f_{\text{image}}(I_i)W_i{\Vert }_2},T_j^e=\frac{f_{\text{text}}(T_j)W_t}{\Vert f_{\text{text}}(T_j)W_t{\Vert }_2}$$

2. Matriks Kesamaan: Logit dihitung melalui kesamaan kosinus berskala: $$S_{i,j}=\frac{⟨I_i^e,T_j^e⟩}{\tau }$$ di mana $\tau$ adalah parameter temperatur yang dapat dipelajari yang diinisialisasi ke 0,07, dipotong (clipped) untuk mencegah penskalaan logit melampaui 100.

3. Symmetric Cross-Entropy Loss: Total loss adalah rata-rata dari kerugian klasifikasi gambar-ke-teks dan teks-ke-gambar pada matriks pemasangan $N\times N$: $$\mathcal{L}=\frac{1}{2}\left(-\frac{1}{N}\sum _{i=1}^N\log \frac{\exp (S_{i,i})}{{\sum }_{j=1}^N\exp (S_{i,j})}-\frac{1}{N}\sum _{j=1}^N\log \frac{\exp (S_{j,j})}{{\sum }_{i=1}^N\exp (S_{i,j})}\right)$$

4. Inferensi Zero-Shot: Untuk dataset dengan $K$ kelas, templat teks (misalnya, "a photo of a {class_name}") dikodekan menjadi $w_k=T_k^e$. Untuk gambar uji $x$, probabilitas yang diprediksi adalah: $$p(y=k\mid x)=\frac{\exp (⟨I_x^e,w_k⟩/\tau )}{{\sum }_{j=1}^K\exp (⟨I_x^e,w_j⟩/\tau )}$$

Hasil (dengan angka-angka terpenting)

• ImageNet Zero-Shot: CLIP (ViT-L/14@336px) mencapai akurasi top-1 76,2% (dan akurasi top-5 95%) secara zero-shot pada ImageNet, menyamai ResNet-50 tersupervisi asli tanpa menggunakan 1,28 juta gambar pelatihannya.
• Zero-Shot vs. Baseline Tersupervisi: Dievaluasi di 27 dataset downstream, CLIP zero-shot mengungguli linear probe yang sepenuhnya tersupervisi di atas fitur ResNet-50 standar pada 16 dari 27 dataset.
• Perbandingan Few-Shot: CLIP zero-shot menyamai performa rata-rata pengklasifikasi linier 4-shot yang dilatih pada representasi fitur CLIP yang sama persis, dan menyaingi model BiT-M ResNet-152x2 16-shot.
• Kualitas Representasi Linear Probe: Saat mengevaluasi representasi beku dengan linear probe tersupervisi, model terbaik CLIP mengungguli Noisy Student EfficientNet-L2 pada 21 dari 27 dataset, unggul dalam OCR, pengenalan aksi video (Kinetics-700: +14,5% dibanding ResNet-50), dan geo-lokalisasi.
• Ketahanan Terhadap Pergeseran Distribusi: Di 7 dataset pergeseran distribusi alami (ImageNetV2, ImageNet-R, ImageNet-A, ObjectNet, dll.), CLIP zero-shot mengurangi penurunan antara akurasi in-distribution dan out-of-distribution hingga 75% dibandingkan dengan model yang dilatih ImageNet standar.

Keterbatasan dan pertanyaan terbuka

• Tugas Abstrak, Khusus, dan Sistematis: CLIP zero-shot sangat kesulitan dalam penghitungan (CLEVRCounts), tugas-tugas berbutir halus dengan perbedaan tipis (FGVCAircraft, Flowers102), dan tugas khusus domain di luar kelaziman teks web (deteksi tumor pada PatchCamelyon; estimasi jarak pada KITTI).
• Data yang Benar-benar Out-of-Distribution: Pada digit tulisan tangan MNIST, CLIP zero-shot hanya mencapai akurasi 88%—berperforma lebih rendah daripada regresi logistik pada piksel mentah—menunjukkan bahwa CLIP menghindari daripada memecahkan kerapuhan out-of-distribution.
• Kebutuhan Komputasi: Mencapai performa state-of-the-art tersupervisi secara keseluruhan di semua tolok ukur murni secara zero-shot diperkirakan memerlukan peningkatan komputasi sebesar 1000x dengan tren penskalaan saat ini.
• Bias Sosial dan Denigrasi: Pengujian dengan tolok ukur FairFace mengungkap mode kegagalan yang berbeda secara signifikan, termasuk salah klasifikasi non-manusia dan terkait kejahatan yang condong ke individu berkulit hitam dan usia muda, yang sangat bervariasi bergantung pada rancangan label kelas dan ambang batas.