Learning Transferable Visual Models From Natural Language Supervision

Alec Radford; Jong Wook Kim; Chris Hallacy; Aditya Ramesh; Gabriel Goh; Sandhini Agarwal; Girish Sastry; Amanda Askell; Pamela Mishkin; Jack Clark; Gretchen Krueger; Ilya Sutskever

Makaleler · arXiv 2103.00020

Learning Transferable Visual Models From Natural Language Supervision

Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever

Yayımlanma 2021-02-26cs.CVcs.LG arXiv PDF

Çeviri ve yapay zekâ ile oku

Üç satırda özet

🎯 Standart bilgisayarla görme sistemleri, maliyetli etiketleme gerektiren ve yeni görsel kavramlara genellenemeyen sabit, önceden belirlenmiş etiket kümelerine bağımlıdır.
🔧 Contrastive Language-Image Pre-training (CLIP), simetrik bir çapraz entropi kaybı kullanarak büyük yığınlar genelinde eşleşen görsel-metin çiftlerinin kosinüs benzerliğini en üst düzeye çıkarmak için bir görsel kodlayıcıyı ve bir metin kodlayıcıyı ortaklaşa eğitir.
📈 ImageNet'in 1,28 milyonluk etiketli örneklerinin hiçbirini kullanmadan, tam denetimli bir ResNet-50'nin ImageNet üzerindeki %76,2'lik ilk 1 (top-1) sıfır atışlı doğruluk oranını yakalar.

Özet

Son teknoloji bilgisayarla görme sistemleri, önceden belirlenmiş sabit bir nesne kategorisi kümesini tahmin etmek üzere eğitilir. Bu kısıtlı denetim biçimi, başka herhangi bir görsel kavramı belirtmek için ek etiketli verilere ihtiyaç duyulduğundan modellerin genellenebilirliğini ve kullanılabilirliğini sınırlar. Görseller hakkındaki ham metinlerden doğrudan öğrenmek, çok daha geniş bir denetim kaynağından yararlanan umut verici bir alternatiftir. Hangi başlığın hangi görselle eşleştiğini tahmin etmeye dayalı basit ön eğitim görevinin; internetten toplanan 400 milyon (görsel, metin) çiftinden oluşan bir veri kümesinde, sıfırdan son teknoloji görsel temsilleri öğrenmek için verimli ve ölçeklenebilir bir yol olduğunu gösteriyoruz. Ön eğitimin ardından, öğrenilen görsel kavramlara atıfta bulunmak (veya yenilerini tanımlamak) için doğal dil kullanılır; bu da modelin alt görevlere sıfır atışlı (zero-shot) aktarımını mümkün kılar. Bu yaklaşımın performansını; OCR, videolarda eylem tanıma, coğrafi konum belirleme ve birçok ayrıntılı nesne sınıflandırması türünü kapsayan 30'dan fazla mevcut bilgisayarla görme veri kümesinde kıyaslama yaparak inceliyoruz. Model, çoğu göreve kayda değer biçimde aktarılır ve veri kümesine özgü herhangi bir eğitime gerek kalmadan çoğu zaman tam denetimli bir referans modelle rekabet eder. Örneğin, ImageNet üzerinde eğitildiği 1,28 milyon eğitim örneğinin hiçbirini kullanmaya gerek kalmadan, orijinal ResNet-50'nin sıfır atışlı başarımına ulaşıyoruz. Kodlarımızı ve önceden eğitilmiş model ağırlıklarımızı https://github.com/OpenAI/CLIP adresinde paylaşıyoruz.

Orijinal özet (İngilizce)

State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.

Okuma rehberi

Problem ve motivasyon

Son teknoloji görme modelleri geleneksel olarak ImageNet gibi insan eliyle etiketlenmiş, kapalı küme sınıflandırma kıyaslamalarına dayanır. Bu sabit etiket paradigması modellerin kullanılabilirliğini kısıtlar: hedef kelime dağarcığının dışındaki herhangi bir kavramı tanımak, yeni veriler toplamayı ve etiketlemeyi gerektirir. Buna karşılık, doğal dil işleme alanı, web ölçeğindeki metinler üzerinde doğrudan görevden bağımsız ön eğitime (ör. GPT-3) başarılı bir şekilde geçmiş ve metinden metne arayüzler aracılığıyla sıfır atışlı genelleme yapabilen modeller üretmiştir. Yazarlar, web ölçeğindeki veriler üzerinde doğal dil denetimini ölçeklendirmenin, veri kümesine özgü denetimli ince ayar (fine-tuning) olmaksızın bilgisayarla görme görevleri genelinde geniş ölçüde genellenebilen görsel temsiller sağlayıp sağlayamayacağını araştırmaktadır.

Temel fikirler

Doğal Dil Denetiminden Öğrenme: Web'den toplanan (görsel, metin) çiftlerini eğitim sinyalleri olarak ele almak, görsel öznitelikleri doğrudan zengin doğal dil anlambilimine bağlayarak N sınıftan 1'ini seçen ayrık sınıf etiketlemesini devre dışı bırakır.
Verimlilik için Karşıt Öğrenme (Contrastive Learning): Birebir metin belirteçlerini tahmin etmek (üretken altyazılama) hesaplama açısından israftır. Hedefi karşıt bir eşleştirme görevi olarak formüle etmek—bir mini yığın genelinde gerçek (görsel, metin) çiftlerini yanlış çiftlerden ayırt etmek—kelime çantası (bag-of-words) tahminine göre 4 kat daha fazla örneklem verimliliği sunar ve üretken modellemeden çok daha hızlıdır.
Dinamik Doğrusal Sınıflandırıcılar Olarak Sıfır Atışlı Sınıflandırma: Hedef veri kümesi sınıfları, metin kodlayıcı aracılığıyla öznitelik vektörlerine dönüştürülür. Bu vektörler, görsel gömmelerine (embeddings) karşı sıfır atışlı bir doğrusal sınıflandırıcının ağırlıkları olarak görev yapar.
İstem Mühendisliği ve Topluluk Oluşturma (Prompt Engineering and Ensembling): Sıfır atışlı performans, istem sözdizimine ve bağlamına duyarlıdır. Sınıf adlarını tam cümleler içine yerleştirmek (ör. "A photo of a {label}.") ve birden fazla istem varyasyonu üzerinden topluluk (ensemble) oluşturmak, ImageNet üzerindeki sıfır atışlı aktarımı yaklaşık 5 puan artırır.

Yöntem (temel denklemlerle)

CLIP, internetten toplanan 400 milyon (görsel, metin) çiftinden oluşan bir veri kümesi (WIT) üzerinde bir $f_{image}$ görsel kodlayıcısını ve bir $f_{text}$ metin kodlayıcısını ortaklaşa eğiterek çok modlu bir gömme uzayı inşa eder.

Öznitelik Çıkarma ve İzdüşüm: $i \in {1, \dots, N}$ olmak üzere $N$ görsel-metin çiftinden oluşan bir mini yığın $(I_{i}, T_{i})$ verildiğinde, her kodlayıcı girdileri $W_{i}$ ve $W_{t}$ doğrusal izdüşümleriyle ortak bir $d$ boyutuna eşler: $I_{i}^{e} = \frac{f _{image} ( I _{i} ) W _{i}}{∥ f _{image} ( I _{i} ) W _{i} ∥ _{2}}, T_{j}^{e} = \frac{f _{text} ( T _{j} ) W _{t}}{∥ f _{text} ( T _{j} ) W _{t} ∥ _{2}}$
Benzerlik Matrisi: Logit'ler, ölçeklendirilmiş kosinüs benzerliği aracılığıyla hesaplanır: $S_{i, j} = \frac{⟨ I _{i}^{e} , T _{j}^{e} ⟩}{τ}$ burada $τ$ , 0.07 olarak başlatılan ve logit'lerin 100'ün üzerine çıkmasını önlemek için kırpılan (clipped) öğrenilebilir bir sıcaklık parametresidir.
Simetrik Çapraz Entropi Kaybı: Toplam kayıp, $N \times N$ eşleştirme matrisi üzerindeki görselden metne ve metinden görsele sınıflandırma kayıplarının ortalamasıdır: $L = \frac{1}{2} (- \frac{1}{N} i = 1 \sum N lo g \frac{exp ( S _{i, i} )}{\sum _{j = 1}^{N} exp ( S _{i, j} )} - \frac{1}{N} j = 1 \sum N lo g \frac{exp ( S _{j, j} )}{\sum _{i = 1}^{N} exp ( S _{i, j} )})$
Sıfır Atışlı Çıkarım: $K$ sınıflı bir veri kümesi için, metin şablonları (ör. "a photo of a {class_name}") $w_{k} = T_{k}^{e}$ olarak kodlanır. Bir $x$ test görseli için tahmin edilen olasılıklar şöyledir: $p (y = k ∣ x) = \frac{exp (⟨ I _{x}^{e} , w _{k} ⟩ / τ )}{\sum _{j = 1}^{K} exp (⟨ I _{x}^{e} , w _{j} ⟩ / τ )}$

Sonuçlar (en önemli sayılarla)

Sıfır Atışlı ImageNet: CLIP (ViT-L/14@336px), ImageNet üzerinde sıfır atışla %76,2 ilk 1 (top-1) doğruluk oranına (ve %95 ilk 5 doğruluk oranına) ulaşarak, 1,28 milyon eğitim görüntüsünü kullanmadan orijinal denetimli ResNet-50'yi yakalar.
Sıfır Atış ve Denetimli Temel Model: 27 alt veri kümesi üzerinde değerlendirildiğinde sıfır atışlı CLIP, standart ResNet-50 öznitelikleri üzerine kurulu tam denetimli bir doğrusal sondalamayı (linear probe) 27 veri kümesinin 16'sında geride bırakır.
Az Sayıda Örnekli (Few-Shot) Karşılaştırma: Sıfır atışlı CLIP, tamamen aynı CLIP öznitelik temsilleri üzerinde eğitilmiş 4 örnekli (4-shot) doğrusal bir sınıflandırıcının ortalama performansına denk gelir ve 16 örnekli bir BiT-M ResNet-152x2 modeliyle yarışır.
Doğrusal Sondalama Temsil Kalitesi: Dondurulmuş temsiller denetimli doğrusal sondalamalarla değerlendirildiğinde, CLIP'in en iyi modeli 27 veri kümesinin 21'inde Noisy Student EfficientNet-L2'yi geride bırakarak OCR, videoda eylem tanıma (Kinetics-700: ResNet-50'ye kıyasla +%14,5) ve coğrafi konum belirlemede üstün başarı gösterir.
Dağılım Kayması Sağlamlığı: 7 doğal dağılım kayması veri kümesinde (ImageNetV2, ImageNet-R, ImageNet-A, ObjectNet vb.), sıfır atışlı CLIP, standart ImageNet eğitimli modellere kıyasla dağılım içi ve dağılım dışı doğruluk arasındaki düşüşü %75'e varan oranda azaltır.

Sınırlılıklar ve açık sorular

Soyut, Uzmanlaşmış ve Sistematik Görevler: Sıfır atışlı CLIP; nesne sayma (CLEVRCounts), ince ayrımlara dayalı görevler (FGVCAircraft, Flowers102) ve web metinlerinde yaygın olmayan alana özgü görevlerde (PatchCamelyon üzerinde tümör tespiti; KITTI üzerinde mesafe tahmini) ciddi zorluklar yaşar.
Gerçek Anlamda Dağılım Dışı Veriler: MNIST el yazısı rakamlarında sıfır atışlı CLIP yalnızca %88 doğruluk elde eder—ham pikseller üzerindeki lojistik regresyonun dahi gerisinde kalır—bu da CLIP'in dağılım dışı kırılganlığı çözmek yerine onun etrafından dolaştığını gösterir.
Hesaplama Gereksinimleri: Mevcut ölçekleme eğilimleriyle tüm kıyaslamalarda tamamen sıfır atışla genel denetimli son teknolojiye ulaşmanın tahmini 1000 katlık bir hesaplama gücü artışı gerektireceği öngörülmektedir.
Sosyal Yanlılıklar ve Aşağılama: FairFace kıyaslamasıyla yapılan inceleme; siyah bireylere ve gençlere yönelik insan dışı ve suçla ilişkili yanlış sınıflandırmalar da dahil olmak üzere, sınıf etiketi tasarımına ve eşik değerlere göre büyük ölçüde değişen belirgin ayrımcı hata biçimlerini ortaya koymaktadır.

Temel terimler

CLIP: Contrastive Language-Image Pre-training (Karşıt Dil-Görsel Ön Eğitimi); eşleştirilmiş web verileri üzerinde karşıt bir hedef kullanarak görsel ve metin kodlayıcıları ortaklaşa eğiten bir çerçeve.
WIT: WebImageText; OpenAI tarafından 500.000 sorgu terimi kullanılarak internet kaynaklarından toplanan 400 milyon (görsel, metin) çiftinden oluşan veri kümesi.
Zero-Shot Transfer: Sıfır atışlı aktarım; bir modeli, hedef görev üzerinde parametreleri güncellemeden, yalnızca doğal dil kavram tanımlarını kullanarak daha önce görülmemiş veri kümeleri ve görevlerde değerlendirme yöntemi.
Prompt Engineering: İstem mühendisliği; ön eğitim metin dağılımı açığını kapatmak için sınıf adlarını doğal dil bağlam şablonlarına (ör. 'A photo of a {label}, a type of pet.') dönüştürme işlemi.
Prompt Ensembling: İstem topluluğu; sınıflandırma benzerliğini hesaplamadan önce aynı sınıf için birden fazla farklı bağlam isteminden üretilen metin gömme vektörlerinin ortalamasını alma yöntemi.
Effective Robustness: Etkili sağlamlık; standart temel ölçekleme eğilimlerine göre dağılım içi performanstan beklenenin ötesinde dağılım dışı doğrulukta elde edilen gelişmeler.
Linear Probe: Doğrusal sondalama; temsil kalitesini ölçmek amacıyla dondurulmuş ön eğitimli öznitelik temsillerinin üzerine eklenip eğitilen denetimli, regülarize edilmiş bir doğrusal sınıflandırma katmanı.
Attention Pooling: Dikkat havuzlama; global ortalama havuzlanmış özniteliklere koşullandırılmış tek katmanlı çok başlı QKV dikkati olarak uygulanan, ResNet omurgaları için modifiye edilmiş uzamsal havuzlama katmanı.

Sorular

CLIP, görsel altyazı üretimi yerine neden karşıt öğrenmeyi (contrastive learning) tercih etti?

Üretken altyazılama modelleri, altyazı çeşitliliğinin yüksek olması nedeniyle büyük miktarda hesaplama gücü gerektiren kesin metin belirteçlerini tahmin etmeye çalışır. Karşıt öğrenme ise tüm metinleri görsellerle eşleştirmeye dayalı daha basit bir vekil görevi çözer; kelime çantası tahminine göre 4 kat, üretken modellere göre ise bir mertebeden daha fazla hesaplama verimliliği sağlar.

CLIP'te test anında sıfır atışlı sınıflandırma nasıl çalışır?

Her aday sınıf etiketi bir metin istemi şablonuna yerleştirilir ve metin kodlayıcı aracılığıyla gömülür. Bu normalize edilmiş gömmeler, kosinüs benzerliği ve softmax aracılığıyla normalize edilmiş görsel gömmelerine karşı değerlendirilen dinamik bir doğrusal sınıflandırıcının sabit ağırlık vektörleri olarak işlev görür.

Sıfır atışlı CLIP, dağılım kaymalarına karşı neden denetimli ImageNet modellerinden daha sağlamdır?

Denetimli ImageNet modelleri sıklıkla ImageNet'in görsel dağılımına özgü yanıltıcı korelasyonları ve yüzeysel istatistikleri ezberler. Sıfır atışlı CLIP, hedef eğitim dağılımında ince ayar yapmaktan kaçınır; bu da ImageNet-A, ObjectNet ve ImageNet-R gibi dağılımı kaymış veri kümelerinde değerlendirildiğinde performans açığını büyük ölçüde kapatır.

CLIP'in güçlü sıfır atışlı kıyaslama sonuçları, eğitim kümesiyle olan veri çakışmasından mı kaynaklanıyor?

Hayır. Veri tekilleştirme analizleri, 35 alt veri kümesi genelinde yalnızca %2,2'lik bir medyan çakışma tespit etmiştir. Çakışan örneklerin çıkarılması, değerlendirme doğruluğunu nadiren %0,1'den fazla değiştirmiş; tespit edilen maksimum artış ise Birdsnap üzerinde sadece %0,6 olmuştur.

Bu sayfadaki açıklama yapay zekâ tarafından makaleden yazılmıştır ve hata içerebilir. Ayrıntılar için makaleyi okuyun.

Çeviri ve yapay zekâ ile oku