Learning Transferable Visual Models From Natural Language Supervision

Leseleitfaden

Problem und Motivation

Moderne Vision-Modelle basieren traditionell auf Crowd-annotierten, geschlossenen Klassifikations-Benchmarks wie ImageNet. Dieses Paradigma fester Klassen schränkt ihre Verwendbarkeit ein: Um ein Konzept außerhalb des Zielvokabulars zu erkennen, müssen neue Daten gesammelt und annotiert werden. Im Gegensatz dazu hat sich die Verarbeitung natürlicher Sprache erfolgreich in Richtung aufgabenagnostischem Pre-Training direkt auf Web-Scale-Texten verlagert (z. B. GPT-3), wodurch Modelle entstanden sind, die zur Zero-Shot-Generalisierung über Text-zu-Text-Schnittstellen fähig sind. Die Autoren untersuchen, ob die Skalierung der Überwachung durch natürliche Sprache auf Daten im Web-Maßstab visuelle Repräsentationen hervorbringen kann, die über verschiedenste Computer-Vision-Aufgaben hinweg ohne datensatzspezifisches überwachtes Fine-Tuning breit generalisieren.

Kernideen

• Lernen aus Überwachung durch natürliche Sprache: Die Verwendung von aus dem Web gescrapten (Bild, Text)-Paaren als Trainingssignale verknüpft visuelle Merkmale direkt mit reichhaltiger natürlichsprachlicher Semantik und umgeht so diskrete 1-aus-N-Klassenlabels.
• Kontrastives Lernen für mehr Effizienz: Die Vorhersage exakter Text-Tokens (generatives Captioning) ist rechentechnisch ineffizient. Die Formulierung des Ziels als kontrastive Matching-Aufgabe – das Unterscheiden echter (Bild, Text)-Paare von inkorrekten Paaren innerhalb eines Minibatches – erweist sich als 4-mal sample-effizienter als Bag-of-Words-Vorhersagen und deutlich schneller als generative Modelle.
• Zero-Shot-Klassifikation als dynamische lineare Klassifikatoren: Klassen des Zieldatensatzes werden über den Text-Encoder in Merkmalsvektoren eingebettet. Diese Vektoren fungieren als Gewichte für einen linearen Zero-Shot-Klassifikator gegenüber den Bild-Embeddings.
• Prompt Engineering und Ensembling: Die Zero-Shot-Performanz reagiert sensibel auf Prompt-Syntax und -Kontext. Das Einbetten von Klassennamen in vollständige Sätze (z. B. "A photo of a {label}.") und das Ensembling über mehrere Prompt-Variationen verbessert den Zero-Shot-Transfer auf ImageNet um etwa 5 Prozentpunkte.

Methode (mit den wichtigsten Gleichungen)

CLIP konstruiert einen multimodalen Embedding-Raum durch das gemeinsame Training eines Bild-Encoders $f_{\text{image}}$ und eines Text-Encoders $f_{\text{text}}$ auf einem Datensatz von 400 Millionen aus dem Internet gescrapten (Bild, Text)-Paaren (WIT).

1. Merkmalsextraktion und Projektion: Gegeben ein Minibatch aus $N$ Bild-Text-Paaren $(I_i,T_i)$ für $i\in \{1,\dots ,N\}$, bildet jeder Encoder die Eingaben auf eine gemeinsame Dimension $d$ mit linearen Projektionen $W_i$ und $W_t$ ab: $$I_i^e=\frac{f_{\text{image}}(I_i)W_i}{\Vert f_{\text{image}}(I_i)W_i{\Vert }_2},T_j^e=\frac{f_{\text{text}}(T_j)W_t}{\Vert f_{\text{text}}(T_j)W_t{\Vert }_2}$$

2. Ähnlichkeitsmatrix: Die Logits werden mittels skalierter Kosinus-Ähnlichkeit berechnet: $$S_{i,j}=\frac{⟨I_i^e,T_j^e⟩}{\tau }$$ wobei $\tau$ ein lernbarer Temperaturparameter ist, der mit 0,07 initialisiert und gecroppt wird, um eine Skalierung der Logits über 100 hinaus zu verhindern.

3. Symmetrischer Cross-Entropy-Loss: Der Gesamtverlust ist der Mittelwert aus den Bild-zu-Text- und Text-zu-Bild-Klassifikationsverlusten über die $N\times N$-Paarungsmatrix: $$\mathcal{L}=\frac{1}{2}\left(-\frac{1}{N}\sum _{i=1}^N\log \frac{\exp (S_{i,i})}{{\sum }_{j=1}^N\exp (S_{i,j})}-\frac{1}{N}\sum _{j=1}^N\log \frac{\exp (S_{j,j})}{{\sum }_{i=1}^N\exp (S_{i,j})}\right)$$

4. Zero-Shot-Inferenz: Für einen Datensatz mit $K$ Klassen werden Textvorlagen (z. B. "a photo of a {class_name}") in $w_k=T_k^e$ kodiert. Für ein Testbild $x$ lauten die vorhergesagten Wahrscheinlichkeiten: $$p(y=k\mid x)=\frac{\exp (⟨I_x^e,w_k⟩/\tau )}{{\sum }_{j=1}^K\exp (⟨I_x^e,w_j⟩/\tau )}$$

Ergebnisse (mit den wichtigsten Zahlen)

• Zero-Shot ImageNet: CLIP (ViT-L/14@336px) erreicht Zero-Shot 76,2 % Top-1-Genauigkeit (und 95 % Top-5-Genauigkeit) auf ImageNet und schließt damit zum ursprünglichen überwachten ResNet-50 auf, ohne dessen 1,28 Millionen Trainingsbilder zu nutzen.
• Zero-Shot vs. überwachte Baseline: Bei der Evaluierung über 27 Downstream-Datensätze übertrifft Zero-Shot-CLIP einen voll überwachten linearen Probe auf Standard-ResNet-50-Merkmalen auf 16 von 27 Datensätzen.
• Few-Shot-Vergleich: Zero-Shot-CLIP entspricht der durchschnittlichen Leistung eines 4-Shot linearen Klassifikators, der auf denselben CLIP-Merkmalsrepräsentationen trainiert wurde, und konkurriert mit einem 16-Shot BiT-M ResNet-152x2-Modell.
• Repräsentationsqualität via Linear Probe: Bei der Evaluierung eingefrorener Repräsentationen mit überwachten linearen Probes übertrifft das beste CLIP-Modell Noisy Student EfficientNet-L2 auf 21 von 27 Datensätzen, mit herausragenden Ergebnissen in OCR, Video-Aktionserkennung (Kinetics-700: +14,5 % gegenüber ResNet-50) und Geo-Lokalisierung.
• Robustheit gegenüber Verteilungsverschiebungen (Distribution Shift): Über 7 Datensätze mit natürlichen Verteilungsverschiebungen hinweg (ImageNetV2, ImageNet-R, ImageNet-A, ObjectNet usw.) verringert Zero-Shot-CLIP den Genauigkeitsabfall zwischen In-Distribution und Out-of-Distribution im Vergleich zu standardmäßig auf ImageNet trainierten Modellen um bis zu 75 %.

Grenzen und offene Fragen

• Abstrakte, spezialisierte und systematische Aufgaben: Zero-Shot-CLIP schneidet bei Zählaufgaben (CLEVRCounts), feingranularen Aufgaben mit geringen Unterschieden (FGVCAircraft, Flowers102) und domänenspezifischen Aufgaben außerhalb typischer Webinhalte (Tumorerkennung auf PatchCamelyon; Distanzschätzung auf KITTI) deutlich schlechter ab.
• Echte Out-of-Distribution-Daten: Bei handgeschriebenen Ziffern (MNIST) erreicht Zero-Shot-CLIP lediglich 88 % Genauigkeit – schlechter als eine logistische Regression auf Rohpixeln –, was zeigt, dass CLIP die Anfälligkeit für Verteilungsverschiebungen eher umgeht als prinzipiell löst.
• Rechenaufwand: Um den allgemeinen überwachten State-of-the-Art rein über Zero-Shot über alle Benchmarks hinweg zu erreichen, ist nach aktuellen Skalierungstrends ein geschätzt 1000-facher Rechenaufwand nötig.
• Gesellschaftliche Vorurteile (Social Biases) und Diskriminierung: Untersuchungen mit dem FairFace-Benchmark offenbaren signifikante Verzerrungen bei Fehlklassifikationen, darunter nicht-menschliche und kriminalitätsbezogene Fehletikettierungen, die überproportional Schwarze Personen und jüngere Menschen betreffen und stark vom Entwurf der Klassenlabels und Schwellenwerten abhängen.