A Simple Framework for Contrastive Learning of Visual Representations

Ting Chen; Simon Kornblith; Mohammad Norouzi; Geoffrey Hinton

Paper · arXiv 2002.05709

A Simple Framework for Contrastive Learning of Visual Representations

Ting Chen, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton

Veröffentlicht 2020-02-13cs.LGcs.CVstat.ML arXiv PDF

Mit Übersetzung und KI lesen

Zusammenfassung in drei Zeilen

🎯 Bisherige kontrastive selbstüberwachte Methoden basierten auf komplexen Architekturen, Memory Banks oder speziellen Netzwerken zur Kontextaggregation.
🔧 SimCLR maximiert die latente Übereinstimmung unterschiedlich augmentierter Bildansichten mittels Standard-ResNets, nichtlinearem Projektionskopf, großen Mini-Batches für Negativbeispiele und NT-Xent-Loss.
📈 Ein linearer Klassifikator auf SimCLR ResNet-50 (4×) erreicht 76,5 % Top-1-Genauigkeit auf ImageNet; Fine-Tuning mit nur 1 % der Labels erzielt 85,8 % Top-5-Genauigkeit.

Abstract

Dieses Papier stellt SimCLR vor: ein einfaches Framework für das kontrastive Lernen visueller Repräsentationen. Wir vereinfachen kürzlich vorgeschlagene kontrastive selbstüberwachte Lernalgorithmen, ohne dass spezialisierte Architekturen oder eine Memory Bank erforderlich sind. Um zu verstehen, was es den kontrastiven Vorhersageaufgaben ermöglicht, nützliche Repräsentationen zu lernen, untersuchen wir die Hauptkomponenten unseres Frameworks systematisch. Wir zeigen: (1) Die Komposition von Datenaugmentierungen spielt eine entscheidende Rolle bei der Definition effektiver Vorhersageaufgaben, (2) die Einführung einer lernbaren nichtlinearen Transformation zwischen der Repräsentation und dem kontrastiven Verlust verbessert die Qualität der gelernten Repräsentationen erheblich, und (3) kontrastives Lernen profitiert im Vergleich zum überwachten Lernen von größeren Batch-Größen und mehr Trainingsschritten. Durch die Kombination dieser Erkenntnisse können wir frühere Methoden für selbstüberwachtes und semi-überwachtes Lernen auf ImageNet deutlich übertreffen. Ein linearer Klassifikator, der auf den von SimCLR gelernten selbstüberwachten Repräsentationen trainiert wurde, erreicht eine Top-1-Genauigkeit von 76,5 %, was einer relativen Verbesserung von 7 % gegenüber dem bisherigen Stand der Technik entspricht und der Leistung eines überwachten ResNet-50 gleichkommt. Bei der Feinabstimmung auf nur 1 % der Labels erreichen wir eine Top-5-Genauigkeit von 85,8 % und übertreffen damit AlexNet mit 100-mal weniger Labels.

Original-Abstract (Englisch)

This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive self-supervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by SimCLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-of-the-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100X fewer labels.

Leseleitfaden

Problemstellung und Motivation

Das Lernen visueller Repräsentationen ohne menschliche Aufsicht stützte sich bisher meist auf generative Modelle oder heuristische Pretext-Aufgaben (z. B. Jigsaw-Puzzles, Rotationsvorhersage, Kolorierung). Kontrastive Lernverfahren erzielten bessere Ergebnisse, führten jedoch häufig spezialisierte Architekturen zur Kontextaggregation (wie PixelCNNs in CPC), restriktive rezeptive Felder oder explizite Memory Banks (wie MoCo oder InstDisc) zur Bereitstellung negativer Paare ein. SimCLR adressiert diese Komplexität und zeigt, dass ein einfaches Framework mit Standard-Encodern, Negativpaaren innerhalb des Batches und einem systematischen Augmentierungsdesign frühere Methoden ohne architektonische Umwege übertreffen kann.

Kernideen

Augmentierungskomposition definiert die Vorhersageaufgabe: Anstatt Netzwerkarchitekturen anzupassen, um räumliche Kontextvorhersagen zu erzwingen, verhindert die stochastische Komposition von Datenaugmentierungen – insbesondere Random Cropping kombiniert mit Farbverzerrung – Abkürzungen (wie das Abgleichen von Farbhistogrammen) und zwingt das Netzwerk, semantische Merkmale zu extrahieren.
Stärkere Augmentierungen nützen dem kontrastiven Lernen: Augmentierungen wie aggressives Color Jittering, die die Leistung beim überwachten Training beeinträchtigen, verbessern das selbstüberwachte kontrastive Lernen signifikant.
Nichtlinearer Projektionskopf: Das Einfügen eines kleinen MLP $g (\cdot)$ zwischen der Encoder-Repräsentation $h$ und dem kontrastiven Verlust verbessert die Repräsentationsqualität. Da $z = g (h)$ darauf trainiert wird, invariant gegenüber Transformationen zu sein, bleiben durch das Verwerfen von $g (\cdot)$ nach dem Training transformationssensitive Informationen in $h$ erhalten, die für Downstream-Aufgaben vorteilhaft sind.
Skalierung von Negativbeispielen über große Batches und langes Training: Anstelle einer expliziten Memory Bank nutzt SimCLR große Batch-Größen (bis zu 8192), optimiert mit LARS, was Tausende von Negativpaaren innerhalb des Batches pro Positivpaar liefert.
Global Batch Normalization: Um Abkürzungen zu vermeiden, bei denen das Netzwerk geräteinterne Batch-Normalization-Statistiken nutzt, um Positivpaare zu identifizieren, werden Mittelwert und Varianz der Batch-Normalisierung über alle verteilten Beschleuniger hinweg synchronisiert.

Methode

Für einen Mini-Batch von $N$ Bildern wird jedes Beispiel $x_{k}$ durch zwei unterschiedliche stochastische Augmentierungen $t, t^{'} \sim T$ transformiert, was zu einem positiven Paar $(\tilde{x}_{i}, \tilde{x}_{j})$ unter $2 N$ augmentierten Beispielen führt.

Basis-Encoder: $h_{i} = f (\tilde{x}_{i}) = ResNet (\tilde{x}_{i})$ , der Repräsentationen aus der Average-Pooling-Schicht extrahiert.
Projektionskopf: $z_{i} = g (h_{i}) = W^{(2)} σ (W^{(1)} h_{i})$ , der Repräsentationen über eine einzelne verborgene Schicht mit ReLU-Aktivierung $σ$ in einen 128-dimensionalen latenten Raum abbildet.
NT-Xent Loss: Die Kosinus-Ähnlichkeit zwischen normalisierten Vektoren ist definiert als $sim (u, v) = u^{⊤} v / (∥ u ∥ ∥ v ∥)$ . Für ein positives Paar $(i, j)$ lautet der Verlust: $ℓ_{i, j} = - lo g \frac{exp ( sim ( z _{i} , z _{j} ) / τ )}{\sum _{k = 1}^{2 N} \mathbbm 1 _{[k \neq = i]} exp ( sim ( z _{i} , z _{k} ) / τ )}$ wobei $τ$ der Temperatur-Hyperparameter ist und $\mathbbm 1_{[k \neq = i]}$ genau dann $1$ ergibt, wenn $k \neq = i$ ist. Der Gesamtverlust $L$ mittelt über alle $2 N$ Paare im Batch.

Nach dem Training wird $g (\cdot)$ verworfen und $h$ für die lineare Downstream-Klassifikation oder das Fine-Tuning verwendet.

Ergebnisse

Lineare Evaluation auf ImageNet: SimCLR mit einem Standard-ResNet-50 erreicht 69,3 % Top-1-Genauigkeit (gleichauf mit oder besser als vorherige selbstüberwachte Modelle). Die Skalierung auf ResNet-50 ( $4 \times$ ) erreicht 76,5 % Top-1-Genauigkeit und zieht damit mit einem voll überwachten Standard-ResNet-50 gleich.
Semi-überwachtes Fine-Tuning: Beim Fine-Tuning auf nur 1 % der ImageNet-Labels erreicht ResNet-50 ( $4 \times$ ) eine Top-5-Genauigkeit von 85,8 % (und 63,0 % Top-1) und übertrifft damit AlexNet, das auf 100 % der Labels trainiert wurde.
Transfer Learning: Auf 12 Klassifikationsdatensätzen für natürliche Bilder erreicht oder übertrifft feinabgestimmtes SimCLR ResNet-50 ( $4 \times$ ) die überwachte Baseline bei 10 von 12 Datensätzen.
Ablationsstudie zum Projektionskopf: Die Verwendung eines nichtlinearen Projektionskopfes übertrifft eine lineare Projektion um +3 % und den Verzicht auf eine Projektion um >10 % bei der linearen Evaluation auf ImageNet.

Grenzen und offene Fragen

Hoher Rechenaufwand: Das Training erfordert sehr große Mini-Batch-Größen (z. B. 4096 oder 8192) und lange Trainingszeitpläne (bis zu 1000 Epochen), um Spitzenwerte zu erzielen, was große Beschleuniger-Cluster (32–128 TPU-Kerne) voraussetzt.
Architekturunterschiede beim Transfer: Während ResNet-50 ( $4 \times$ ) bei Transfer-Benchmarks mit überwachten Baselines gleichzieht oder sie übertrifft, bleibt das Standard-ResNet-50 bei allen linearen Evaluationsaufgaben hinter den überwachten Baselines zurück.
Informations-Trade-off: Der Mechanismus, durch den der Projektionskopf transformationsspezifische Informationen in $h$ bewahrt, während er in $z$ Invarianz erzwingt, basiert auf empirischen Heuristiken statt auf einem analytischen Framework.

Schlüsselbegriffe

SimCLR: Ein einfaches Framework für das kontrastive Lernen visueller Repräsentationen mittels Datenaugmentierungen, Basis-Encoder, nichtlinearem Projektionskopf und temperaturkalibriertem normalisiertem Kreuzentropie-Verlust.
NT-Xent: Der Normalized Temperature-scaled Cross Entropy Loss, der temperaturkalibrierte Kosinus-Ähnlichkeiten über Negativ- und Positivpaare innerhalb eines Batches berechnet.
Projection Head (Projektionskopf): Ein kleines mehrlagiges Perzeptron mit einer verborgenen Schicht, das während des Vortrainings nach dem Basis-Encoder eingesetzt und vor Downstream-Evaluationen verworfen wird.
Global BN: Batch-Normalisierung, bei der Mittelwert und Varianz über alle verteilten Recheneinheiten aggregiert werden, um zu verhindern, dass das Modell geräteinterne Statistiken als Informationsabkürzung nutzt.
Linear Evaluation Protocol (Lineares Evaluationsprotokoll): Eine Standard-Evaluationsmethode im selbstüberwachten Lernen, bei der ein linearer Klassifikator auf einem eingefrorenen Feature-Extractor trainiert wird, um die Repräsentationsqualität zu messen.
LARS: Layer-wise Adaptive Rate Scaling: Ein Optimierer zur Stabilisierung des Trainings bei der Skalierung auf sehr große Batch-Größen.

Fragen

Warum ist Color Jittering notwendig, wenn Random Cropping verwendet wird?

Zufällige Bildausschnitte (Crops) desselben Bildes weisen meist sehr ähnliche Farbhistogramme auf. Ohne Farbverzerrung lernt das Modell leicht, positive Paare rein über den Farbabgleich zu identifizieren, anstatt hochgradig semantische Merkmale zu lernen.

Warum ist die Repräsentation vor dem Projektionskopf ($h$) besser als danach ($z$)?

Der kontrastive Verlust trainiert die Ausgabe $z$ darauf, vollständig invariant gegenüber den angewendeten Datenaugmentierungen zu sein. Der nichtlineare Projektionskopf $g$ fängt diesen Verlust transformationsspezifischer Details (wie Farbe und Ausrichtung) auf, sodass reichhaltigere und besser generalisierbare Informationen in $h$ verbleiben.

Wie vermeidet SimCLR die Nutzung einer Memory Bank?

SimCLR nutzt große Mini-Batch-Größen (von 256 bis zu 8192). Eine Batch-Größe von $N$ liefert direkt innerhalb des Batches $2 (N - 1)$ Negativbeispiele pro Positivpaar, wodurch eine separate Memory Bank oder ein Momentum-Encoder überflüssig wird.

Warum benötigt SimCLR Global Batch Normalization?

Da beide Ansichten eines positiven Paares typischerweise auf demselben Beschleunigergerät verarbeitet werden, entsteht bei lokaler Standard-Batch-Normalisierung eine Informationsabkürzung, bei der geräteinterne Statistiken die Probenidentität verraten. Die Aggregation der BN-Statistiken über alle Worker-Geräte hinweg eliminiert diese Abkürzung.

Die Übersicht auf dieser Seite wurde von einer KI aus dem Paper erstellt und kann Fehler enthalten. Details stehen im Paper.

Mit Übersetzung und KI lesen