Learning Transferable Visual Models From Natural Language Supervision

Alec Radford; Jong Wook Kim; Chris Hallacy; Aditya Ramesh; Gabriel Goh; Sandhini Agarwal; Girish Sastry; Amanda Askell; Pamela Mishkin; Jack Clark; Gretchen Krueger; Ilya Sutskever

Статьи · arXiv 2103.00020

Learning Transferable Visual Models From Natural Language Supervision

Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever

Опубликовано 2021-02-26cs.CVcs.LG arXiv PDF

Читать с переводом и ИИ

Кратко в трёх строках

🎯 Стандартные системы компьютерного зрения зависят от фиксированных наборов меток, требующих дорогой разметки, и плохо обобщаются на новые визуальные концепты.
🔧 Contrastive Language-Image Pre-training (CLIP) совместно обучает энкодеры изображений и текста максимизировать косинусное сходство пар с помощью симметричной cross-entropy loss.
📈 Достигает 76.2% top-1 точности модели ResNet-50 с учителем на ImageNet в режиме zero-shot без использования 1.28M размеченных примеров датасета.

Аннотация

Современные системы компьютерного зрения обучаются предсказывать фиксированный набор заранее определенных категорий объектов. Такая ограниченная форма контроля снижает их универсальность и практичность, поскольку для выделения любого нового визуального концепта требуются дополнительные размеченные данные. Обучение непосредственно на неразмеченном тексте, описывающем изображения, выступает многообещающей альтернативой с более широким источником данных. Мы демонстрируем, что простая задача предобучения — определение соответствия между подписью и изображением — является эффективным и масштабируемым способом изучения SOTA-представлений изображений с нуля на наборе данных из 400 миллионов пар (изображение, текст), собранных из интернета. После предобучения естественный язык используется для обращения к изученным визуальным концептам (или описания новых), что обеспечивает zero-shot перенос модели на последующие задачи. Мы изучаем эффективность этого подхода путем тестирования на более чем 30 существующих датасетах компьютерного зрения, охватывающих такие задачи, как OCR, распознавание действий на видео, геолокация и различные виды детальной классификации объектов. Модель успешно переносится на большинство задач и часто конкурирует с бейзлайнами с полным учителем без необходимости дообучения на конкретных датасетах. Например, мы достигаем точности оригинальной ResNet-50 на ImageNet в режиме zero-shot без использования каких-либо из 1,28 миллиона обучающих примеров. Код и веса предобученных моделей доступны по адресу https://github.com/OpenAI/CLIP.

Оригинальная аннотация (англ.)

State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.

Разбор статьи

Проблема и мотивация

Передовые модели компьютерного зрения традиционно опираются на краудсорсинговые бенчмарки классификации с закрытым набором классов, такие как ImageNet. Эта парадигма с фиксированными метками ограничивает их применимость: распознавание любого концепта за пределами целевого словаря требует сбора и разметки новых данных. В то же время обработка естественного языка успешно перешла к независимой от задач предварительной подготовке непосредственно на текстах масштаба интернета (например, GPT-3), создавая модели, способные к zero-shot обобщению через текстовые интерфейсы. Авторы исследуют, может ли масштабирование обучения с текстовым контролем на интернет-данных дать визуальные представления, которые эффективно обобщаются на широкий спектр задач компьютерного зрения без специализированного дообучения с учителем.

Ключевые идеи

Обучение под контролем естественного языка: Использование спарсенных из интернета пар (изображение, текст) в качестве обучающего сигнала связывает визуальные признаки напрямую с богатой семантикой языка в обход дискретной разметки «1 из N».
Контрастивное обучение для эффективности: Посимвольная генерация текста (генерация описаний) требует колоссальных вычислений. Постановка задачи как контрастивного сопоставления — различения истинных пар (изображение, текст) и неверных пар внутри мини-батча — оказывается в 4 раза эффективнее по выборке, чем предсказание мешка слов (bag-of-words), и значительно быстрее генеративных моделей.
Zero-Shot классификация как динамические линейные классификаторы: Классы целевого датасета прогоняются через текстовый энкодер в векторы признаков. Эти векторы служат весами динамического линейного классификатора для эмбеддингов изображений.
Инженерия и ансамблирование промптов: Zero-shot точность чувствительна к синтаксису и контексту промптов. Обертывание названий классов в полные предложения (например, «A photo of a {label}.») и ансамблирование нескольких вариантов промптов увеличивает точность zero-shot переноса на ImageNet примерно на 5 процентных пунктов.

Метод (с ключевыми формулами)

CLIP формирует мультимодальное пространство эмбеддингов путем совместного обучения энкодера изображений $f_{image}$ и энкодера текста $f_{text}$ на датасете из 400 миллионов спарсенных из сети пар (изображение, текст) (WIT).

Извлечение признаков и проекция: Для мини-батча из $N$ пар «изображение-текст» $(I_{i}, T_{i})$ , где $i \in {1, \dots, N}$ , каждый энкодер проецирует входы в общее пространство размерности $d$ с помощью линейных проекций $W_{i}$ и $W_{t}$ : $I_{i}^{e} = \frac{f _{image} ( I _{i} ) W _{i}}{∥ f _{image} ( I _{i} ) W _{i} ∥ _{2}}, T_{j}^{e} = \frac{f _{text} ( T _{j} ) W _{t}}{∥ f _{text} ( T _{j} ) W _{t} ∥ _{2}}$
Матрица сходства: Логиты вычисляются через масштабированное косинусное сходство: $S_{i, j} = \frac{⟨ I _{i}^{e} , T _{j}^{e} ⟩}{τ}$ где $τ$ — обучаемый параметр температуры с начальным значением 0.07, ограниченный для предотвращения масштабирования логитов выше 100.
Симметричная функция потерь кросс-энтропии: Общая функция потерь представляет собой среднее потерь классификации «изображение-в-текст» и «текст-в-изображение» по матрице пар $N \times N$ : $L = \frac{1}{2} (- \frac{1}{N} i = 1 \sum N lo g \frac{exp ( S _{i, i} )}{\sum _{j = 1}^{N} exp ( S _{i, j} )} - \frac{1}{N} j = 1 \sum N lo g \frac{exp ( S _{j, j} )}{\sum _{i = 1}^{N} exp ( S _{i, j} )})$
Zero-Shot инференс: Для датасета с $K$ классами текстовые шаблоны (например, «a photo of a {class_name}») кодируются в $w_{k} = T_{k}^{e}$ . Для тестового изображения $x$ предсказанные вероятности рассчитываются как: $p (y = k ∣ x) = \frac{exp (⟨ I _{x}^{e} , w _{k} ⟩ / τ )}{\sum _{j = 1}^{K} exp (⟨ I _{x}^{e} , w _{j} ⟩ / τ )}$

Результаты (с ключевыми цифрами)

Zero-Shot на ImageNet: Модель CLIP (ViT-L/14@336px) достигает 76.2% top-1 точности (и 95% top-5 точности) в режиме zero-shot на ImageNet, сравниваясь с оригинальной ResNet-50 с учителем без использования 1,28 миллиона обучающих изображений.
Zero-Shot против бейзлайна с учителем: При оценке на 27 прикладных датасетах zero-shot CLIP превосходит линейный классификатор (linear probe), обученный с полным учителем поверх стандартных признаков ResNet-50, на 16 из 27 наборов данных.
Сравнение в Few-Shot режиме: Zero-shot CLIP соответствует средней производительности 4-shot линейного классификатора, обученного на тех же признаках CLIP, и конкурирует с 16-shot моделью BiT-M ResNet-152x2.
Качество представлений по линейному тесту: При оценке замороженных представлений с помощью линейных проб лучшая модель CLIP превосходит Noisy Student EfficientNet-L2 на 21 из 27 датасетов, показывая отличные результаты в OCR, распознавании действий на видео (Kinetics-700: +14.5% по сравнению с ResNet-50) и геолокации.
Устойчивость к сдвигу распределения: На 7 датасетах с естественным сдвигом распределения (ImageNetV2, ImageNet-R, ImageNet-A, ObjectNet и др.) zero-shot CLIP сокращает падение точности между исходным и смещенным распределениями на величину до 75% по сравнению со стандартными моделями, обученными на ImageNet.

Ограничения и открытые вопросы

Абстрактные, специализированные и систематические задачи: Zero-shot CLIP испытывает серьезные трудности со счетом объектов (CLEVRCounts), задачами с тонкой дифференциацией признаков (FGVCAircraft, Flowers102) и узкоспециализированными доменами, редко встречающимися в веб-текстах (детекция опухолей на PatchCamelyon, оценка расстояний на KITTI).
Действительно вневыборочные данные (OOD): На рукописных цифрах MNIST zero-shot CLIP достигает точности лишь 88% — уступая даже логистической регрессии на сырых пикселях — что демонстрирует: CLIP скорее обходит проблему хрупкости к смещениям за счет объема данных, чем решает ее концептуально.
Вычислительные требования: Согласно текущим трендам масштабирования, для достижения общего SOTA уровня среди систем с учителем на всех бенчмарках исключительно в режиме zero-shot потребуется увеличение вычислительных мощностей примерно в 1000 раз.
Социальные предубеждения и дениграция: Анализ с использованием бенчмарка FairFace выявил выраженные диспропорции в ошибках: модель чаще относила темнокожих людей и молодежь к категориям, связанным с преступностью или не являющимся людьми, что сильно зависит от формулировок классов и установленных порогов.

Ключевые термины

CLIP: Contrastive Language-Image Pre-training; подход совместного предобучения энкодеров изображений и текста с использованием контрастивной функции потерь на парных интернет-данных.
WIT: WebImageText; собранный OpenAI датасет из 400 миллионов пар (изображение, текст), полученных из веб-источников по 500 000 поисковым запросам.
Zero-Shot Transfer: Оценка модели на неизвестных ранее наборах данных и задачах с использованием текстовых описаний концептов без обновления весов под целевую задачу.
Prompt Engineering: Формулирование названий классов в виде текстовых шаблонов с контекстом (например, «A photo of a {label}, a type of pet.») для преодоления разрыва с текстовым распределением предобучения.
Prompt Ensembling: Усреднение векторных текстовых представлений, полученных из нескольких различных контекстных промптов для одного и того же класса, перед расчетом матрицы сходства.
Effective Robustness: Прирост точности на данных со сдвигом распределения (out-of-distribution), превышающий ожидания, основанные на точности на исходном распределении согласно стандартным трендам масштабирования.
Linear Probe: Обучаемый с учителем регуляризованный линейный слой классификации, накладываемый поверх замороженных предобученных представлений для оценки их информативности.
Attention Pooling: Модифицированный слой пространственного объединения признаков для архитектур ResNet, реализованный как однослойный multi-head QKV attention, принимающий на вход результат global average pooling.

Вопросы

Почему в CLIP выбрали контрастивное обучение вместо генерации подписей к изображениям?

Генеративные модели пытаются предсказать точную последовательность токенов, что требует колоссальных вычислительных ресурсов из-за огромной вариативности текстов. Контрастивное обучение решает более простую прокси-задачу сопоставления текста с изображением, демонстрируя 4-кратное преимущество по эффективности выборки перед предсказанием мешка слов и более чем на порядок превосходя генеративные модели по скорости.

Как устроен zero-shot инференс в CLIP во время тестирования?

Каждая метка класса-кандидата подставляется в контекстный текстовый шаблон и кодируется с помощью текстового энкодера. Эти нормализованные векторные представления служат фиксированными весами динамического линейного классификатора, который сопоставляется с нормализованными эмбеддингами изображений через косинусное сходство и софтмакс.

Почему zero-shot CLIP более устойчив к сдвигам распределения, чем модели ImageNet с учителем?

Модели, обученные на ImageNet с учителем, склонны запоминать ложные корреляции и поверхностные артефакты, специфичные для визуального распределения ImageNet. Zero-shot CLIP не подгоняется под обучающее распределение целевого датасета, что существенно сокращает падение качества при оценке на смещенных выборках, таких как ImageNet-A, ObjectNet и ImageNet-R.

Объясняются ли высокие результаты zero-shot в CLIP пересечением обучающей и тестовой выборок?

Нет. Анализ дедупликации данных выявил медианное пересечение всего в 2.2% по 35 исследованным датасетам. Удаление дублирующихся примеров почти не повлияло на точность (изменение редко превышало 0.1%), а максимальный зафиксированный прирост составил лишь 0.6% на датасете Birdsnap.

Обзор на этой странице написан ИИ по тексту статьи и может содержать ошибки. Подробности смотрите в самой статье.

Читать с переводом и ИИ