Learning Transferable Visual Models From Natural Language Supervision

Guía de lectura

Problema y motivación

Los modelos de visión del estado del arte dependen tradicionalmente de pruebas de referencia de clasificación de conjunto cerrado con etiquetas generadas por multitudes, tales como ImageNet. Este paradigma de etiquetas fijas restringe su usabilidad: reconocer cualquier concepto ajeno al vocabulario objetivo exige recopilar y anotar nuevos datos. Por el contrario, el procesamiento del lenguaje natural había migrado con éxito hacia un preentrenamiento agnóstico a la tarea directamente sobre texto a escala web (por ejemplo, GPT-3), produciendo modelos capaces de generalizar en zero-shot mediante interfaces de texto a texto. Los autores investigan si escalar la supervisión por lenguaje natural en datos a escala web puede generar representaciones visuales que generalicen ampliamente a diversas tareas de visión por computadora sin requerir un ajuste fino supervisado específico para cada conjunto de datos.

Ideas clave

• Aprendizaje a partir de supervisión por lenguaje natural: Tratar pares (imagen, texto) extraídos de la web como señales de entrenamiento vincula directamente las características visuales con la rica semántica del lenguaje natural, evitando el etiquetado discreto de clases 1-de-N.
• Aprendizaje contrastivo para mayor eficiencia: Predecir tokens de texto exactos (generación de subtítulos) resulta computacionalmente ineficiente. Formular el objetivo como una tarea de emparejamiento contrastivo —distinguir pares verdaderos (imagen, texto) de pares incorrectos dentro de un minibatch— demuestra ser 4 veces más eficiente en muestras que la predicción basada en bolsa de palabras (bag-of-words) y mucho más rápida que el modelado generativo.
• Clasificación zero-shot como clasificadores lineales dinámicos: Las clases del conjunto de datos objetivo se procesan a través del codificador de texto para transformarse en vectores de características. Estos vectores sirven como pesos para un clasificador lineal zero-shot frente a los embeddings de las imágenes.
• Ingeniería de prompts y ensamblado (prompt ensembling): El rendimiento zero-shot es sensible a la sintaxis y al contexto del prompt. Enmarcar los nombres de las clases en oraciones completas (por ejemplo, "A photo of a {label}.") y realizar un ensamblado a partir de múltiples variaciones de prompts mejora la transferencia zero-shot en aproximadamente 5 puntos en ImageNet.

Método (con las ecuaciones clave)

CLIP construye un espacio de embedding multimodal mediante el entrenamiento conjunto de un codificador de imágenes $f_{\text{image}}$ y un codificador de texto $f_{\text{text}}$ sobre un conjunto de datos de 400 millones de pares (imagen, texto) extraídos de internet (WIT).

1. Extracción y proyección de características: Dado un minibatch de $N$ pares imagen-texto $(I_i,T_i)$ para $i\in \{1,\dots ,N\}$, cada codificador mapea las entradas a una dimensión conjunta $d$ mediante proyecciones lineales $W_i$ y $W_t$: $$I_i^e=\frac{f_{\text{image}}(I_i)W_i}{\Vert f_{\text{image}}(I_i)W_i{\Vert }_2},T_j^e=\frac{f_{\text{text}}(T_j)W_t}{\Vert f_{\text{text}}(T_j)W_t{\Vert }_2}$$

2. Matriz de similitud: Los logits se calculan mediante la similitud del coseno escalada: $$S_{i,j}=\frac{⟨I_i^e,T_j^e⟩}{\tau }$$ donde $\tau$ es un parámetro de temperatura aprendible inicializado en 0.07, acotado para evitar que la escala de los logits supere 100.

3. Pérdida simétrica de entropía cruzada: La pérdida total es el promedio de las pérdidas de clasificación de imagen a texto y de texto a imagen sobre la matriz de emparejamiento de $N\times N$: $$\mathcal{L}=\frac{1}{2}\left(-\frac{1}{N}\sum _{i=1}^N\log \frac{\exp (S_{i,i})}{{\sum }_{j=1}^N\exp (S_{i,j})}-\frac{1}{N}\sum _{j=1}^N\log \frac{\exp (S_{j,j})}{{\sum }_{i=1}^N\exp (S_{i,j})}\right)$$

4. Inferencia zero-shot: Para un conjunto de datos con $K$ clases, las plantillas de texto (por ejemplo, "a photo of a {class_name}") se codifican en $w_k=T_k^e$. Para una imagen de prueba $x$, las probabilidades predichas son: $$p(y=k\mid x)=\frac{\exp (⟨I_x^e,w_k⟩/\tau )}{{\sum }_{j=1}^K\exp (⟨I_x^e,w_j⟩/\tau )}$$

Resultados (con las cifras más importantes)

• ImageNet zero-shot: CLIP (ViT-L/14@336px) alcanza una precisión top-1 del 76.2% (y 95% top-5) en modo zero-shot en ImageNet, igualando al ResNet-50 supervisado original sin emplear sus 1.28 millones de imágenes de entrenamiento.
• Zero-shot frente a la línea base supervisada: Al evaluarse en 27 conjuntos de datos derivados, CLIP zero-shot supera a un sondeo lineal (linear probe) totalmente supervisado sobre características estándar de ResNet-50 en 16 de los 27 conjuntos de datos.
• Comparación en few-shot: CLIP zero-shot iguala el rendimiento promedio de un clasificador lineal 4-shot entrenado exactamente sobre las mismas representaciones de CLIP, y compite con un modelo BiT-M ResNet-152x2 de 16-shot.
• Calidad de representación mediante linear probe: Al evaluar las representaciones congeladas con linear probes supervisados, el mejor modelo de CLIP supera a Noisy Student EfficientNet-L2 en 21 de 27 conjuntos de datos, destacándose en OCR, reconocimiento de acciones en video (Kinetics-700: +14.5% sobre ResNet-50) y geolocalización.
• Robustez ante cambios de distribución: En 7 conjuntos de datos con cambios de distribución naturales (ImageNetV2, ImageNet-R, ImageNet-A, ObjectNet, etc.), CLIP zero-shot reduce la caída de precisión entre distribuciones conocidas (in-distribution) y fuera de distribución (out-of-distribution) hasta en un 75% en comparación con los modelos estándar entrenados en ImageNet.

Limitaciones y preguntas abiertas

• Tareas abstractas, especializadas y sistemáticas: CLIP zero-shot tiene serias dificultades con el conteo de elementos (CLEVRCounts), tareas de granularidad fina con diferencias sutiles (FGVCAircraft, Flowers102) y tareas de dominio específico poco comunes en textos web (detección de tumores en PatchCamelyon; estimación de distancia en KITTI).
• Datos verdaderamente fuera de distribución: En los dígitos manuscritos de MNIST, CLIP zero-shot solo logra un 88% de precisión —por debajo de una regresión logística sobre píxeles brutos—, lo que demuestra que CLIP elude la fragilidad fuera de distribución en lugar de resolverla de raíz.
• Requisitos de cómputo: Lograr el estado del arte supervisado general en todas las pruebas de rendimiento puramente en modo zero-shot requeriría, según las tendencias de escalado actuales, un incremento estimado de 1000x en recursos de cómputo.
• Sesgos sociales y denigración: Pruebas con la referencia FairFace revelan patrones de fallo marcadamente dispares, tales como clasificaciones erróneas no humanas y vinculadas con el crimen orientadas hacia personas negras y jóvenes, lo cual varía fuertemente según el diseño de las etiquetas de clase y los umbrales establecidos.