Learning Transferable Visual Models From Natural Language Supervision

Guia de leitura

Problema e motivação

Modelos de visão no estado da arte tradicionalmente dependem de benchmarks de classificação de conjunto fechado e anotados por humanos, como o ImageNet. Esse paradigma de rótulos fixos restringe sua usabilidade: reconhecer qualquer conceito fora do vocabulário-alvo exige a coleta e anotação de novos dados. Por outro lado, o processamento de linguagem natural migrou com sucesso para o pré-treinamento agnóstico à tarefa diretamente em texto em escala web (ex.: GPT-3), produzindo modelos capazes de generalização zero-shot por meio de interfaces de texto para texto. Os autores investigam se o escalonamento da supervisão por linguagem natural em dados na escala da web pode produzir representações visuais que generalizem amplamente através de tarefas de visão computacional sem a necessidade de ajuste fino (fine-tuning) supervisionado específico para cada conjunto de dados.

Ideias centrais

• Aprendizado a partir de Supervisão por Linguagem Natural: Tratar pares de (imagem, texto) coletados da web como sinais de treinamento conecta as características visuais diretamente à rica semântica da linguagem natural, contornando a rotulagem de classes discretas 1-de-N.
• Aprendizado Contrastivo para Eficiência: Prever tokens de texto exatos (geração de legendas) é computacionalmente dispendioso. Formular o objetivo como uma tarefa de correspondência contrastiva — distinguindo pares verdadeiros de (imagem, texto) de pares incorretos dentro de um minibatch — mostra-se 4x mais eficiente em termos de amostras do que a previsão por bag-of-words e muito mais rápida do que a modelagem generativa.
• Classificação Zero-Shot como Classificadores Lineares Dinâmicos: As classes do conjunto de dados-alvo são mapeadas pelo codificador de texto em vetores de características. Esses vetores atuam como pesos para um classificador linear zero-shot contra os embeddings das imagens.
• Engenharia e Ensembling de Prompts: O desempenho zero-shot é sensível à sintaxe e ao contexto do prompt. Inserir nomes de classes em frases completas (ex.: "A photo of a {label}.") e realizar o ensemble de múltiplas variações de prompts melhora a transferência zero-shot em cerca de 5 pontos no ImageNet.

Método (com as equações principais)

O CLIP constrói um espaço de embedding multimodal ao treinar conjuntamente um codificador de imagem $f_{\text{image}}$ e um codificador de texto $f_{\text{text}}$ em um conjunto de dados de 400 milhões de pares de (imagem, texto) extraídos da internet (WIT).

1. Extração e Projeção de Características: Dado um minibatch de $N$ pares imagem-texto $(I_i,T_i)$ para $i\in \{1,\dots ,N\}$, cada codificador mapeia as entradas para uma dimensão conjunta $d$ por meio de projeções lineares $W_i$ e $W_t$: $$I_i^e=\frac{f_{\text{image}}(I_i)W_i}{\Vert f_{\text{image}}(I_i)W_i{\Vert }_2},T_j^e=\frac{f_{\text{text}}(T_j)W_t}{\Vert f_{\text{text}}(T_j)W_t{\Vert }_2}$$

2. Matriz de Similaridade: Os logits são computados por meio da similaridade de cosseno escalonada: $$S_{i,j}=\frac{⟨I_i^e,T_j^e⟩}{\tau }$$ onde $\tau$ é um parâmetro de temperatura aprendível inicializado em 0,07, truncado para evitar que os logits ultrapassem 100.

3. Perda de Entropia Cruzada Simétrica: A perda total é a média das perdas de classificação imagem-para-texto e texto-para-imagem sobre a matriz de emparelhamento $N\times N$: $$\mathcal{L}=\frac{1}{2}\left(-\frac{1}{N}\sum _{i=1}^N\log \frac{\exp (S_{i,i})}{{\sum }_{j=1}^N\exp (S_{i,j})}-\frac{1}{N}\sum _{j=1}^N\log \frac{\exp (S_{j,j})}{{\sum }_{i=1}^N\exp (S_{i,j})}\right)$$

4. Inferência Zero-Shot: Para um conjunto de dados com $K$ classes, templates de texto (ex.: "a photo of a {class_name}") são codificados em $w_k=T_k^e$. Para uma imagem de teste $x$, as probabilidades previstas são: $$p(y=k\mid x)=\frac{\exp (⟨I_x^e,w_k⟩/\tau )}{{\sum }_{j=1}^K\exp (⟨I_x^e,w_j⟩/\tau )}$$

Resultados (com os números mais importantes)

• ImageNet Zero-Shot: O CLIP (ViT-L/14@336px) atinge 76,2% de acurácia top-1 (e 95% de acurácia top-5) em modo zero-shot no ImageNet, igualando a ResNet-50 original supervisionada sem usar nenhuma de suas 1,28 milhão de imagens de treinamento.
• Zero-Shot vs. Linha de Base Supervisionada: Avaliado em 27 conjuntos de dados downstream, o CLIP zero-shot supera um linear probe totalmente supervisionado sobre características de uma ResNet-50 padrão em 16 dos 27 conjuntos de dados.
• Comparação Few-Shot: O CLIP zero-shot iguala o desempenho médio de um classificador linear 4-shot treinado exatamente nas mesmas representações de características do CLIP, e rivaliza com um modelo BiT-M ResNet-152x2 de 16-shot.
• Qualidade da Representação com Linear Probe: Ao avaliar representações congeladas com linear probes supervisionados, o melhor modelo do CLIP supera o Noisy Student EfficientNet-L2 em 21 dos 27 conjuntos de dados, destacando-se em OCR, reconhecimento de ações em vídeo (Kinetics-700: +14,5% sobre a ResNet-50) e geolocalização.
• Robustez a Mudanças de Distribuição: Em 7 conjuntos de dados de mudança de distribuição natural (ImageNetV2, ImageNet-R, ImageNet-A, ObjectNet, etc.), o CLIP zero-shot reduz a queda entre a acurácia dentro da distribuição e fora da distribuição em até 75% em comparação com modelos padrão treinados no ImageNet.

Limitações e questões em aberto

• Tarefas Abstratas, Especializadas e Sistemáticas: O CLIP zero-shot tem grande dificuldade com contagem (CLEVRCounts), tarefas de granularidade fina com distinções sutis (FGVCAircraft, Flowers102) e tarefas de domínio específico distantes do conteúdo textual comum da web (detecção de tumores no PatchCamelyon; estimativa de distância no KITTI).
• Dados Verdadeiramente Fora da Distribuição: Em dígitos manuscritos do MNIST, o CLIP zero-shot alcança apenas 88% de acurácia — desempenho inferior ao de uma regressão logística sobre pixels brutos —, demonstrando que o CLIP contorna a fragilidade fora da distribuição em vez de resolvê-la fundamentalmente.
• Requisitos Computacionais: Estima-se que alcançar o estado da arte supervisionado geral em todos os benchmarks puramente via zero-shot exigiria um aumento de aproximadamente 1000x em poder computacional, mantidas as tendências atuais de escalabilidade.
• Viés Social e Denigração: Avaliações com o benchmark FairFace revelam modos de falha díspares significativos, incluindo classificações errôneas não humanas e associadas a crimes desproporcionalmente direcionadas a indivíduos negros e jovens, as quais variam fortemente de acordo com a formulação dos rótulos de classe e a definição de limiares.