Segment Anything

Guia de leitura

Problema e motivação

Modelos de base pré-treinados em dados em escala da web revolucionaram o PLN e o alinhamento visão-linguagem (por exemplo, CLIP), mas a visão computacional geral carece de um sistema fundamental capaz de uma ampla generalização zero-shot em diversas tarefas de segmentação. Os conjuntos de dados existentes para segmentação de imagens são pequenos quando comparados a corpora de imagem-texto em escala da web, e as arquiteturas convencionais de segmentação são tipicamente atreladas a classes semânticas fixas ou configurações interativas especializadas.

Para construir um modelo de base de visão para segmentação, os autores abordam simultaneamente três elementos centrais:

1. Tarefa: Qual objetivo permite a transferência zero-shot geral?
2. Modelo: Qual arquitetura suporta prompts flexíveis em tempo real enquanto resolve a ambiguidade visual inerente?
3. Dados: Como máscaras de segmentação em escala da web podem ser adquiridas quando os dados da internet carecem de anotações densas de máscaras?

Ideias principais

• Tarefa de Segmentação com Prompts (Promptable Segmentation Task): O modelo deve retornar uma máscara de segmentação válida dado qualquer prompt — como pontos de primeiro plano/fundo, caixas delimitadoras (bounding boxes), máscaras densas ou texto livre. Quando um prompt é ambíguo (por exemplo, um único ponto em uma camisa), o modelo deve produzir múltiplas máscaras hierárquicas plausíveis (subparte, parte, todo).
• Arquitetura Amortizada Assimétrica (SAM): Um codificador de imagens computacionalmente pesado é executado uma vez por imagem para produzir um embedding, enquanto um codificador de prompts leve e um decodificador Transformer de duas camadas avaliam os prompts em $\sim 50\text{ ms}$ em uma CPU dentro de um navegador web.
• Data Engine em Efeito Flywheel: Um pipeline de anotação em três etapas:
  1. Manual assistido: O SAM auxilia os anotadores em um navegador, reduzindo o tempo de anotação de 34s para 14s por máscara (coletando 4,3M de máscaras).
  2. Semiautomático: O SAM detecta máscaras confiáveis para guiar os anotadores em direção a objetos não anotados e menos proeminentes (coletando 5,9M de máscaras adicionais).
  3. Totalmente automático: O SAM recebe prompts em uma grade uniforme de pontos de $32\times 32$, além de recortes de imagem com zoom, gerando as 1,1 bilhão de máscaras no SA-1B.

Método

Arquitetura do Modelo

O SAM consiste em três componentes:

1. Codificador de Imagem (Image Encoder): Um Vision Transformer pré-treinado com MAE (ViT-H/16 por padrão) adaptado com atenção em janela (windowed attention) e quatro blocos de atenção global, processando entradas de $1024\times 1024$ para produzir um embedding de $64\times 64$ com 256 canais.
2. Codificador de Prompts (Prompt Encoder):
   • Prompts esparsos: Pontos e caixas delimitadoras são mapeados para vetores de 256 dimensões usando codificações posicionais somadas a embeddings de tipo aprendidos. O texto livre é codificado usando o codificador de texto do CLIP.
   • Prompts densos: Máscaras de entrada (em resolução $4\times$ menor) são reduzidas por meio de convoluções de $2\times 2$ com stride 2 e somadas elemento a elemento ao embedding da imagem.
3. Decodificador de Máscaras (Mask Decoder): Um decodificador Transformer modificado de duas camadas. Ele atualiza os tokens de prompt e os embeddings de imagem por meio de autoatenção de prompt alternada e atenção cruzada bidirecional (tokens para imagem e imagem para tokens). Os recursos da imagem são ampliados em $4\times$ via convoluções transpostas, e um MLP projeta o token de saída para produzir um classificador linear dinâmico aplicado pontualmente aos recursos ampliados.

Saída e Perda Cientes de Ambiguidade

Um único prompt frequentemente descreve múltiplas estruturas aninhadas. O SAM resolve a ambiguidade prevendo 3 máscaras simultaneamente com os escores de IoU estimados correspondentes. Durante o treinamento, a retropropagação se aplica apenas à perda mínima entre as candidatas: $${\mathcal{L}}_{\text{mask}}=\underset{i\in \{1,2,3\}}{\min }\left(20\cdot {\mathcal{L}}_{\text{focal}}(m_i,y)+{\mathcal{L}}_{\text{dice}}(m_i,y)\right)$$ Uma cabeça auxiliar minimiza o erro quadrático médio entre o IoU previsto e o IoU de ground truth: $${\mathcal{L}}_{\text{IoU}}=\Vert {\widehat{\text{IoU}}}_i-\text{IoU}(m_i,y){\Vert }^2$$ Quando múltiplos prompts são fornecidos, o SAM gera uma única máscara inequívoca usando um quarto token de saída dedicado.

Resultados

• Transferência Ponto-para-Máscara Zero-Shot: Em 23 conjuntos de dados de segmentação diversos (incluindo imagens egocêntricas, subaquáticas, aéreas e de microscopia), o SAM supera o RITM em 16 de 23 conjuntos de dados usando um único prompt de ponto central (com ganhos atingindo $+46,9$ de IoU). Quando a ambiguidade é resolvida via um seletor oracle sobre as 3 previsões do SAM, o SAM supera o RITM em todos os 23 conjuntos de dados. Avaliações humanas de qualidade classificam consistentemente o SAM de forma significativamente superior (entre 7 e 9 de 10).
• Detecção de Bordas Zero-Shot (BSDS500): Avaliado em zero-shot usando uma grade de $16\times 16$ com filtragem Sobel e NMS de borda, o SAM atinge um ODS de 0,768 e um R50 de 0,928, apresentando desempenho competitivo com modelos supervisionados como o HED (ODS 0,788, R50 0,923).
• Propostas de Objetos Zero-Shot (LVIS v1): O SAM atinge 59,3 de AR@1000 sem supervisão de classe, superando uma linha de base ViTDet-H totalmente supervisionada em objetos médios (81,6 vs. 80,8), objetos grandes (86,9 vs. 87,0) e categorias raras (65,8 vs. 58,3).
• Segmentação de Instâncias Zero-Shot: Quando guiado por caixas delimitadoras do ViTDet, o SAM alcança 46,5 de AP no COCO e 44,7 de AP no LVIS. Em avaliações humanas, os anotadores classificam consistentemente as máscaras do SAM como mais limpas e de maior qualidade do que as saídas totalmente supervisionadas do ViTDet.

Limitações e questões em aberto

• Detalhes finos e zoom extremo: O SAM pode perder estruturas ultrafinas ou produzir pequenos componentes desconectados em comparação com métodos interativos computacionalmente pesados que aplicam zoom explicitamente em recortes.
• Latência de ponta a ponta: Embora a decodificação de prompts seja em tempo real ($\sim 50\text{ ms}$), a execução do pesado codificador de imagem ViT-H não é em tempo real.
• Compreensão semântica: O SAM produz máscaras agnósticas de classe; ele não fornece nativamente rótulos de categorias semânticas ou panópticas sem classificadores externos combináveis.
• Prompts de texto para máscara: O pipeline preliminar de prompts de texto alinhado ao CLIP em zero-shot permanece experimental e sensível em comparação com prompts geométricos.