Segment Anything

Guía de lectura

Problema y motivación

Los modelos fundacionales preentrenados en datos a escala web han revolucionado el PLN y la alineación visión-lenguaje (por ejemplo, CLIP), pero la visión por computadora general carece de un sistema fundacional capaz de una amplia generalización zero-shot a través de diversas tareas de segmentación. Los conjuntos de datos existentes para la segmentación de imágenes son pequeños en comparación con los corpus de imagen-texto a escala web, y las arquitecturas de segmentación convencionales suelen estar vinculadas a clases semánticas fijas o configuraciones interactivas especializadas.

Para construir un modelo fundacional de visión para la segmentación, los autores abordan simultáneamente tres elementos centrales:

1. Tarea: ¿Qué objetivo permite una transferencia zero-shot general?
2. Modelo: ¿Qué arquitectura admite prompts flexibles en tiempo real mientras resuelve la ambigüedad visual inherente?
3. Datos: ¿Cómo se pueden adquirir máscaras de segmentación a escala web cuando los datos de internet carecen de anotaciones densas de máscaras?

Ideas clave

• Promptable Segmentation Task (Tarea de segmentación con prompts): El modelo debe devolver una máscara de segmentación válida dado cualquier prompt, como puntos de primer plano/fondo, cuadros delimitadores (bounding boxes), máscaras densas o texto libre. Cuando un prompt es ambiguo (por ejemplo, un solo punto en una camisa), el modelo debe generar múltiples máscaras jerárquicas plausibles (subparte, parte, todo).
• Asymmetric Amortized Architecture (Arquitectura amortizada asimétrica, SAM): Un codificador de imágenes computacionalmente pesado se ejecuta una vez por imagen para producir un embedding, mientras que un codificador de prompts ligero y un decodificador Transformer de dos capas evalúan los prompts en $\sim 50\text{ ms}$ en una CPU dentro de un navegador web.
• Flywheel Data Engine (Motor de datos tipo volante de inercia): Un pipeline de anotación de tres etapas:
  1. Manual asistido: SAM ayuda a los anotadores en un navegador, reduciendo el tiempo de anotación de 34 s a 14 s por máscara (recolectando 4.3M de máscaras).
  2. Semiautomático: SAM detecta máscaras confiables para guiar a los anotadores hacia objetos no anotados y menos prominentes (recolectando 5.9M de máscaras adicionales).
  3. Totalmente automático: Se aplican prompts a SAM sobre una cuadrícula uniforme de puntos de $32\times 32$ más recortes ampliados de la imagen, generando los 1.1 mil millones de máscaras en SA-1B.

Método

Arquitectura del modelo

SAM consta de tres componentes:

1. Image Encoder (Codificador de imagen): Un Vision Transformer preentrenado con MAE (ViT-H/16 por defecto) adaptado con atención por ventanas y cuatro bloques de atención global, procesando entradas de $1024\times 1024$ para producir un embedding de $64\times 64$ con 256 canales.
2. Prompt Encoder (Codificador de prompts):
   • Prompts dispersos: Los puntos y los bounding boxes se mapean a vectores de 256 dimensiones utilizando codificaciones posicionales sumadas con embeddings aprendidos de tipo. El texto libre se codifica utilizando el codificador de texto de CLIP.
   • Prompts densos: Las máscaras de entrada (a una resolución $4\times$ menor) se reducen mediante convoluciones $2\times 2$ con stride 2 y se suman elemento a elemento al embedding de la imagen.
3. Mask Decoder (Decodificador de máscaras): Un decodificador Transformer modificado de dos capas. Actualiza los tokens de prompt y los embeddings de imagen a través de autoatención de prompts alternada y atención cruzada bidireccional (tokens a imagen e imagen a tokens). Las características de la imagen se escalan $4\times$ mediante convoluciones transpuestas, y un MLP proyecta el token de salida para producir un clasificador lineal dinámico aplicado punto a punto sobre las características escaladas.

Salida consciente de la ambigüedad y pérdida

Un único prompt a menudo describe múltiples estructuras anidadas. SAM aborda la ambigüedad prediciendo 3 máscaras simultáneamente con sus correspondientes puntuaciones IoU estimadas. Durante el entrenamiento, la retropropagación se aplica únicamente a la pérdida mínima entre las candidatas: $${\mathcal{L}}_{\text{mask}}=\underset{i\in \{1,2,3\}}{\min }\left(20\cdot {\mathcal{L}}_{\text{focal}}(m_i,y)+{\mathcal{L}}_{\text{dice}}(m_i,y)\right)$$ Un cabezal auxiliar minimiza el error cuadrático medio entre el IoU predicho y el IoU real (ground truth): $${\mathcal{L}}_{\text{IoU}}=\Vert {\widehat{\text{IoU}}}_i-\text{IoU}(m_i,y){\Vert }^2$$ Cuando se proporcionan múltiples prompts, SAM genera una única máscara no ambigua utilizando un cuarto token de salida dedicado.

Resultados

• Transferencia zero-shot de punto a máscara: En 23 conjuntos de datos de segmentación diversos (incluyendo imágenes egocéntricas, submarinas, aéreas y de microscopía), SAM supera a RITM en 16 de 23 conjuntos de datos utilizando un solo prompt de punto central (con deltas que alcanzan $+46.9$ de IoU). Cuando la ambigüedad se resuelve mediante un selector oráculo sobre las 3 predicciones de SAM, SAM supera a RITM en los 23 conjuntos de datos. Las evaluaciones humanas de calidad califican consistentemente a SAM de forma significativamente más alta (entre 7 y 9 de 10).
• Detección de bordes zero-shot (BSDS500): Evaluado zero-shot utilizando una cuadrícula de $16\times 16$ con filtrado Sobel y NMS de bordes, SAM logra un ODS de 0.768 y un R50 de 0.928, desempeñándose de manera competitiva con modelos supervisados como HED (ODS 0.788, R50 0.923).
• Propuestas de objetos zero-shot (LVIS v1): SAM obtiene un AR@1000 de 59.3 sin supervisión de clases, superando a una línea base totalmente supervisada ViTDet-H en objetos medianos (81.6 frente a 80.8), objetos grandes (86.9 frente a 87.0) y categorías raras (65.8 frente a 58.3).
• Segmentación de instancias zero-shot: Cuando se le proporcionan bounding boxes de ViTDet como prompts, SAM alcanza 46.5 de AP en COCO y 44.7 de AP en LVIS. En evaluaciones humanas, los anotadores califican consistentemente las máscaras de SAM como más limpias y de mayor calidad que las salidas totalmente supervisadas de ViTDet.

Limitaciones y preguntas abiertas

• Detalles finos y zoom extremo: SAM puede pasar por alto estructuras ultrafinas o producir pequeños componentes desconectados en comparación con métodos interactivos computacionalmente pesados que hacen zoom explícitamente en los recortes.
• Latencia del pipeline completo: Si bien la decodificación de prompts es en tiempo real ($\sim 50\text{ ms}$), ejecutar el pesado codificador de imágenes ViT-H no es en tiempo real.
• Comprensión semántica: SAM genera máscaras independientes de la clase (class-agnostic); no proporciona de forma nativa etiquetas de categorías semánticas o panópticas sin clasificadores externos combinables.
• Prompts de texto a máscara: El pipeline de prompts de texto alineado con CLIP en modo zero-shot sigue siendo preliminar y sensible en comparación con los prompts geométricos.