Segment Anything

Guide de lecture

Problématique et motivation

Les modèles fondations pré-entraînés sur des données à l'échelle du Web ont révolutionné le NLP et l'alignement vision-langage (par exemple, CLIP), mais la vision par ordinateur générale manque d'un système fondamental capable d'une large généralisation zero-shot à travers diverses tâches de segmentation. Les jeux de données existants pour la segmentation d'images sont réduits par rapport aux corpus image-texte du Web, et les architectures de segmentation conventionnelles sont généralement liées à des classes sémantiques fixes ou à des configurations interactives spécialisées.

Pour construire un modèle fondation de vision pour la segmentation, les auteurs s'attaquent simultanément à trois éléments fondamentaux :

1. Tâche : Quel objectif permet un transfert zero-shot général ?
2. Modèle : Quelle architecture permet un guidage flexible par invites en temps réel tout en résolvant l'ambiguïté visuelle inhérente ?
3. Données : Comment obtenir des masques de segmentation à l'échelle du Web alors que les données Internet ne disposent pas d'annotations denses en masques ?

Idées maîtresses

• Tâche de segmentation guidable (Promptable Segmentation Task) : Le modèle doit renvoyer un masque de segmentation valide à partir de n'importe quelle invite (prompt)—telle que des points d'avant-plan/arrière-plan, des boîtes englobantes, des masques denses ou du texte libre. Lorsqu'une invite est ambiguë (par exemple, un simple point sur une chemise), le modèle doit produire plusieurs masques hiérarchiques plausibles (sous-partie, partie, tout).
• Architecture asymétrique amortie (SAM) : Un encodeur d'images lourd en calcul s'exécute une seule fois par image pour produire un plongement, tandis qu'un encodeur d'invites léger et un décodeur Transformer à deux couches évaluent les invites en $\sim 50\text{ ms}$ sur un CPU dans un navigateur Web.
• Moteur de données en boucle vertueuse (Flywheel Data Engine) : Un pipeline d'annotation en trois étapes :
  1. Manuel assisté : SAM aide les annotateurs dans un navigateur, réduisant le temps d'annotation de 34 s à 14 s par masque (collecte de 4,3 millions de masques).
  2. Semi-automatique : SAM détecte les masques de confiance pour orienter les annotateurs vers les objets non annotés et moins visibles (collecte de 5,9 millions de masques supplémentaires).
  3. Entièrement automatique : SAM est guidé sur une grille uniforme de points de $32\times 32$ ainsi que sur des recadrages d'images agrandis, générant les 1,1 milliard de masques de SA-1B.

Méthode

Architecture du modèle

SAM est composé de trois éléments :

1. Encodeur d'images : Un Vision Transformer pré-entraîné avec MAE (ViT-H/16 par défaut) adapté avec une attention fenêtrée et quatre blocs d'attention globale, traitant des entrées de $1024\times 1024$ pour produire un plongement de $64\times 64$ avec 256 canaux.
2. Encodeur d'invites :
   • Invites éparses : Les points et les boîtes englobantes sont projetés vers des vecteurs de dimension 256 à l'aide d'encodages positionnels sommés avec des plongements de type appris. Le texte libre est encodé à l'aide de l'encodeur de texte de CLIP.
   • Invites denses : Les masques d'entrée (à une résolution $4\times$ inférieure) sont sous-échantillonnés via des convolutions $2\times 2$ de pas 2 et additionnés terme à terme au plongement de l'image.
3. Décodeur de masques : Un décodeur Transformer modifié à deux couches. Il met à jour les jetons d'invite et les plongements d'image via une alternance d'auto-attention sur les invites et de cross-attention bidirectionnelle (jetons-vers-image et image-vers-jetons). Les caractéristiques de l'image sont suréchantillonnées d'un facteur 4 via des convolutions transposées, et un MLP projette le jeton de sortie pour produire un classifieur linéaire dynamique appliqué point par point aux caractéristiques suréchantillonnées.

Sortie et fonction de perte sensibles à l'ambiguïté

Une seule invite décrit souvent plusieurs structures imbriquées. SAM gère cette ambiguïté en prédisant 3 masques simultanément avec les scores d'IoU estimés correspondants. Pendant l'entraînement, la rétropropagation s'applique uniquement à la perte minimale parmi les candidats : $${\mathcal{L}}_{\text{mask}}=\underset{i\in \{1,2,3\}}{\min }\left(20\cdot {\mathcal{L}}_{\text{focal}}(m_i,y)+{\mathcal{L}}_{\text{dice}}(m_i,y)\right)$$ Une tête auxiliaire minimise l'erreur quadratique moyenne entre l'IoU prédit et l'IoU de vérité terrain : $${\mathcal{L}}_{\text{IoU}}=\Vert {\widehat{\text{IoU}}}_i-\text{IoU}(m_i,y){\Vert }^2$$ Lorsque plusieurs invites sont fournies, SAM génère un masque unique sans ambiguïté à l'aide d'un quatrième jeton de sortie dédié.

Résultats

• Transfert zero-shot point-vers-masque : Sur 23 jeux de données de segmentation variés (incluant des images égocentriques, sous-marines, aériennes et microscopiques), SAM surpasse RITM sur 16 des 23 jeux de données avec une invite constituée d'un seul point central (avec des gains atteignant $+46,9$ d'IoU). Lorsque l'ambiguïté est levée via un oracle sélectionnant la meilleure des 3 prédictions de SAM, ce dernier surpasse RITM sur l'ensemble des 23 jeux de données. Les évaluations qualitatives humaines notent SAM systématiquement plus haut (entre 7 et 9 sur 10).
• Détection de contours zero-shot (BSDS500) : Évalué en zero-shot avec une grille de $16\times 16$, un filtrage de Sobel et une suppression des non-maximaux sur les contours, SAM obtient un ODS de 0,768 et un R50 de 0,928, rivalisant avec des modèles supervisés comme HED (ODS 0,788, R50 0,923).
• Propositions d'objets zero-shot (LVIS v1) : SAM atteint un score AR@1000 de 59,3 sans supervision de classe, surpassant une référence ViTDet-H entièrement supervisée sur les objets moyens (81,6 contre 80,8), les grands objets (86,9 contre 87,0) et les catégories rares (65,8 contre 58,3).
• Segmentation d'instances zero-shot : Guidé par des boîtes englobantes issues de ViTDet, SAM atteint 46,5 d'AP sur COCO et 44,7 d'AP sur LVIS. Lors d'évaluations humaines, les annotateurs jugent systématiquement les masques de SAM plus nets et de meilleure qualité que ceux de ViTDet entièrement supervisé.

Limites et questions ouvertes

• Détails fins et zoom extrême : SAM peut manquer des structures ultra-fines ou générer de petites composantes déconnectées par rapport à des méthodes interactives plus lourdes en calcul qui effectuent explicitement des zooms sur des recadrages.
• Latence de la chaîne complète : Bien que le décodage d'invite soit en temps réel ($\sim 50\text{ ms}$), l'exécution du lourd encodeur d'images ViT-H ne l'est pas.
• Compréhension sémantique : SAM produit des masques indépendants des classes ; il ne fournit pas nativement d'étiquettes de catégories sémantiques ou panoptiques sans l'association de classifieurs externes.
• Guidage texte-vers-masque : Le pipeline exploratoire de guidage textuel aligné sur CLIP reste préliminaire et sensible par rapport aux invites géométriques.