Segment Anything

Alexander Kirillov; Eric Mintun; Nikhila Ravi; Hanzi Mao; Chloe Rolland; Laura Gustafson; Tete Xiao; Spencer Whitehead; Alexander C. Berg; Wan-Yen Lo; Piotr Dollár; Ross Girshick

Segment Anything

Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C. Berg, Wan-Yen Lo, Piotr Dollár, Ross Girshick

प्रकाशित 2023-04-05cs.CVcs.AIcs.LG arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 बिना किसी टास्क-विशिष्ट फाइन-ट्यूनिंग के अनदेखी विज़ुअल अवधारणाओं को सेगमेंट करना और विविध डाउनस्ट्रीम सेगमेंटेशन कार्यों के अनुकूल होना।
🔧 एक प्रॉम्प्टेबल सेगमेंटेशन टास्क, अमॉर्टाइज़्ड रियल-टाइम मास्क डिकोडर के साथ Segment Anything Model (SAM), और एक थ्री-स्टेज डेटा इंजन प्रस्तुत करता है।
📈 SA-1B (1.1 करोड़ छवियों में 1.1 अरब मास्क) पर प्रशिक्षित, SAM एज डिटेक्शन, ऑब्जेक्ट प्रपोज़ल जनरेशन और इंस्टेंस सेगमेंटेशन में ज़ीरो-शॉट ट्रांसफर करता है, जो 23 में से 16 डेटासेट पर इंटरैक्टिव बेसलाइन से बेहतर प्रदर्शन करता है।

सार

हम Segment Anything (SA) प्रोजेक्ट प्रस्तुत करते हैं: इमेज सेगमेंटेशन के लिए एक नया टास्क, मॉडल और डेटासेट। डेटा संकलन लूप में अपने कुशल मॉडल का उपयोग करके, हमने अब तक का सबसे बड़ा सेगमेंटेशन डेटासेट तैयार किया है, जिसमें 1.1 करोड़ लाइसेंस प्राप्त और गोपनीयता का सम्मान करने वाली छवियों पर 1 अरब से अधिक मास्क शामिल हैं। मॉडल को प्रॉम्प्टेबल होने के लिए डिज़ाइन और प्रशिक्षित किया गया है, ताकि यह नए इमेज डिस्ट्रीब्यूशन और कार्यों में ज़ीरो-शॉट ट्रांसफर कर सके। हम कई कार्यों पर इसकी क्षमताओं का मूल्यांकन करते हैं और पाते हैं कि इसका ज़ीरो-शॉट प्रदर्शन प्रभावशाली है — जो अक्सर पूर्व पूर्णतः पर्यवेक्षित (fully supervised) परिणामों के प्रतिस्पर्धी या उनसे भी बेहतर होता है। हम कंप्यूटर विज़न के लिए फाउंडेशन मॉडल में अनुसंधान को बढ़ावा देने के लिए Segment Anything Model (SAM) और 1 अरब मास्क तथा 1.1 करोड़ छवियों वाले संबंधित डेटासेट (SA-1B) को https://segment-anything.com पर जारी कर रहे हैं।

मूल सार (अंग्रेज़ी)

We introduce the Segment Anything (SA) project: a new task, model, and dataset for image segmentation. Using our efficient model in a data collection loop, we built the largest segmentation dataset to date (by far), with over 1 billion masks on 11M licensed and privacy respecting images. The model is designed and trained to be promptable, so it can transfer zero-shot to new image distributions and tasks. We evaluate its capabilities on numerous tasks and find that its zero-shot performance is impressive -- often competitive with or even superior to prior fully supervised results. We are releasing the Segment Anything Model (SAM) and corresponding dataset (SA-1B) of 1B masks and 11M images at https://segment-anything.com to foster research into foundation models for computer vision.

पढ़ने की गाइड

समस्या और प्रेरणा

वेब-स्केल डेटा पर प्री-ट्रेन किए गए फाउंडेशन मॉडल्स ने NLP और विज़न-लैंग्वेज अलाइनमेंट (जैसे, CLIP) में क्रांति ला दी है, लेकिन सामान्य कंप्यूटर विज़न में एक ऐसे मूलभूत सिस्टम का अभाव है जो विविध सेगमेंटेशन कार्यों में व्यापक ज़ीरो-शॉट सामान्यीकरण (generalization) करने में सक्षम हो। इमेज सेगमेंटेशन के लिए मौजूदा डेटासेट वेब-स्केल इमेज-टेक्स्ट कॉर्पोरा की तुलना में छोटे हैं, और पारंपरिक सेगमेंटेशन आर्किटेक्चर आमतौर पर निश्चित सिमेंटिक क्लास या विशिष्ट इंटरैक्टिव सेटअप से बंधे होते हैं।

सेगमेंटेशन के लिए एक विज़न फाउंडेशन मॉडल बनाने के लिए, लेखक एक साथ तीन मुख्य तत्वों का समाधान करते हैं:

टास्क: कौन सा उद्देश्य सामान्य ज़ीरो-शॉट ट्रांसफर की अनुमति देता है?
मॉडल: कौन सा आर्किटेक्चर अंतर्निहित विज़ुअल अस्पष्टता (ambiguity) को हल करते हुए रियल-टाइम में लचीले प्रॉम्प्टिंग का समर्थन करता है?
डेटा: जब इंटरनेट डेटा में डेंस मास्क एनोटेशन की कमी होती है, तो वेब-स्केल सेगमेंटेशन मास्क कैसे प्राप्त किए जा सकते हैं?

मुख्य विचार

प्रॉम्प्टेबल सेगमेंटेशन टास्क (Promptable Segmentation Task): किसी भी प्रॉम्प्ट—जैसे फोरग्राउंड/बैकग्राउंड पॉइंट्स, बाउंडिंग बॉक्स, डेंस मास्क या फ्री-फॉर्म टेक्स्ट दिए जाने पर मॉडल को एक मान्य सेगमेंटेशन मास्क वापस करना होगा। जब कोई प्रॉम्प्ट अस्पष्ट हो (उदा., शर्ट पर एक बिंदु), तो मॉडल को कई संभावित पदानुक्रमित (hierarchical) मास्क (सबपार्ट, पार्ट, पूरा) आउटपुट करने चाहिए।
असममित अमॉर्टाइज़्ड आर्किटेक्चर (Asymmetric Amortized Architecture - SAM): एक कंप्यूट-हैवी इमेज एन्कोडर एम्बेडिंग उत्पन्न करने के लिए प्रति छवि एक बार चलता है, जबकि एक लाइटवेट प्रॉम्प्ट एन्कोडर और टू-लेयर ट्रांसफॉर्मर डिकोडर वेब ब्राउज़र के भीतर CPU पर $\sim 50 ms$ में प्रॉम्प्ट्स का मूल्यांकन करते हैं।
फ्लाईव्हील डेटा इंजन (Flywheel Data Engine): एक तीन-चरणीय एनोटेशन पाइपलाइन:
1. सहायता-प्राप्त मैनुअल (Assisted-manual): SAM ब्राउज़र में एनोटेटर्स की सहायता करता है, जिससे एनोटेशन समय 34s से घटकर 14s प्रति मास्क हो जाता है (43 लाख मास्क एकत्र किए गए)।
2. अर्ध-स्वचालित (Semi-automatic): SAM एनोटेटर्स को गैर-एनोटेटेड, कम प्रमुख वस्तुओं की ओर मार्गदर्शन करने के लिए आश्वस्त मास्क का पता लगाता है (अतिरिक्त 59 लाख मास्क एकत्र किए गए)।
3. पूर्णतः स्वचालित (Fully automatic): SAM को एक समान $32 \times 32$ पॉइंट ग्रिड और ज़ूम-इन इमेज क्रॉप्स पर प्रॉम्प्ट किया जाता है, जिससे SA-1B में 1.1 अरब मास्क उत्पन्न होते हैं।

विधि

मॉडल आर्किटेक्चर

SAM में तीन घटक शामिल हैं:

इमेज एन्कोडर: एक MAE प्री-ट्रेन्ड Vision Transformer (डिफ़ॉल्ट रूप से ViT-H/16) जो विंडोयुक्त अटेंशन और चार ग्लोबल अटेंशन ब्लॉक्स के साथ अनुकूलित है, जो 256 चैनलों के साथ $64 \times 64$ एम्बेडिंग उत्पन्न करने के लिए $1024 \times 1024$ इनपुट को प्रोसेस करता है।
प्रॉम्प्ट एन्कोडर:
- स्पार्स प्रॉम्प्ट्स: पॉइंट्स और बाउंडिंग बॉक्स को सीखे गए टाइप एम्बेडिंग्स के साथ जोड़े गए स्थितीय एन्कोडिंग (positional encodings) का उपयोग करके 256-आयामी वैक्टर में मैप किया जाता है। फ्री-फॉर्म टेक्स्ट को CLIP के टेक्स्ट एन्कोडर का उपयोग करके एन्कोड किया जाता है।
- डेंस प्रॉम्प्ट्स: इनपुट मास्क ( $4 \times$ कम रिज़ॉल्यूशन पर) $2 \times 2$ स्ट्राइड-2 कन्वल्शन के माध्यम से डाउनस्केल किए जाते हैं और इमेज एम्बेडिंग में एलिमेंट-वाइज़ जोड़े जाते हैं।
मास्क डिकोडर: एक टू-लेयर संशोधित ट्रांसफॉर्मर डिकोडर। यह वैकल्पिक प्रॉम्प्ट सेल्फ-अटेंशन और द्विदिश क्रॉस-अटेंशन (टोकन्स-टू-इमेज और इमेज-टू-टोकन्स) के माध्यम से प्रॉम्प्ट टोकन्स और इमेज एम्बेडिंग्स को अपडेट करता है। ट्रांसपोज़्ड कन्वल्शन के माध्यम से इमेज फीचर्स को $4 \times$ अपस्केल किया जाता है, और एक MLP अपस्केल किए गए फीचर्स पर पॉइंट-वाइज़ लागू होने वाले डायनामिक लीनियर क्लासिफायर का उत्पादन करने के लिए आउटपुट टोकन को प्रोजेक्ट करता है।

अस्पष्टता-जागरूक आउटपुट और लॉस

एक अकेला प्रॉम्प्ट अक्सर कई नेस्टेड संरचनाओं का वर्णन करता है। SAM संबंधित अनुमानित IoU स्कोर के साथ एक साथ 3 मास्क की भविष्यवाणी करके अस्पष्टता को हल करता है। प्रशिक्षण के दौरान, बैकप्रॉपैगैशन केवल उम्मीदवारों में न्यूनतम लॉस पर लागू होता है: $L_{mask} = i \in {1, 2, 3} min (20 \cdot L_{focal} (m_{i}, y) + L_{dice} (m_{i}, y))$ एक सहायक हेड अनुमानित IoU और ग्राउंड ट्रुथ IoU के बीच माध्य-वर्ग-त्रुटि (mean-squared-error) को कम करता है: $L_{IoU} = ∥ IoU_{i} - IoU (m_{i}, y) ∥^{2}$ जब कई प्रॉम्प्ट प्रदान किए जाते हैं, तो SAM चौथे समर्पित आउटपुट टोकन का उपयोग करके एकल स्पष्ट मास्क आउटपुट करता है।

परिणाम

ज़ीरो-शॉट पॉइंट-टू-मास्क ट्रांसफर: 23 विविध सेगमेंटेशन डेटासेट (इगोसेंट्रिक, अंडरवाटर, एरियल और माइक्रोस्कोपी इमेजरी सहित) में, SAM एकल सेंटर पॉइंट प्रॉम्प्ट का उपयोग करके 23 में से 16 डेटासेट पर RITM से बेहतर प्रदर्शन करता है ( $+ 46.9$ IoU तक के डेल्टा के साथ)। जब SAM की 3 भविष्यवाणियों पर एक ओरेकल चयनकर्ता के माध्यम से अस्पष्टता का समाधान किया जाता है, तो SAM सभी 23 डेटासेट पर RITM से बेहतर प्रदर्शन करता है। मानव गुणवत्ता रेटिंग लगातार SAM को काफी अधिक (10 में से 7 और 9 के बीच) आंकती है।
ज़ीरो-शॉट एज डिटेक्शन (BSDS500): सोबेल फ़िल्टरिंग और एज NMS के साथ $16 \times 16$ ग्रिड का उपयोग करके ज़ीरो-शॉट का मूल्यांकन करने पर, SAM 0.768 का ODS और 0.928 का R50 प्राप्त करता है, जो HED (ODS 0.788, R50 0.923) जैसे पर्यवेक्षित मॉडलों के साथ प्रतिस्पर्धात्मक रूप से प्रदर्शन करता है।
ज़ीरो-शॉट ऑब्जेक्ट प्रपोज़ल (LVIS v1): SAM क्लास सुपरविज़न के बिना 59.3 AR@1000 स्कोर करता है, जो मध्यम आकार की वस्तुओं (81.6 बनाम 80.8), बड़ी वस्तुओं (86.9 बनाम 87.0), और दुर्लभ श्रेणियों (65.8 बनाम 58.3) पर पूरी तरह से पर्यवेक्षित ViTDet-H बेसलाइन से बेहतर प्रदर्शन करता है।
ज़ीरो-शॉट इंस्टेंस सेगमेंटेशन: जब ViTDet बाउंडिंग बॉक्स के साथ प्रॉम्प्ट किया जाता है, तो SAM COCO पर 46.5 AP और LVIS पर 44.7 AP तक पहुंचता है। मानव मूल्यांकन में, एनोटेटर्स लगातार SAM मास्क को पूरी तरह से पर्यवेक्षित ViTDet आउटपुट की तुलना में अधिक स्वच्छ और उच्च गुणवत्ता वाला मानते हैं।

सीमाएं और खुले प्रश्न

बारीक विवरण और अत्यधिक ज़ूम: उन कंप्यूट-हैवी इंटरैक्टिव तरीकों की तुलना में जो स्पष्ट रूप से क्रॉप्स में ज़ूम करते हैं, SAM अत्यधिक बारीक संरचनाओं को छोड़ सकता है या छोटे असंबद्ध घटक उत्पन्न कर सकता है।
फुल-पाइपलाइन लेटेंसी: यद्यपि प्रॉम्प्ट डिकोडिंग रियल-टाइम ( $\sim 50 ms$ ) है, लेकिन भारी ViT-H इमेज एन्कोडर को चलाना रियल-टाइम नहीं है।
सिमेंटिक समझ: SAM क्लास-अज्ञेय (class-agnostic) मास्क प्रदान करता है; यह बाहरी कंपोज़ेबल क्लासिफायर के बिना स्वाभाविक रूप से सिमेंटिक या पैनोप्टिक श्रेणी लेबल प्रदान नहीं करता है।
टेक्स्ट-टू-मास्क प्रॉम्प्टिंग: ज़ीरो-शॉट CLIP-संरेखित टेक्स्ट प्रॉम्प्टिंग पाइपलाइन ज्यामितीय प्रॉम्प्ट्स की तुलना में अभी भी प्रारंभिक और संवेदनशील बनी हुई है।

मुख्य शब्द

promptable segmentation task: एक ऐसा कार्य जो मनमाने इनपुट प्रॉम्प्ट जैसे कि पॉइंट्स, बाउंडिंग बॉक्स, मास्क या टेक्स्ट दिए जाने पर एक वैध सेगमेंटेशन मास्क आउटपुट करने का लक्ष्य निर्धारित करता है।
SAM: Segment Anything Model; एक विज़न मॉडल जो एक भारी ViT इमेज एन्कोडर, एक प्रॉम्प्ट एन्कोडर, और एक अमॉर्टाइज़्ड रियल-टाइम लाइटवेट मास्क डिकोडर से बना है।
SA-1B: Segment Anything 1-Billion डेटासेट, जिसमें 1.1 करोड़ उच्च-रिज़ॉल्यूशन, गोपनीयता-संरक्षित छवियों पर 1.1 अरब से अधिक स्वचालित रूप से उत्पन्न मास्क शामिल हैं।
data engine: मास्क एनोटेशन को वेब स्केल तक बढ़ाने के लिए उपयोग किया जाने वाला तीन-चरणीय मॉडल-इन-द-लूप फ्रेमवर्क (सहायता-प्राप्त मैनुअल, अर्ध-स्वचालित और पूर्णतः स्वचालित)।
ambiguity-aware modeling: एक डिज़ाइन विकल्प जहां डिकोडर एकल प्रॉम्प्ट के लिए 3 पदानुक्रमित मास्क और उनके अनुमानित IoU आउटपुट करता है, और केवल सबसे कम लॉस वाले प्रेडिक्शन से ट्रेनिंग ग्रेडिएंट्स की गणना करता है।
amortized real-time inference: प्रति छवि एक बार भारी इमेज एम्बेडिंग की गणना करना ताकि बाद के प्रॉम्प्ट-कंडीशन्ड मास्क डिकोडिंग CPU पर लगभग 50ms में निष्पादित हो सकें।
zero-shot transfer: वेट्स को फाइन-ट्यून किए बिना प्रॉम्प्ट इंजीनियरिंग का उपयोग करके डाउनस्ट्रीम कार्यों और अनदेखे इमेज डिस्ट्रीब्यूशन पर प्री-ट्रेन्ड प्रॉम्प्टेबल मॉडल का मूल्यांकन करना।
stable mask filtering: एक गुणवत्ता फ़िल्टर जो उन मास्क का चयन करता है जिनके बाइनरी आकार $0.5 - δ$ बनाम $0.5 + δ$ पर लॉजिट प्रोबेबिलिटी मैप्स को थ्रेशोल्ड करने पर नगण्य रूप से भिन्न होते हैं।

प्रश्न

जब एक ही बिंदु कई वस्तुओं का संकेत दे सकता है, तो SAM अस्पष्टता को कैसे संभालता है?

SAM अनुमानित IoU कॉन्फिडेंस स्कोर के साथ एक साथ तीन मास्क (आमतौर पर सबपार्ट, पार्ट और पूरे का प्रतिनिधित्व करते हुए) आउटपुट करता है। प्रशिक्षण के दौरान, यह केवल न्यूनतम त्रुटि वाले प्रेडिक्शन से लॉस को बैकप्रॉपैगैट करता है।

क्या SA-1B में 1.1 अरब मास्क मैन्युअल रूप से लेबल किए गए हैं?

नहीं, SA-1B में जारी 99.1% मास्क 1.1 करोड़ छवियों पर एकसमान पॉइंट ग्रिड पर SAM को प्रॉम्प्ट करके पूरी तरह से स्वचालित रूप से उत्पन्न किए गए थे, जिसमें विश्वास और स्थिरता के लिए व्यापक फ़िल्टरिंग शामिल थी।

क्या SAM टेक्स्ट विवरण के आधार पर किसी छवि को सेगमेंट कर सकता है?

हाँ, एक खोजपूर्ण प्रूफ-ऑफ-कॉन्सेप्ट के रूप में। प्रशिक्षण के दौरान प्रॉम्प्ट टोकन के रूप में मास्क के CLIP इमेज एम्बेडिंग्स देकर SAM को प्रशिक्षित किया गया था, जो CLIP के टेक्स्ट एन्कोडर से प्राप्त टेक्स्ट एम्बेडिंग्स को इन्फेरेंस के समय SAM को प्रॉम्प्ट करने की अनुमति देता है।

यदि मानव SAM के मास्क को उच्च रेटिंग देते हैं, तो COCO पर SAM का मास्क AP, ViTDet से कम क्यों है?

पर्यवेक्षित मॉडल डेटासेट-विशिष्ट पॉलीगॉन पूर्वाग्रह, बाउंड्री स्मूथिंग आर्टिफैक्ट्स और COCO ग्राउंड ट्रुथ में मौजूद अमोडल परंपराओं को सीखते हैं, जबकि ज़ीरो-शॉट SAM स्पष्ट, मोडल विज़ुअल सीमाएं आउटपुट करता है जो मानव धारणा से मेल खाती हैं लेकिन पक्षपाती एनोटेशन के विरुद्ध IoU पेनल्टी का सामना करती हैं।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें