MOSS-Image Technical Report

MOSI. AI

शोध पत्र · arXiv 2610.23374

MOSS-Image टेक्निकल रिपोर्ट

MOSS-Image Technical Report

MOSI. AI

प्रकाशित 2026-10-16cs.CV arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 ओपन-वेट टेक्स्ट-टू-इमेज मॉडल संक्षिप्त यूजर प्रॉम्प्ट्स से जटिल मल्टी-एलिमेंट लेआउट और सघन, निरंतर द्विभाषी टेक्स्ट रेंडरिंग में संघर्ष करते हैं।
🔧 मल्टी-ग्रैन्युलैरिटी कैप्शन्स और स्ट्रक्चर्ड बाउंडिंग-बॉक्स JSON सुपरविज़न का उपयोग करके शुरू से 5B सिंगल-स्ट्रीम DiT को प्रीट्रेन किया गया है, जिसे इंटेंट-अवेयर प्रॉम्प्ट एन्हांसमेंट के लिए इनफरेंस-टाइम LLM एजेंट के साथ जोड़ा गया है।
📈 LongLongTextBench पर 96.3 Mean-6 टेक्स्ट कवरेज के साथ अत्याधुनिक ओपन-वेट प्रदर्शन हासिल करता है, और RealLayoutArena पर 1698.70 Elo तक पहुंचता है (GPT Image 2 के बाद कुल मिलाकर दूसरे स्थान पर)।

सार

हाल के क्लोज्ड-सोर्स इमेज जेनरेशन सिस्टम सरल कंपोजिशन से लेकर जानकारी से भरपूर ग्राफिक्स तक विविध विज़ुअल सामग्री तैयार कर सकते हैं, लेकिन ओपन-वेट टेक्स्ट-टू-इमेज मॉडल अभी भी सघन टेक्स्ट और जटिल लेआउट के साथ संघर्ष करते हैं। इस अंतर को कम करने के लिए, हम MOSS-Image पेश करते हैं, जो एक ओपन जेनरेशन सिस्टम है और हाई-फिडेलिटी विज़ुअल सिंथेसिस को इंटेंट-अवेयर कंपोजिशन के साथ जोड़ता है। सबसे पहले, हम एक सावधानीपूर्वक तैयार की गई विधि के साथ शुरू से एक 5B सिंगल-स्ट्रीम diffusion transformer (DiT) को प्रीट्रेन करते हैं, जो द्विभाषी लॉन्ग-फॉर्म टेक्स्ट रेंडरिंग और सटीक लेआउट नियंत्रण को सक्षम बनाता है। दूसरा, हम एक इंटेंशन-अवेयर एजेंटिक प्रॉम्प्ट एन्हांसमेंट (PE) मॉड्यूल विकसित करते हैं जो विविध यूजर अनुरोधों को विस्तृत सामग्री और लेआउट विनिर्देशों में अनुवादित करता है। साथ मिलकर, वे MOSS-Image को टेक्स्ट-रिच और लेआउट-सुसंगत छवियां उत्पन्न करने में सक्षम बनाते हैं। इसके अलावा, हम लंबे अंग्रेजी और चीनी टेक्स्ट रेंडरिंग के मूल्यांकन के लिए LongLongTextBench (LLTB) और एंड-टू-एंड लेआउट-रिच जेनरेशन के लिए RealLayoutArena (RLA) पेश करते हैं। MOSS-Image ने LLTB पर ओपन-वेट मॉडलों में 96.3% के औसत टेक्स्ट कवरेज के साथ अत्याधुनिक प्रदर्शन प्राप्त किया है। RLA पर, MOSS-Image एंड-टू-एंड सिस्टम तुलना में दूसरे स्थान पर है, जबकि इसका बैकबोन साझा एन्हांस्ड प्रॉम्प्ट्स के साथ मूल्यांकित जनरेटरों में पहले स्थान पर है। हम टेक्स्ट-टू-इमेज समुदाय को बढ़ावा देने और आगे के शोध का समर्थन करने के लिए मॉडल, ट्रेनिंग रेसिपी और मूल्यांकन फ्रेमवर्क जारी करेंगे।

मूल सार (अंग्रेज़ी)

Recent closed-source image generation systems can produce diverse visual content from simple compositions to information-dense graphics, yet open-weight text-to-image models still struggle with dense text and intricate layouts. To narrow this gap, we introduce MOSS-Image, an open generation system that combines high-fidelity visual synthesis with intent-aware composition. First, we pretrain a 5B single-stream diffusion transformer (DiT) from scratch with a carefully designed recipe, enabling bilingual long-form text rendering and precise layout control. Second, we develop an intention-aware agentic prompt enhancement (PE) module that translates diverse user requests into detailed content and layout specifications. Together, they enable MOSS-Image to generate text-rich and layout-coherent images. We further introduce LongLongTextBench (LLTB) for evaluating long-form English and Chinese text rendering, and RealLayoutArena (RLA) for end-to-end layout-rich generation. MOSS-Image achieves state-of-the-art performance among open-weight models on LLTB, with an average text coverage of 96.3%. On RLA, MOSS-Image ranks second in the end-to-end system comparison, while its backbone ranks first among generators evaluated with shared enhanced prompts. We will release the model, training recipe, and evaluation framework to support further research and promote the text-to-image community.

पढ़ने की गाइड

समस्या और प्रेरणा

क्लोज्ड-सोर्स इमेज जनरेटर (जैसे GPT Image 2, Seedream 5.0 Pro) पोस्टर, इन्फोग्राफिक्स और यूजर इंटरफेस जैसी जटिल विज़ुअल संचार सामग्री को विश्वसनीय रूप से तैयार कर सकते हैं। हालांकि, ओपन-वेट मॉडल अभी भी दो परस्पर जुड़ी चुनौतियों से जूझ रहे हैं:

रेंडरिंग: निरंतर, सघन द्विभाषी (अंग्रेजी/चीनी) टेक्स्ट को सटीकता से बनाना और 2D स्थानिक लेआउट का कड़ाई से पालन करना।
विनिर्देश (Specification): संक्षिप्त यूजर प्रॉम्प्ट्स (अक्सर 10 से कम शब्द) को समृद्ध, संरचित सामग्री योजनाओं और निर्देशांक लेआउट में बदलना।

LongTextBench जैसे मौजूदा टेक्स्ट बेंचमार्क प्रति लक्ष्य औसतन केवल ~~120 वर्णों के होते हैं और संतृप्ति (~~96-98% कवरेज) के करीब हैं, जो पूरे पेज के साहित्यिक टेक्स्ट या जटिल मल्टी-एलिमेंट कंपोजिशन का परीक्षण करने में विफल रहते हैं।

मुख्य विचार

एकीकृत टेक्स्ट-कंडीशनिंग पाथवे: प्राकृतिक भाषा री-कैप्शन्स और स्ट्रक्चर्ड बाउंडिंग-बॉक्स लेआउट (JSON) को एक ही टेक्स्ट कंडीशनिंग पाथवे (एक फ्रोजन Qwen3.5-9B एन्कोडर के माध्यम से) से फीड किया जाता है, जिससे बैकबोन वर्णनात्मक गद्य और निर्देशांक-स्तरीय लेआउट बाधाओं दोनों को मूल रूप से संभाल सकता है।
फ़िल्टर करने के बजाय एनोटेट करना: अपूर्ण छवियों (जैसे वॉटरमार्क, कम्प्रेशन आर्टिफैक्ट्स, ब्लर) को हटाने के बजाय, टीम व्यापक विज़ुअल वितरण को बनाए रखती है और टेक्स्ट कैप्शन्स में इन आर्टिफैक्ट्स का स्पष्ट रूप से वर्णन करती है।
लाइन ब्रेक को संरक्षित करना: एनोटेशन में सटीक न्यूलाइन वर्णों (\n) को बनाए रखा जाता है ताकि DiT को स्पष्ट रूप से सिखाया जा सके कि टेक्स्ट लाइनों में कैसे रैप और व्यवस्थित होता है।
एजेंटिक प्रॉम्प्ट एन्हांसमेंट (PE): एक इनफरेंस-टाइम प्लानर (GPT-6) माध्यम (पोस्टर, इन्फोग्राफिक, UI) के अनुसार अनुरोधों को रूट करता है, ज्ञान और विज़ुअल संदर्भों को पुनः प्राप्त करता है, और संरचित लेआउट JSON विनिर्देश तैयार करता है।
नए बेंचमार्क: LongLongTextBench (LLTB) (अंग्रेजी और चीनी में औसतन 1,339.8 वर्ण) और RealLayoutArena (RLA) (61 जटिल डिज़ाइन कार्यों में ब्लाइंड पेयरवाइज़ मानव मूल्यांकन) की शुरुआत।

विधि

1. बैकबोन आर्किटेक्चर

मॉडल: 5B सिंगल-स्ट्रीम Diffusion Transformer (DiT), 42 ब्लॉक्स, हिडन साइज 3072, 24 हेड्स (128 डाइमेंशन्स/हेड), FFN साइज 8192।
एन्कोडर्स: फ्रोजन Qwen3.5-9B टेक्स्ट एन्कोडर और फ्रोजन FLUX.2 VAE (पैच साइज $2 \times 2$ , प्रभावी स्ट्राइड 16 पिक्सल)।
फ़ीड-फ़ॉरवर्ड: स्मूथ कैपिंग $c_{β} (v) = β tanh (v / β)$ के साथ SiTU-GLU: $FFN (x) = W_{o} [c_{β_{g}} (g) ⊙ sigmoid (g) ⊙ c_{β_{u}} (u)]$
4D RoPE: क्वेरी/की हेड्स को निर्देशांक $p = (r, t, w, h)$ के अनुदिश विभाजित किया गया है, जो संदर्भ इंडेक्स, सीक्वेंस स्थिति, चौड़ाई और ऊंचाई का प्रतिनिधित्व करते हैं: $RoPE_{4 D} (z, p) = [R_{r} (r) z_{r}; R_{t} (t) z_{t}; R_{w} (w) z_{w}; R_{h} (h) z_{h}]$ बिना बाहरी संदर्भ छवियों के, $r = 0$ , जिससे शुरुआती 32 डाइमेंशन्स अनरोटेटेड रहते हैं (पार्शियल RoPE)।
ट्रेनिंग लॉस: बैच नमूनों में वैध लेटेंट टोकन्स $N_{i}$ पर पैक्ड फ्लो-मैचिंग ऑब्जेक्टिव: $L_{FM} = E [\frac{1}{\sum _{i} N _{i}} i \sum p = 1 \sum N_{i} \frac{1}{C} ∥ v_{θ} (z_{σ_{i}}, 1000 σ_{i}, c_{i})_{p} - (ϵ_{i} - z_{0, i})_{p} ∥_{2}^{2}]$
ऑप्टिमाइज़र: हाइब्रिड Muon–AdamW ऑप्टिमाइज़र, जो उपयुक्त 2D मैट्रिसेस पर Muon और वेक्टर्स/एम्बेडिंग्स पर AdamW लागू करता है, जिससे अकेले AdamW की तुलना में ~28-33% तेज़ कन्वर्जेंस प्राप्त होता है।

2. मल्टी-स्टेज ट्रेनिंग और सुपरविज़न

स्टेप 310,000 तक 3 चरणों में प्रशिक्षित, टारगेट इमेज क्षेत्र को $102 4^{2}$ पिक्सल और टेक्स्ट क्षमता को 4,096 टोकन पर सीमित किया गया।
कैप्शन्स को शॉर्ट, मीडियम और लॉन्ग ग्रैन्युलैरिटी पर सैंपल किया जाता है, जिन्हें स्पष्ट लेआउट एनोटेशन (सीन/एलिमेंट या सारांश/आइटम JSON स्कीमा) के साथ मिलाया जाता है।

परिणाम

LongLongTextBench (LLTB): MOSS-Image 6 भाषा-लंबाई श्रेणियों में 96.3 Mean-6 कवरेज प्राप्त करता है, जो Qwen Image 2512 (64.9 Mean-6) सहित ओपन-वेट मॉडलों से बेहतर प्रदर्शन करता है। Ideogram 4.0 63.5 तक पहुंचता है (सुरक्षा रिफ्यूजल को हटाने पर 68.1)।
7Bench लेआउट कंट्रोल: MOSS-Image 0.8786 $mIoU_{det}$ और 0.7031 Layout AUC हासिल करता है, जो Ideogram 4.0 (0.4449 $mIoU_{det}$ , 0.2046 Layout AUC), GPT Image 2 (0.3042 $mIoU_{det}$ ), और Seedream 5.0 Pro (0.3273 $mIoU_{det}$ ) से बेहतर है।
RealLayoutArena (RLA): 61 डिज़ाइन कार्यों पर पेयरवाइज़ मानव मूल्यांकन में:
- एंड-टू-एंड: MOSS-Image 1698.70 Elo स्कोर करता है, जो GPT Image 2 (1844.35 Elo) के बाद दूसरे स्थान पर और Seedream 5.0 Pro (1661.16 Elo) से आगे है।
- शेयर्ड एन्हांस्ड प्रॉम्प्ट्स: जब सभी जनरेटर समान प्राकृतिक भाषा प्रॉम्प्ट रीराइट प्राप्त करते हैं, तो MOSS-Image बैकबोन 1807.34 Elo के साथ पहले स्थान पर रहता है।
- प्रॉम्प्ट रणनीति: JSON लेआउट कंडीशनिंग 1622.87 Elo प्राप्त करती है, जो प्राकृतिक गद्य लेआउट (1506.20) और शॉर्ट प्रॉम्प्ट्स (1081.70) को पीछे छोड़ देती है।

सीमाएं और खुले प्रश्न

DiT बैकबोन इमेज संदर्भों पर मूल रूप से कंडीशन नहीं कर सकता है या पुनरावृत्त स्थानीयकृत इमेज एडिटिंग नहीं कर सकता है।
लेआउट प्रॉम्प्ट एन्हांसर बाहरी कमर्शियल लैंग्वेज मॉडल (GPT-6) पर निर्भर करता है; LLM आउटपुट में एस्थेटिक प्लानिंग या तथ्यात्मक अशुद्धियां सीधे जेनरेशन की गुणवत्ता को सीमित करती हैं।
सबसे लंबे चीनी टेक्स्ट कार्यों पर प्रदर्शन (92.4% कवरेज) अभी भी अंग्रेजी के लंबे टेक्स्ट (97.1%) से थोड़ा पीछे है।

मुख्य शब्द

MOSS-Image: एक ओपन टेक्स्ट-टू-इमेज जेनरेशन सिस्टम जो 5B सिंगल-स्ट्रीम DiT बैकबोन को इंटेंट-अवेयर एजेंटिक प्रॉम्प्ट एन्हांसर के साथ जोड़ता है।
SiTU-GLU: ट्रेनिंग डायनेमिक्स को स्थिर करने के लिए स्मूथ हाइपरबॉलिक टैनजेंट कैपिंग फ़ंक्शंस का उपयोग करने वाली एक गेटेड फ़ीड-फ़ॉरवर्ड एक्टिवेशन लेयर।
4D RoPE: रोटरी पोज़िशन एम्बेडिंग्स जो संदर्भ इंडेक्स, टेम्पोरल सीक्वेंस पोज़िशन, चौड़ाई और ऊंचाई निर्देशांकों में विघटित होती हैं।
Muon: न्यूटन-शुल्ज़ स्टेप्स पर आधारित एक मैट्रिक्स-अपडेट ऑप्टिमाइज़र, जिसे DiT कन्वर्जेंस को तेज़ करने के लिए AdamW के साथ हाइब्रिड सेटअप में जोड़ा गया है।
Layout PE: एक LLM-संचालित इनफरेंस-टाइम एजेंट जो यूजर डिज़ाइन प्रश्नों को रूट करता है, विज़ुअल संदर्भों की जांच करता है, और JSON में संरचित लेआउट विनिर्देश उत्पन्न करता है।
LongLongTextBench (LLTB): निरंतर टेक्स्ट जेनरेशन का परीक्षण करने के लिए प्रति प्रॉम्प्ट औसतन ~1,340 वर्णों वाले 240 द्विभाषी साहित्यिक-टेक्स्ट रेंडरिंग कार्यों का एक बेंचमार्क।
RealLayoutArena (RLA): 61 जटिल डिज़ाइन कार्यों में पोस्टर, इन्फोग्राफिक्स और यूजर इंटरफेस का मूल्यांकन करने वाला एक ब्लाइंड मानव पेयरवाइज़ तुलना अखाड़ा (arena)।
Line-Break Alignment: डिफ्यूज़न डीनॉइज़िंग के दौरान टेक्स्ट मल्टी-लाइन लेआउट में कैसे व्यवस्थित होता है, इसकी देखरेख के लिए टेक्स्ट एनोटेशन में सटीक न्यूलाइन वर्णों को संरक्षित करना।

प्रश्न

MOSS-Image ड्यूल-स्ट्रीम आर्किटेक्चर के बजाय सिंगल-स्ट्रीम DiT का उपयोग क्यों करता है?

एक सिंगल-स्ट्रीम DiT शेयर्ड सेल्फ-अटेंशन ब्लॉक्स में टेक्स्ट टोकन्स और इमेज लेटेंट टोकन्स को संयुक्त रूप से प्रोसेस करता है, जिससे प्राकृतिक गद्य और स्ट्रक्चर्ड JSON बाउंडिंग बॉक्स को समान टेक्स्ट इंटरफेस के माध्यम से कंडीशन किया जा सकता है।

MOSS-Image लाइन ब्रेक के माध्यम से बेहतर टेक्स्ट रेंडरिंग कैसे प्राप्त करता है?

लाइन ब्रेक को संरक्षित करते हुए टेक्स्ट को शब्दशः ट्रांसक्राइब करके, मॉडल को लाइन संगठन पर स्पष्ट सुपरविज़न प्राप्त होता है। केस स्टडी से पता चलता है कि स्पष्ट लाइन ब्रेक डीनॉइज़िंग के दौरान वर्णों को पहले और स्पष्ट रूप से उभरने में मदद करते हैं।

'फ़िल्टर करने के बजाय एनोटेट करें' का डेटा क्यूरेशन दर्शन क्यों अपनाया गया?

एब्लेशन प्रयोगों से पता चला कि आस्पेक्ट रेशियो, एन्ट्रॉपी, वॉटरमार्क या ब्लर के आधार पर छवियों को फ़िल्टर करने से समग्र विज़ुअल विविधता में गिरावट आई और टेक्स्ट स्कोर में भारी कमी आई। टेक्स्ट विवरणों के भीतर खामियों को शामिल करने से आउटपुट फिडेलिटी का त्याग किए बिना वितरण कवरेज को संरक्षित रखा गया।

कौन सा बाउंडिंग-बॉक्स कोऑर्डिनेट फॉर्मेट अनदेखे इमेज रिज़ॉल्यूशन को सबसे अच्छे से संभालता है?

ज़ीरो-सेंटर्ड एब्सोल्यूट पिक्सेल कोऑर्डिनेट्स नॉर्मलाइज़्ड [0, 1000] रिलेटिव कोऑर्डिनेट्स की तुलना में अनदेखे उच्च रिज़ॉल्यूशन पर बेहतर रूप से सामान्यीकृत (generalized) होते हैं, क्योंकि रिलेटिव कोऑर्डिनेट्स तत्वों को कैनवास के केंद्र में सिकोड़ देते थे।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें