MOSS-Image Technical Report

MOSI. AI

الأوراق البحثية · arXiv 2610.23374

التقرير التقني لـ MOSS-Image

MOSS-Image Technical Report

MOSI. AI

تاريخ النشر 2026-10-16cs.CV arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 تواجه النماذج مفتوحة الأوزان لتحويل النص إلى صورة صعوبة في التعامل مع التخطيطات المعقدة متعددة العناصر وتصيير النصوص الكثيفة والمستمرة ثنائية اللغة استناداً إلى أوامر مستخدم موجزة.
🔧 تدريب مسبق لنموذج DiT أحادي المسار بحجم 5B من الصفر باستخدام أوصاف متعددة الدقة وإشراف منظم بصيغة JSON لصناديق الإحاطة، مقترناً بوكيل LLM أثناء الاستدلال لتحسين الأوامر بوعي للنية.
📈 تحقيق أداء متطور كنموذج مفتوح الأوزان على LongLongTextBench بمتوسط تغطية نصية Mean-6 يبلغ 96.3، والوصول إلى 1698.70 تصنيف Elo على RealLayoutArena (ليحتل المرتبة الثانية إجمالاً خلف GPT Image 2).

الملخص

تستطيع أنظمة توليد الصور مغلقة المصدر الحديثة إنتاج محتوى بصري متنوع، بدءاً من التكوينات البسيطة ووصولاً إلى الرسومات الغنية بالمعلومات، إلا أن نماذج تحويل النص إلى صورة مفتوحة الأوزان لا تزال تواجه صعوبة في التعامل مع النصوص الكثيفة والتخطيطات المعقدة. ولتضييق هذه الفجوة، نُقدّم MOSS-Image، وهو نظام توليد مفتوح يجمع بين التركيب البصري عالي الدقة والتكوين المدرك للنية. أولاً، نقوم بالتدريب المسبق لمحول انتشار (DiT) أحادي المسار بحجم 5B من الصفر وفق وصفة تدريب دقيقة، مما يتيح تصيير النصوص الطويلة ثنائية اللغة والتحكم الدقيق في التخطيط. ثانياً، طوّرنا وحدة وكيلية لتحسين الأوامر (PE) مدركة للنية، تقوم بترجمة طلبات المستخدمين المتنوعة إلى مواصفات مفصلة للمحتوى والتخطيط. معاً، يمكّن هذان المكونان MOSS-Image من توليد صور غنية بالنصوص ومتناسقة التخطيط. وعلاوة على ذلك، نقدّم LongLongTextBench (LLTB) لتقييم تصيير النصوص الطويلة باللغتين الإنجليزية والصينية، وRealLayoutArena (RLA) لتقييم التوليد الغني بالتخطيط من البداية إلى النهاية. يحقق MOSS-Image أداءً متطوراً بين النماذج مفتوحة الأوزان على LLTB، مع متوسط تغطية نصية تبلغ 96.3%. وعلى RLA، يحتل MOSS-Image المرتبة الثانية في مقارنة الأنظمة الشاملة (end-to-end)، بينما يتصدر نموذجه الأساسي (backbone) المرتبة الأولى بين المولدات التي تم تقييمها بأوامر محسنة مشتركة. سنقوم بإتاحة النموذج ووصفة التدريب وإطار التقييم لدعم المزيد من الأبحاث ودفع مجتمع تحويل النص إلى صورة إلى الأمام.

الملخص الأصلي (بالإنجليزية)

Recent closed-source image generation systems can produce diverse visual content from simple compositions to information-dense graphics, yet open-weight text-to-image models still struggle with dense text and intricate layouts. To narrow this gap, we introduce MOSS-Image, an open generation system that combines high-fidelity visual synthesis with intent-aware composition. First, we pretrain a 5B single-stream diffusion transformer (DiT) from scratch with a carefully designed recipe, enabling bilingual long-form text rendering and precise layout control. Second, we develop an intention-aware agentic prompt enhancement (PE) module that translates diverse user requests into detailed content and layout specifications. Together, they enable MOSS-Image to generate text-rich and layout-coherent images. We further introduce LongLongTextBench (LLTB) for evaluating long-form English and Chinese text rendering, and RealLayoutArena (RLA) for end-to-end layout-rich generation. MOSS-Image achieves state-of-the-art performance among open-weight models on LLTB, with an average text coverage of 96.3%. On RLA, MOSS-Image ranks second in the end-to-end system comparison, while its backbone ranks first among generators evaluated with shared enhanced prompts. We will release the model, training recipe, and evaluation framework to support further research and promote the text-to-image community.

دليل القراءة

المشكلة والدوافع

تستطيع مولدات الصور مغلقة المصدر (مثل GPT Image 2 وSeedream 5.0 Pro) إنتاج مواد تواصل بصري معقدة وموثوقة مثل الملصقات، ومخططات المعلومات البيانية (infographics)، وواجهات المستخدم. ومع ذلك، لا تزال النماذج مفتوحة الأوزان تواجه تحديين مترابطين:

التصيير (Rendering): الرسم الدقيق للنصوص الكثيفة والمستمرة ثنائية اللغة (الإنجليزية/الصينية) والالتزام الصارم بالتخطيطات المكانية ثنائية الأبعاد.
التحديد (Specification): ترجمة أوامر المستخدم الموجزة (غالباً أقل من 10 كلمات) إلى خطط محتوى وتخطيطات إحداثية غنية ومنظمة.

المقاييس المرجعية الحالية للنصوص مثل LongTextBench يبلغ متوسطها حوالي 120 حرفاً فقط لكل هدف وتقترب من مرحلة التشبع (~96-98% تغطية)، مما يجعلها عاجزة عن اختبار النصوص الأدبية بطول صفحة كاملة أو التكوينات المعقدة متعددة العناصر.

الأفكار الرئيسية

مسار موحد للتكييف بالنص (Unified Text-Conditioning Pathway): يتم تمرير الأوصاف المعاد صياغتها باللغة الطبيعية وتخطيطات صناديق الإحاطة المنظمة (JSON) عبر مسار تكييف نصي واحد (عبر مشفر Qwen3.5-9B مجمد)، مما يسمح للنموذج الأساسي بالتعامل أصلياً مع كل من النصوص الوصفية وقيود التخطيط على مستوى الإحداثيات.
التعليق التوضيحي بدلاً من التصفية (Annotate Rather Than Filter): بدلاً من استبعاد الصور غير المثالية (مثل تلك التي تحتوي على علامات مائية، أو تشوهات الضغط، أو الضبابية)، يحتفظ الفريق بتوزيعات بصرية واسعة ويصف هذه العيوب صراحةً في الأوصاف النصية.
الحفاظ على فواصل الأسطر (Preserving Line Breaks): يتم الاحتفاظ بمحارف السطر الجديد الفعلية (\n) في التعليقات التوضيحية لتعليم الـ DiT صراحةً كيفية التفاف النص وتنظيمه عبر الأسطر.
تحسين الأوامر الوكيلي (Agentic Prompt Enhancement - PE): يقوم مخطط أثناء الاستدلال (GPT-6) بتوجيه الطلبات حسب نوع الوسيط (ملصق، إنفوجرافيك، واجهة مستخدم)، واسترجاع المعرفة والمراجع البصرية، وإنتاج مواصفات تخطيط منظمة بصيغة JSON.
مقاييس مرجعية جديدة: تقديم LongLongTextBench (LLTB) (بمتوسط 1,339.8 حرفاً عبر اللغتين الإنجليزية والصينية) وRealLayoutArena (RLA) (تقييمات بشرية ثنائية عمياء عبر 61 مهمة تصميم معقدة).

الطريقة

1. بنية النموذج الأساسي

النموذج: محول انتشار (DiT) أحادي المسار بحجم 5B، يتكون من 42 كتلة، وحجم طبقة خفية 3072، و24 رأساً (128 بعداً لكل رأس)، وحجم FFN يبلغ 8192.
المشفرات: مشفر نصوص مجمد Qwen3.5-9B ومرمز تلقائي متغير مجمد FLUX.2 VAE (حجم الرقعة $2 \times 2$ ، وخطوة فعالة قدرها 16 بكسل).
التغذية الأمامية (Feed-Forward): بنية SiTU-GLU مع حد أعلى ناعم $c_{β} (v) = β tanh (v / β)$ : $FFN (x) = W_{o} [c_{β_{g}} (g) ⊙ sigmoid (g) ⊙ c_{β_{u}} (u)]$
4D RoPE: يتم تقسيم رؤوس الاستعلام/المفتاح على طول الإحداثيات $p = (r, t, w, h)$ التي تمثل مؤشر المرجع، وموضع التسلسل، والعرض، والارتفاع: $RoPE_{4 D} (z, p) = [R_{r} (r) z_{r}; R_{t} (t) z_{t}; R_{w} (w) z_{w}; R_{h} (h) z_{h}]$ بدون صور مرجعية خارجية، تكون $r = 0$ ، مما يترك الأبعاد الـ 32 الأولى دون تدوير (partial RoPE).
دالة خسارة التدريب: دالة خسارة مطابقة التدفق المجمعة (Packed flow-matching) على رموز الفضاء الكامن الصالحة $N_{i}$ عبر عينات الدفعة: $L_{FM} = E [\frac{1}{\sum _{i} N _{i}} i \sum p = 1 \sum N_{i} \frac{1}{C} ∥ v_{θ} (z_{σ_{i}}, 1000 σ_{i}, c_{i})_{p} - (ϵ_{i} - z_{0, i})_{p} ∥_{2}^{2}]$
المُحسِّن: مُحسِّن هجين يجمع بين Muon وAdamW، حيث يطبق Muon على المصفوفات ثنائية الأبعاد المؤهلة وAdamW على المتجهات/التضمينات، مما يحقق تقارباً أسرع بنسبة ~28-33% مقارنة باستخدام AdamW بمفرده.

2. تدريب وإشراف متعدد المراحل

تم التدريب على 3 مراحل حتى الخطوة 310,000، مع تحديد الحد الأقصى لمساحة الصورة المستهدفة بـ $102 4^{2}$ بكسل وسعة النص بـ 4,096 رمزاً.
يتم أخذ عينات من الأوصاف النصية بحبيبات تفصيلية قصيرة ومتوسطة وطويلة، مدمجة مع تعليقات توضيحية صريحة للتخطيط (مخططات JSON للمشهد/العنصر أو الملخص/العناصر).

النتائج

LongLongTextBench (LLTB): حقق MOSS-Image نسبة تغطية 96.3 Mean-6 عبر 6 فئات لطول النص واللغة، متفوقاً على النماذج مفتوحة الأوزان بما في ذلك Qwen Image 2512 (الذي حقق 64.9 Mean-6). بينما وصل Ideogram 4.0 إلى 63.5 (أو 68.1 في حال استبعاد حالات الرفض لأسباب تتعلق بالأمان والسلامة).
التحكم في التخطيط على 7Bench: حقق MOSS-Image نتيجة 0.8786 $mIoU_{det}$ و0.7031 Layout AUC، متفوقاً على Ideogram 4.0 (الذي حقق 0.4449 $mIoU_{det}$ و0.2046 Layout AUC)، وGPT Image 2 (الذي حقق 0.3042 $mIoU_{det}$ )، وSeedream 5.0 Pro (الذي حقق 0.3273 $mIoU_{det}$ ).
RealLayoutArena (RLA): في التقييم البشري الثنائي المقارن على 61 مهمة تصميم:
- من البداية إلى النهاية: سجل MOSS-Image تصنيف 1698.70 Elo، ليحتل المرتبة الثانية بعد GPT Image 2 (1844.35 Elo) ومتفوقاً على Seedream 5.0 Pro (1661.16 Elo).
- أوامر محسنة مشتركة: عندما تلقت جميع المولدات نفس إعادة الصياغة باللغة الطبيعية للأمر، احتل النموذج الأساسي لـ MOSS-Image المرتبة الأولى بـ 1807.34 Elo.
- استراتيجية الأوامر: حقق التكييف بتخطيط JSON تصنيف 1622.87 Elo، متفوقاً على التخطيط عبر السرد الطبيعي (1506.20) والأوامر القصيرة (1081.70).

القيود والأسئلة المفتوحة

لا يمكن للنموذج الأساسي DiT التكيف أصلياً مع صور مرجعية أو تنفيذ تحرير موضعي تكراري للصور.
يعتمد مُحسِّن أوامر التخطيط على نماذج لغوية تجارية خارجية (GPT-6)؛ وبالتالي فإن أي ضعف في التخطيط الجمالي أو عدم دقة في الحقائق ضمن مخرجات نماذج LLM يحد بشكل مباشر من جودة التوليد.
لا يزال الأداء في مهام النصوص الصينية الأطول (تغطية 92.4%) متأخراً قليلاً عن النصوص الإنجليزية الطويلة (97.1%).

المصطلحات الرئيسية

MOSS-Image: نظام توليد مفتوح لتحويل النص إلى صورة يجمع بين نموذج أساسي DiT أحادي المسار بحجم 5B ومُحسِّن أوامر وكيلي مدرك للنية.
SiTU-GLU: طبقة تنشيط تغذية أمامية بوابية تستخدم دوال حد أعلى سلسة تعتمد على الظل الزائدي (tanh) لتثبيت ديناميكيات التدريب.
4D RoPE: تضمينات موضع دورانية مفككة عبر إحداثيات مؤشر المرجع، والموضع الزمني للتسلسل، والعرض، والارتفاع.
Muon: مُحسِّن لتحديث المصفوفات يعتمد على خطوات Newton–Schulz، يُدمج في إعداد هجين مع AdamW لتسريع تقارب نماذج DiT.
Layout PE: وكيل يُشغَّل أثناء الاستدلال معتمداً على LLM، يقوم بتوجيه استفسارات التصميم من المستخدم، وفحص المراجع البصرية، وتوليد مواصفات تخطيط منظمة بصيغة JSON.
LongLongTextBench (LLTB): مقياس مرجعي يتكون من 240 مهمة تصيير لنصوص أدبية ثنائية اللغة بمتوسط ~1,340 حرفاً لكل أمر لاختبار توليد النصوص الطويلة والمستمرة.
RealLayoutArena (RLA): ساحة مقارنة ثنائية عمياء قائمة على التقييم البشري لتقييم الملصقات ومخططات المعلومات البيانية وواجهات المستخدم عبر 61 مهمة تصميم معقدة.
Line-Break Alignment: الحفاظ على محارف السطر الجديد الحرفية في التعليقات التوضيحية للنصوص للإشراف على كيفية ترتيب النص في تخطيطات متعددة الأسطر أثناء عملية إزالة التشويش في الانتشار.

أسئلة شائعة

لماذا يستخدم MOSS-Image نموذج DiT أحادي المسار بدلاً من بنية ثنائية المسار؟

يقوم نموذج DiT أحادي المسار بمعالجة رموز النص ورموز الفضاء الكامن للصورة بشكل مشترك في كتل انتباه ذاتي مشتركة، مما يسمح للتعبير اللغوي الطبيعي وصناديق الإحاطة المنظمة بصيغة JSON بالتكيف عبر نفس الواجهة النصية.

كيف يحقق MOSS-Image تصييراً أفضل للنصوص من خلال فواصل الأسطر؟

من خلال نسخ النص حرفياً مع الحفاظ على فواصل الأسطر، يتلقى النموذج إشرافاً صريحاً على كيفية تنظيم الأسطر. وتوضح دراسات الحالة أن فواصل الأسطر الصريحة تساعد الحروف على الظهور في وقت أبكر وبشكل أوضح أثناء إزالة التشويش.

لماذا تم اعتماد فلسفة تجهيز البيانات القائمة على 'التعليق التوضيحي بدلاً من التصفية'؟

أظهرت تجارب الاستئصال أن تصفية الصور بناءً على نسبة العرض إلى الارتفاع أو الإنتروبيا أو العلامات المائية أو الضبابية أدت إلى تدهور التنوع البصري العام وخفضت درجات تصيير النصوص بشكل كبير. وقد ساعد التقاط هذه العيوب صراحةً داخل الأوصاف النصية في الحفاظ على اتساع التوزيع دون التضحية بدقة المخرجات.

أي صيغ إحداثيات صناديق الإحاطة تتعامل بشكل أفضل مع أبعاد الصور غير المسبوقة؟

حققت إحداثيات البكسل المطلقة متمركزة الصفر (Zero-centered) تعميماً أفضل على الأبعاد الأعلى غير المسبوقة مقارنة بالإحداثيات النسبية المعيارية [0, 1000]، والتي كانت تميل إلى تقليص العناصر نحو مركز مساحة الرسم.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي