MOSS-Image Technical Report

MOSI. AI

งานวิจัย · arXiv 2610.23374

รายงานทางเทคนิค MOSS-Image

MOSS-Image Technical Report

MOSI. AI

เผยแพร่ 2026-10-16cs.CV arXiv PDF

อ่านพร้อมคำแปลและ AI

สรุปสามบรรทัด

🎯 โมเดล text-to-image แบบ open-weight ยังคงมีปัญหากับเลย์เอาต์หลายองค์ประกอบที่ซับซ้อน และการเรนเดอร์ข้อความสองภาษาขนาดยาวที่ต่อเนื่องจากพรอมต์สั้นๆ ของผู้ใช้
🔧 พรีเทรนโมเดล DiT แบบ single-stream ขนาด 5B ขึ้นมาใหม่ทั้งหมด โดยใช้คำบรรยายภาพหลายระดับความละเอียดและการควบคุมด้วย JSON ระบุ bounding-box ที่มีโครงสร้าง ร่วมกับ LLM เอเจนต์ช่วงการอนุมานเพื่อขยายพรอมต์ตามเจตนา
📈 บรรลุประสิทธิภาพระดับ state-of-the-art ในกลุ่ม open-weight บน LongLongTextBench ด้วยคะแนนความครอบคลุมของข้อความ Mean-6 ที่ 96.3 และทำคะแนน RealLayoutArena Elo ได้ 1698.70 (อยู่อันดับสองรองจาก GPT Image 2)

บทคัดย่อ

ระบบสร้างภาพแบบ closed-source ในปัจจุบันสามารถสร้างเนื้อหาภาพที่หลากหลายตั้งแต่องค์ประกอบเรียบง่ายไปจนถึงกราฟิกที่อัดแน่นไปด้วยข้อมูล แต่โมเดล text-to-image แบบ open-weight ยังคงประสบปัญหาในการเรนเดอร์ข้อความที่หนาแน่นและเลย์เอาต์ที่ซับซ้อน เพื่อลดช่องว่างนี้ เราขอแนะนำ MOSS-Image ระบบสร้างภาพแบบเปิดที่ผสมผสานการสังเคราะห์ภาพความเที่ยงตรงสูงเข้ากับการจัดวางองค์ประกอบที่เข้าใจเจตนาของผู้ใช้ ประการแรก เราได้พรีเทรน diffusion transformer (DiT) แบบ single-stream ขนาด 5B ขึ้นมาใหม่ทั้งหมดด้วยกระบวนการเทรนที่ออกแบบมาอย่างพิถีพิถัน ทำให้สามารถเรนเดอร์ข้อความยาวสองภาษาและควบคุมเลย์เอาต์ได้อย่างแม่นยำ ประการที่สอง เราพัฒนาโมดูลขยายพรอมต์ (Prompt Enhancement: PE) แบบเอเจนต์ที่รับรู้เจตนา ซึ่งจะแปลงคำขอที่หลากหลายของผู้ใช้ให้กลายเป็นข้อกำหนดเนื้อหาและเลย์เอาต์ที่ละเอียด เมื่อทำงานร่วมกัน องค์ประกอบเหล่านี้ช่วยให้ MOSS-Image สามารถสร้างภาพที่อุดมไปด้วยข้อความและมีเลย์เอาต์ที่สอดคล้องกัน นอกจากนี้ เรายังได้นำเสนอ LongLongTextBench (LLTB) สำหรับการประเมินการเรนเดอร์ข้อความภาษาอังกฤษและภาษาจีนแบบยาว รวมถึง RealLayoutArena (RLA) สำหรับการสร้างภาพที่มีเลย์เอาต์ซับซ้อนแบบ end-to-end โดย MOSS-Image มีประสิทธิภาพระดับ state-of-the-art ในกลุ่มโมเดล open-weight บน LLTB ด้วยความครอบคลุมของข้อความเฉลี่ย 96.3% และบน RLA นั้น MOSS-Image ได้อันดับสองในการเปรียบเทียบระบบแบบ end-to-end ขณะที่โมเดลแบ็กโบนของระบบได้อันดับหนึ่งเมื่อประเมินตัวสร้างภาพด้วยพรอมต์ที่ผ่านการปรับปรุงชุดเดียวกัน ทั้งนี้ เราจะเปิดเผยโมเดล สูตรการฝึกฝน และเฟรมเวิร์กการประเมินเพื่อสนับสนุนการวิจัยต่อไปและส่งเสริมชุมชน text-to-image

บทคัดย่อต้นฉบับ (ภาษาอังกฤษ)

Recent closed-source image generation systems can produce diverse visual content from simple compositions to information-dense graphics, yet open-weight text-to-image models still struggle with dense text and intricate layouts. To narrow this gap, we introduce MOSS-Image, an open generation system that combines high-fidelity visual synthesis with intent-aware composition. First, we pretrain a 5B single-stream diffusion transformer (DiT) from scratch with a carefully designed recipe, enabling bilingual long-form text rendering and precise layout control. Second, we develop an intention-aware agentic prompt enhancement (PE) module that translates diverse user requests into detailed content and layout specifications. Together, they enable MOSS-Image to generate text-rich and layout-coherent images. We further introduce LongLongTextBench (LLTB) for evaluating long-form English and Chinese text rendering, and RealLayoutArena (RLA) for end-to-end layout-rich generation. MOSS-Image achieves state-of-the-art performance among open-weight models on LLTB, with an average text coverage of 96.3%. On RLA, MOSS-Image ranks second in the end-to-end system comparison, while its backbone ranks first among generators evaluated with shared enhanced prompts. We will release the model, training recipe, and evaluation framework to support further research and promote the text-to-image community.

คู่มือการอ่าน

ปัญหาและแรงจูงใจ

ตัวสร้างภาพแบบ closed-source (เช่น GPT Image 2, Seedream 5.0 Pro) สามารถสร้างสื่อการสื่อสารด้วยภาพที่ซับซ้อนได้อย่างน่าเชื่อถือ เช่น โปสเตอร์ อินโฟกราฟิก และยูสเซอร์อินเทอร์เฟซ อย่างไรก็ตาม โมเดลแบบ open-weight ยังคงประสบปัญหาสำคัญสองประการที่เกี่ยวเนื่องกัน:

การเรนเดอร์: การวาดข้อความสองภาษา (อังกฤษ/จีน) ที่ยาวและหนาแน่นอย่างแม่นยำ รวมถึงการยึดตามเลย์เอาต์เชิงพื้นที่ 2 มิติอย่างเคร่งครัด
การระบุข้อกำหนด: การแปลงพรอมต์สั้นๆ ของผู้ใช้ (มักจะน้อยกว่า 10 คำ) ให้กลายเป็นแผนเนื้อหาที่มีโครงสร้างสมบูรณ์และเลย์เอาต์เชิงพิกัด

เกณฑ์มาตรฐานด้านข้อความที่มีอยู่ เช่น LongTextBench มีความยาวเฉลี่ยเพียง ~~120 ตัวอักษรต่อเป้าหมายและใกล้ถึงจุดอิ่มตัว (~~96–98% coverage) ซึ่งไม่สามารถทดสอบข้อความวรรณกรรมที่มีความยาวระดับหน้ากระดาษหรือการจัดองค์ประกอบหลายส่วนที่ซับซ้อนได้

แนวคิดหลัก

Unified Text-Conditioning Pathway: คำบรรยายภาพใหม่ในภาษาธรรมชาติและเลย์เอาต์ bounding-box ที่มีโครงสร้าง (JSON) จะถูกป้อนผ่านเส้นทางการปรับเงื่อนไขข้อความเดียว (ผ่านตัวเข้ารหัส Qwen3.5-9B ที่ถูกแช่แข็งไว้) ทำให้โครงข่ายแบ็กโบนสามารถจัดการได้ทั้งข้อความบรรยายและข้อจำกัดเลย์เอาต์ระดับพิกัดได้โดยตรง
Annotate Rather Than Filter: แทนที่จะคัดภาพที่ไม่สมบูรณ์ทิ้ง (เช่น มีลายน้ำ มีสิ่งแปลกปนจากการบีบอัด หรือภาพเบลอ) ทีมงานเลือกที่จะรักษาการกระจายตัวของภาพที่กว้างไว้ และอธิบายสิ่งแปลกปนเหล่านี้ไว้อย่างชัดเจนในข้อความบรรยาย
Preserving Line Breaks: มีการคงอักขระขึ้นบรรทัดใหม่ตามจริง (\n) ไว้ในคำอธิบาย เพื่อสอนให้ DiT เข้าใจอย่างชัดเจนว่าข้อความควรตัดคำและจัดระเบียบข้ามบรรทัดอย่างไร
Agentic Prompt Enhancement (PE): ระบบวางแผนช่วงการอนุมาน (GPT-6) จะกำหนดเส้นทางคำขอตามประเภทของสื่อ (โปสเตอร์ อินโฟกราฟิก UI) ดึงข้อมูลความรู้และภาพอ้างอิง และสร้างข้อกำหนดเลย์เอาต์ในรูปแบบ JSON ที่มีโครงสร้างออกมา
เบঞ্চมาร์กใหม่: มีการเปิดตัว LongLongTextBench (LLTB) (เฉลี่ย 1,339.8 ตัวอักษรทั้งภาษาอังกฤษและจีน) และ RealLayoutArena (RLA) (การประเมินแบบสุ่มคู่โดยมนุษย์ใน 61 งานออกแบบที่ซับซ้อน)

ระเบียบวิธี

1. สถาปัตยกรรมแบ็กโบน

โมเดล: Single-stream Diffusion Transformer (DiT) ขนาด 5B, 42 บล็อก, hidden size 3072, 24 heads (128 dims/head), FFN size 8192
ตัวเข้ารหัส: ตัวเข้ารหัสข้อความ Qwen3.5-9B ที่ถูกแช่แข็ง และ FLUX.2 VAE ที่ถูกแช่แข็ง (patch size $2 \times 2$ , effective stride 16 พิกเซล)
Feed-Forward: SiTU-GLU พร้อมการจำกัดค่าแบบเรียบ (smooth capping) $c_{β} (v) = β tanh (v / β)$ : $FFN (x) = W_{o} [c_{β_{g}} (g) ⊙ sigmoid (g) ⊙ c_{β_{u}} (u)]$
4D RoPE: หัว query/key ถูกแบ่งตามพิกัด $p = (r, t, w, h)$ ซึ่งแทนดัชนีอ้างอิง, ตำแหน่งในลำดับ, ความกว้าง และความสูง: $RoPE_{4 D} (z, p) = [R_{r} (r) z_{r}; R_{t} (t) z_{t}; R_{w} (w) z_{w}; R_{h} (h) z_{h}]$ เมื่อไม่มีภาพอ้างอิงภายนอก $r = 0$ ทำให้มิติ 32 ตัวแรกไม่ถูกหมุน (partial RoPE)
ฟังก์ชันการสูญเสียในการเทรน: วัตถุประสงค์ packed flow-matching เหนือ latent tokens $N_{i}$ ที่ถูกต้องในทุกตัวอย่างของแบทช์: $L_{FM} = E [\frac{1}{\sum _{i} N _{i}} i \sum p = 1 \sum N_{i} \frac{1}{C} ∥ v_{θ} (z_{σ_{i}}, 1000 σ_{i}, c_{i})_{p} - (ϵ_{i} - z_{0, i})_{p} ∥_{2}^{2}]$
ออปติไมเซอร์: ไฮบริด Muon–AdamW โดยใช้ Muon กับเมทริกซ์ 2D ที่เข้าเกณฑ์ และใช้ AdamW กับเวกเตอร์/เอ็มเบดดิง ซึ่งช่วยให้ลู่เข้าได้เร็วกว่าการใช้ AdamW เพียงอย่างเดียวประมาณ ~28–33%

2. การเทรนและการควบคุมหลายขั้นตอน

ฝึกฝนมากกว่า 3 ขั้นตอนจนถึงสเต็ปที่ 310,000 โดยจำกัดพื้นที่ภาพเป้าหมายสูงสุดที่ $102 4^{2}$ พิกเซล และรองรับข้อความได้สูงสุด 4,096 โทเค็น
สุ่มตัวอย่างคำบรรยายภาพในระดับความละเอียดสั้น กลาง และยาว ผสมผสานกับการระบุเลย์เอาต์อย่างชัดเจน (สคีมา JSON แบบ scene/element หรือ summary/items)

ผลลัพธ์

LongLongTextBench (LLTB): MOSS-Image ได้คะแนนความครอบคลุม 96.3 Mean-6 ใน 6 กลุ่มความยาวภาษา ซึ่งมีประสิทธิภาพเหนือกว่าโมเดล open-weight อื่นๆ รวมถึง Qwen Image 2512 (64.9 Mean-6) ขณะที่ Ideogram 4.0 ทำได้ 63.5 (หรือ 68.1 หากไม่นับคำขอที่ระบบความปลอดภัยปฏิเสธ)
7Bench Layout Control: MOSS-Image ทำได้ 0.8786 $mIoU_{det}$ และ 0.7031 Layout AUC ซึ่งดีกว่า Ideogram 4.0 (0.4449 $mIoU_{det}$ , 0.2046 Layout AUC), GPT Image 2 (0.3042 $mIoU_{det}$ ) และ Seedream 5.0 Pro (0.3273 $mIoU_{det}$ )
RealLayoutArena (RLA): ในการประเมินแบบสุ่มคู่โดยมนุษย์จาก 61 งานออกแบบ:
- แบบ End-to-end: MOSS-Image ได้คะแนน 1698.70 Elo เป็นอันดับสองรองจาก GPT Image 2 (1844.35 Elo) และนำหน้า Seedream 5.0 Pro (1661.16 Elo)
- พรอมต์ที่ผ่านการปรับปรุงชุดเดียวกัน: เมื่อตัวสร้างภาพทั้งหมดได้รับพรอมต์ภาษาธรรมชาติที่เขียนใหม่เหมือนกัน แบ็กโบนของ MOSS-Image คว้าอันดับหนึ่งด้วยคะแนน 1807.34 Elo
- กลยุทธ์การใช้พรอมต์: การกำหนดเงื่อนไขเลย์เอาต์ด้วย JSON ทำคะแนนได้ 1622.87 Elo เอาชนะการบรรยายเลย์เอาต์ด้วยภาษาธรรมชาติ (1506.20) และพรอมต์แบบสั้น (1081.70)

ข้อจำกัดและประเด็นที่ยังเปิดกว้าง

แบ็กโบน DiT ยังไม่สามารถรับเงื่อนไขจากภาพอ้างอิงได้โดยตรง หรือทำการแก้ไขภาพเฉพาะจุดแบบทำซ้ำได้
Layout Prompt Enhancer จำเป็นต้องพึ่งพาโมเดลภาษาเชิงพาณิชย์ภายนอก (GPT-6) โดยการวางแผนด้านสุนทรียภาพหรือข้อมูลที่คลาดเคลื่อนในเอาต์พุตของ LLM จะส่งผลต่อคุณภาพของภาพที่สร้างโดยตรง
ประสิทธิภาพในงานข้อความภาษาจีนที่ยาวที่สุด (ความครอบคลุม 92.4%) ยังคงตามหลังข้อความภาษาอังกฤษขนาดยาวเล็กน้อย (97.1%)

คำศัพท์สำคัญ

MOSS-Image: ระบบสร้างภาพจากข้อความแบบเปิดที่จับคู่แบ็กโบน DiT แบบ single-stream ขนาด 5B เข้ากับระบบขยายพรอมต์แบบเอเจนต์ที่รับรู้เจตนา
SiTU-GLU: เลเยอร์แอ็กทิเวชัน feed-forward แบบ gated ที่ใช้ฟังก์ชัน hyperbolic tangent capping แบบเรียบเพื่อรักษาเสถียรภาพพลวัตการฝึกฝน
4D RoPE: Rotary position embeddings ที่แยกแกนตามดัชนีอ้างอิง ลำดับเวลา ความกว้าง และพิกัดความสูง
Muon: ออปติไมเซอร์อัปเดตเมทริกซ์ที่อิงตามขั้นตอน Newton–Schulz นำมาใช้ร่วมกับ AdamW ในรูปแบบไฮบริดเพื่อเร่งการลู่เข้าของ DiT
Layout PE: เอเจนต์ช่วงการอนุมานที่ขับเคลื่อนด้วย LLM ซึ่งทำหน้าที่จัดเส้นทางคำขอออกแบบของผู้ใช้ ตรวจสอบภาพอ้างอิง และสร้างข้อกำหนดเลย์เอาต์ที่มีโครงสร้างในรูปแบบ JSON
LongLongTextBench (LLTB): เบกมาร์กที่มีงานเรนเดอร์ข้อความวรรณกรรมสองภาษา 240 งาน เฉลี่ยประมาณ 1,340 ตัวอักษรต่อพรอมต์ เพื่อทดสอบการสร้างข้อความขนาดยาวอย่างต่อเนื่อง
RealLayoutArena (RLA): สนามประเมินเปรียบเทียบแบบสุ่มคู่โดยมนุษย์เพื่อประเมินโปสเตอร์ อินโฟกราฟิก และยูสเซอร์อินเทอร์เฟซ ในงานออกแบบที่ซับซ้อน 61 งาน
Line-Break Alignment: การคงอักขระขึ้นบรรทัดใหม่ตามจริงไว้ในคำอธิบายข้อความ เพื่อกำกับการจัดเรียงข้อความเป็นเลย์เอาต์หลายบรรทัดในระหว่างกระบวนการลดสัญญาณรบกวนของการแพร่กระจาย

คำถามที่พบบ่อย

เหตุใด MOSS-Image จึงใช้ DiT แบบ single-stream แทนสถาปัตยกรรม dual-stream?

DiT แบบ single-stream ประมวลผลโทเค็นข้อความและ latent tokens ของภาพร่วมกันในบล็อก self-attention เดียวกัน ทำให้สามารถกำหนดเงื่อนไขทั้งข้อความบรรยายและ bounding box ในรูปแบบ JSON ผ่านอินเทอร์เฟซข้อความเดียวกันได้โดยตรง

MOSS-Image บรรลุการเรนเดอร์ข้อความที่ดีขึ้นผ่านการขึ้นบรรทัดใหม่ได้อย่างไร?

การถอดข้อความแบบคำต่อคำโดยคงการขึ้นบรรทัดใหม่ไว้ช่วยให้โมเดลได้รับการกำกับดูแลการจัดระเบียบบรรทัดอย่างชัดเจน การศึกษารายกรณีแสดงให้เห็นว่าการขึ้นบรรทัดใหม่อย่างชัดเจนช่วยให้ตัวอักษรปรากฏขึ้นเร็วขึ้นและชัดเจนขึ้นในระหว่างกระบวนการลดสัญญาณรบกวน

เหตุใดจึงเลือกใช้ปรัชญาการดูแลชุดข้อมูลแบบ 'annotate rather than filter'?

การทดลอง ablation แสดงให้เห็นว่าการกรองภาพทิ้งตามอัตราส่วนภาพ ค่าเอนโทรปี ลายน้ำ หรือความเบลอ ส่งผลให้ความหลากหลายของภาพโดยรวมลดลงและคะแนนการสร้างข้อความลดลงอย่างมาก การบันทึกความไม่สมบูรณ์เหล่านี้ไว้ในคำอธิบายภาพช่วยรักษาความครอบคลุมของการแจกแจงข้อมูลโดยไม่ลดทอนคุณภาพของภาพที่ได้

รูปแบบพิกัด bounding-box แบบใดที่จัดการกับความละเอียดของภาพที่ไม่เคยเห็นมาก่อนได้ดีที่สุด?

พิกัดพิกเซลสัมบูรณ์ที่มีจุดศูนย์กลางเป็นศูนย์สามารถปรับใช้กับความละเอียดสูงที่ไม่เคยเห็นมาก่อนได้ดีกว่าพิกัดสัมพัทธ์แบบปรับมาตรฐาน [0, 1000] ซึ่งมีแนวโน้มที่จะบีบองค์ประกอบต่างๆ ให้หดเล็กลงไปอยู่ตรงกลางภาพ

คำอธิบายในหน้านี้เขียนโดย AI จากงานวิจัยและอาจมีข้อผิดพลาด โปรดอ่านต้นฉบับเพื่อดูรายละเอียด

อ่านพร้อมคำแปลและ AI