MOSS-Image Technischer Bericht

Leseleitfaden

Problem und Motivation

Closed-Source-Bildgeneratoren (z. B. GPT Image 2, Seedream 5.0 Pro) können komplexe visuelle Kommunikationsmaterialien wie Poster, Infografiken und Benutzeroberflächen zuverlässig erzeugen. Open-Weight-Modelle kämpfen jedoch weiterhin mit zwei miteinander verknüpften Herausforderungen:

1. Rendering: Getreues Zeichnen von durchgehendem, dichtem zweisprachigem (Englisch/Chinesisch) Text und striktes Einhalten von räumlichen 2D-Layouts.
2. Spezifikation: Übersetzen kurzer Benutzer-Prompts (oft weniger als 10 Wörter) in reichhaltige, strukturierte Inhaltspläne und Koordinatenlayouts.

Bestehende Text-Benchmarks wie LongTextBench erreichen im Schnitt nur 120 Zeichen pro Ziel und sind nahezu gesättigt (96–98 % Abdeckung), womit sie seitengroße literarische Texte oder komplexe Kompositionen mit vielen Elementen nicht adäquat testen.

Zentrale Ideen

• Unified Text-Conditioning Pathway: Bildbeschreibungen in natürlicher Sprache und strukturierte Bounding-Box-Layouts (JSON) werden über einen einzigen Textkonditionierungspfad (über einen eingefrorenen Qwen3.5-9B-Encoder) eingespeist. Dadurch kann das Backbone sowohl Fließtext als auch Layout-Constraints auf Koordinatenebene nativ verarbeiten.
• Annotate Rather Than Filter: Anstatt unvollkommene Bilder (z. B. Wasserzeichen, Kompressionsartefakte, Unschärfe) zu verwerfen, behält das Team breite visuelle Verteilungen bei und beschreibt diese Artefakte explizit in den Bildunterschriften.
• Beibehaltung von Zeilenumbrüchen: Exakte Zeilenumbruchzeichen (\n) werden in den Annotationen beibehalten, um dem DiT explizit beizubringen, wie Text umbrochen und über Zeilen hinweg organisiert wird.
• Agentic Prompt Enhancement (PE): Ein Planer zur Inferenzzeit (GPT-6) leitet Anfragen nach Medium (Poster, Infografik, UI) weiter, ruft Wissen und visuelle Referenzen ab und erzeugt strukturierte Layout-JSON-Spezifikationen.
• Neue Benchmarks: Einführung von LongLongTextBench (LLTB) (durchschnittlich 1.339,8 Zeichen über Englisch und Chinesisch hinweg) und RealLayoutArena (RLA) (blinde paarweise menschliche Bewertungen für 61 komplexe Designaufgaben).

Methode

1. Backbone-Architektur

• Modell: 5B Single-Stream Diffusion Transformer (DiT), 42 Blöcke, Hidden Size 3072, 24 Attention-Heads (128 Dimensionen/Head), FFN-Größe 8192.
• Encoder: Eingefrorener Qwen3.5-9B Text-Encoder und eingefrorener FLUX.2 VAE (Patch-Größe $2\times 2$, effektive Schrittweite 16 Pixel).
• Feed-Forward: SiTU-GLU mit weichem Capping $c_{\beta }(v)=\beta \tanh (v/\beta )$: $$\mathrm{FFN}(\mathbf{x})=W_o\left[c_{{\beta }_g}(\mathbf{g})\odot \mathrm{sigmoid}(\mathbf{g})\odot c_{{\beta }_u}(\mathbf{u})\right]$$
• 4D RoPE: Query-/Key-Heads sind entlang der Koordinaten $\mathbf{p}=(r,t,w,h)$ aufgeteilt, die Referenzindex, Sequenzposition, Breite und Höhe repräsentieren: $${\mathrm{RoPE}}_{4D}(\mathbf{z},\mathbf{p})=[R_r(r){\mathbf{z}}_r;R_t(t){\mathbf{z}}_t;R_w(w){\mathbf{z}}_w;R_h(h){\mathbf{z}}_h]$$ Ohne externe Referenzbilder ist $r=0$, wodurch die führenden 32 Dimensionen unrotiert bleiben (partielles RoPE).
• Trainingsverlust: Packed Flow-Matching-Ziel über gültige latente Tokens $N_i$ über die Batch-Samples hinweg: $${\mathcal{L}}_{\mathrm{FM}}=\mathbb{E}\left[\frac{1}{{\sum }_i{N}_i}\sum _i\sum _{p=1}^{N_i}\frac{1}{C}{\Vert v_{\theta }(z_{{\sigma }_i},1000{\sigma }_i,c_i{)}_p-({ϵ}_i-z_{0,i}{)}_p\Vert }_2^2\right]$$
• Optimierer: Hybrider Muon–AdamW-Optimierer, der Muon auf geeignete 2D-Matrizen und AdamW auf Vektoren/Embeddings anwendet, was eine um ~28–33 % schnellere Konvergenz als AdamW allein ermöglicht.

2. Mehrstufiges Training und Supervision

• Trainiert über 3 Stufen bis Schritt 310.000, mit einer Begrenzung der Zielbildfläche auf $1024^2$ Pixel und einer Textkapazität von 4.096 Tokens.
• Captions werden in kurzen, mittleren und langen Granularitäten gesampelt und mit expliziten Layout-Annotationen (Scene/Element- oder Summary/Items-JSON-Schemas) gemischt.

Ergebnisse

• LongLongTextBench (LLTB): MOSS-Image erreicht 96,3 Mean-6-Abdeckung über 6 Sprach-Längen-Bins hinweg und übertrifft Open-Weight-Modelle wie Qwen Image 2512 (64,9 Mean-6). Ideogram 4.0 erreicht 63,5 (bzw. 68,1, wenn Sicherheitsverweigerungen ausgeschlossen werden).
• 7Bench Layout Control: MOSS-Image erzielt 0,8786 ${\mathrm{mIoU}}_{\det }$ und 0,7031 Layout AUC und übertrifft damit Ideogram 4.0 (0,4449 ${\mathrm{mIoU}}_{\det }$, 0,2046 Layout AUC), GPT Image 2 (0,3042 ${\mathrm{mIoU}}_{\det }$) sowie Seedream 5.0 Pro (0,3273 ${\mathrm{mIoU}}_{\det }$).
• RealLayoutArena (RLA): In paarweiser menschlicher Evaluierung bei 61 Designaufgaben:
  • End-to-End: MOSS-Image erzielt 1698,70 Elo und belegt den zweiten Platz hinter GPT Image 2 (1844,35 Elo) und vor Seedream 5.0 Pro (1661,16 Elo).
  • Shared Enhanced Prompts: Wenn alle Generatoren dieselbe sprachliche Prompt-Umschreibung erhalten, belegt das MOSS-Image-Backbone den ersten Platz mit 1807,34 Elo.
  • Prompt-Strategie: JSON-Layout-Konditionierung erreicht 1622,87 Elo und schlägt damit Layout-Beschreibungen in natürlicher Sprache (1506,20) und kurze Prompts (1081,70).

Einschränkungen und offene Fragen

• Das DiT-Backbone kann nicht nativ auf Bildreferenzen konditioniert werden oder iterative lokale Bildbearbeitungen durchführen.
• Der Layout-Prompt-Enhancer stützt sich auf externe kommerzielle Sprachmodelle (GPT-6); ästhetische Planungsfehler oder sachliche Ungenauigkeiten in den LLM-Ausgaben schränken die Generierungsqualität direkt ein.
• Die Leistung bei den längsten chinesischen Textaufgaben (92,4 % Abdeckung) hinkt langen englischen Texten (97,1 %) immer noch leicht hinterher.