Rapport technique sur MOSS-Image

Guide de lecture

Problème et motivation

Les générateurs d'images propriétaires (par exemple, GPT Image 2, Seedream 5.0 Pro) produisent de manière fiable des supports de communication visuelle complexes tels que des affiches, des infographies et des interfaces utilisateur. Les modèles ouverts, en revanche, se heurtent toujours à deux défis interdépendants :

1. Rendu : Dessiner fidèlement un texte bilingue (anglais/chinois) dense et prolongé, et respecter strictement des agencements spatiaux 2D.
2. Spécification : Traduire des invites utilisateur courtes (souvent moins de 10 mots) en plans de contenu riches et structurés avec des coordonnées de mise en page.

Les benchmarks de texte existants comme LongTextBench ne comptent en moyenne que 120 caractères par cible et sont proches de la saturation (96–98 % de couverture), échouant à évaluer des textes littéraires de la longueur d'une page ou des compositions complexes multi-éléments.

Idées clés

• Voie unifiée de conditionnement du texte : Les relégendages en langage naturel et les mises en page structurées sous forme de boîtes englobantes (JSON) sont transmis via une voie unique de conditionnement textuel (via un encodeur Qwen3.5-9B gelé), ce qui permet à l'architecture dorsale de gérer nativement la prose descriptive ainsi que les contraintes d'agencement au niveau des coordonnées.
• Annoter plutôt que filtrer : Au lieu de rejeter les images imparfaites (par exemple avec filigranes, artefacts de compression, flou), l'équipe conserve de larges distributions visuelles et décrit explicitement ces artefacts dans les légendes textuelles.
• Préservation des sauts de ligne : Les caractères exacts de saut de ligne (\n) dans les annotations sont conservés pour enseigner explicitement au DiT la manière dont le texte passe à la ligne et s'organise.
• Amélioration agentique des prompts (PE) : Un planificateur exécuté lors de l'inférence (GPT-6) achemine les requêtes selon le support (affiche, infographie, interface utilisateur), récupère des connaissances et des références visuelles, et produit des spécifications de mise en page structurées en JSON.
• Nouveaux benchmarks : Introduction de LongLongTextBench (LLTB) (avec une moyenne de 1 339,8 caractères en anglais et en chinois) et de RealLayoutArena (RLA) (évaluations humaines à l'aveugle par paires sur 61 tâches de conception complexes).

Méthode

1. Architecture du modèle dorsal

• Modèle : Diffusion Transformer (DiT) à flux unique de 5B, 42 blocs, dimension cachée de 3072, 24 têtes (128 dimensions/tête), taille du FFN de 8192.
• Encodeurs : Encodeur de texte Qwen3.5-9B gelé et VAE FLUX.2 gelé (taille de patch $2\times 2$, pas effectif de 16 pixels).
• Feed-Forward : SiTU-GLU avec plafonnement fluide $c_{\beta }(v)=\beta \tanh (v/\beta )$ : $$\mathrm{FFN}(\mathbf{x})=W_o\left[c_{{\beta }_g}(\mathbf{g})\odot \mathrm{sigmoid}(\mathbf{g})\odot c_{{\beta }_u}(\mathbf{u})\right]$$
• 4D RoPE : Les têtes de requête/clé sont partitionnées selon les coordonnées $\mathbf{p}=(r,t,w,h)$ représentant l'indice de référence, la position dans la séquence, la largeur et la hauteur : $${\mathrm{RoPE}}_{4D}(\mathbf{z},\mathbf{p})=[R_r(r){\mathbf{z}}_r;R_t(t){\mathbf{z}}_t;R_w(w){\mathbf{z}}_w;R_h(h){\mathbf{z}}_h]$$ Sans images de référence externes, $r=0$, ce qui laisse les 32 premières dimensions non tournées (RoPE partielle).
• Perte d'entraînement : Objectif de flow-matching compacté sur les jetons latents valides $N_i$ parmi les échantillons du lot : $${\mathcal{L}}_{\mathrm{FM}}=\mathbb{E}\left[\frac{1}{{\sum }_i{N}_i}\sum _i\sum _{p=1}^{N_i}\frac{1}{C}{\Vert v_{\theta }(z_{{\sigma }_i},1000{\sigma }_i,c_i{)}_p-({ϵ}_i-z_{0,i}{)}_p\Vert }_2^2\right]$$
• Optimiseur : Optimiseur hybride Muon–AdamW, appliquant Muon aux matrices 2D éligibles et AdamW aux vecteurs/plongements, offrant une convergence ~28–33 % plus rapide qu'AdamW seul.

2. Entraînement multi-étapes et supervision

• Entraîné en 3 étapes jusqu'au pas 310 000, en plafonnant la surface d'image cible à $1024^2$ pixels et la capacité de texte à 4 096 jetons.
• Les légendes sont échantillonnées à des granularités courtes, moyennes et longues, mélangées avec des annotations explicites de mise en page (schémas JSON scène/éléments ou résumé/éléments).

Résultats

• LongLongTextBench (LLTB) : MOSS-Image atteint 96,3 Mean-6 de couverture sur 6 tranches de longueur linguistique, surpassant les modèles ouverts, y compris Qwen Image 2512 (64,9 Mean-6). Ideogram 4.0 atteint 63,5 (ou 68,1 si les refus de sécurité sont exclus).
• Contrôle de mise en page sur 7Bench : MOSS-Image atteint 0,8786 ${\mathrm{mIoU}}_{\det }$ et 0,7031 Layout AUC, surpassant Ideogram 4.0 (0,4449 ${\mathrm{mIoU}}_{\det }$, 0,2046 Layout AUC), GPT Image 2 (0,3042 ${\mathrm{mIoU}}_{\det }$) et Seedream 5.0 Pro (0,3273 ${\mathrm{mIoU}}_{\det }$).
• RealLayoutArena (RLA) : Dans l'évaluation humaine par paires sur 61 tâches de conception :
  • Bout en bout : MOSS-Image obtient un score Elo de 1698,70, se classant deuxième derrière GPT Image 2 (1844,35 Elo) et devant Seedream 5.0 Pro (1661,16 Elo).
  • Prompts améliorés partagés : Lorsque tous les générateurs reçoivent la même réécriture de prompt en langage naturel, le réseau MOSS-Image se classe premier avec 1807,34 Elo.
  • Stratégie de prompt : Le conditionnement de la mise en page en JSON obtient 1622,87 Elo, devançant la mise en page en prose naturelle (1506,20) et les invites courtes (1081,70).

Limites et questions ouvertes

• Le DiT dorsal ne peut pas être nativement conditionné par des images de référence ni réaliser d'éditions d'images localisées itératives.
• Le module Layout Prompt Enhancer dépend de modèles de langage commerciaux externes (GPT-6) ; une planification esthétique imparfaite ou des inexactitudes factuelles dans les sorties du LLM contraignent directement la qualité de la génération.
• Les performances sur les textes chinois les plus longs (92,4 % de couverture) restent légèrement en deçà de celles sur les textes longs en anglais (97,1 %).