Informe técnico de MOSS-Image

Guía de lectura

Problema y motivación

Los generadores de imágenes de código cerrado (p. ej., GPT Image 2, Seedream 5.0 Pro) pueden producir de manera confiable materiales de comunicación visual complejos como pósteres, infografías e interfaces de usuario. Sin embargo, los modelos con pesos abiertos aún enfrentan dos desafíos interconectados:

1. Renderizado: Dibujar con fidelidad texto bilingüe (inglés/chino) extenso y denso, adhiriéndose estrictamente a layouts espaciales en 2D.
2. Especificación: Traducir prompts breves de usuarios (a menudo de menos de 10 palabras) en planes de contenido ricos y estructurados junto con coordenadas de layout.

Los benchmarks de texto existentes como LongTextBench promedian solo 120 caracteres por objetivo y están cerca de la saturación (96–98% de cobertura), quedándose cortos para evaluar textos literarios del tamaño de una página o composiciones complejas de múltiples elementos.

Ideas clave

• Vía unificada de condicionamiento de texto: Las descripciones en lenguaje natural y los layouts estructurados con bounding boxes (JSON) se introducen a través de una única vía de condicionamiento textual (mediante un codificador congelado Qwen3.5-9B), lo que permite al backbone gestionar de forma nativa tanto la prosa descriptiva como las restricciones de layout a nivel de coordenadas.
• Anotar en lugar de filtrar: En lugar de descartar imágenes imperfectas (p. ej., marcas de agua, artefactos de compresión, desenfoque), el equipo conserva distribuciones visuales amplias y describe explícitamente estos artefactos en las descripciones textuales.
• Preservación de saltos de línea: Se conservan los caracteres literales de salto de línea (\n) en las anotaciones para enseñar explícitamente al DiT cómo se ajusta y organiza el texto en distintas líneas.
• Mejora agéntica de prompts (PE): Un planificador en tiempo de inferencia (GPT-6) enruta las solicitudes según el soporte (póster, infografía, interfaz de usuario), recupera conocimiento y referencias visuales, y produce especificaciones de layout estructuradas en JSON.
• Nuevos benchmarks: Introducción de LongLongTextBench (LLTB) (con un promedio de 1,339.8 caracteres entre inglés y chino) y RealLayoutArena (RLA) (evaluaciones humanas a ciegas por pares a través de 61 tareas de diseño complejas).

Método

1. Arquitectura del backbone

• Modelo: Diffusion Transformer (DiT) single-stream de 5B, 42 bloques, tamaño oculto de 3072, 24 cabezales (128 dimensiones/cabezal), tamaño de FFN de 8192.
• Codificadores: Codificador de texto congelado Qwen3.5-9B y VAE congelado FLUX.2 (tamaño de parche de $2\times 2$, stride efectivo de 16 píxeles).
• Feed-Forward: SiTU-GLU con acotamiento suave (smooth capping) $c_{\beta }(v)=\beta \tanh (v/\beta )$: $$\mathrm{FFN}(\mathbf{x})=W_o\left[c_{{\beta }_g}(\mathbf{g})\odot \mathrm{sigmoid}(\mathbf{g})\odot c_{{\beta }_u}(\mathbf{u})\right]$$
• RoPE 4D: Las cabezas de consulta/clave se particionan a lo largo de las coordenadas $\mathbf{p}=(r,t,w,h)$ que representan el índice de referencia, la posición en la secuencia, el ancho y el alto: $${\mathrm{RoPE}}_{4D}(\mathbf{z},\mathbf{p})=[R_r(r){\mathbf{z}}_r;R_t(t){\mathbf{z}}_t;R_w(w){\mathbf{z}}_w;R_h(h){\mathbf{z}}_h]$$ Sin imágenes de referencia externas, $r=0$, dejando las primeras 32 dimensiones sin rotar (RoPE parcial).
• Pérdida de entrenamiento: Objetivo de packed flow-matching sobre los tokens latentes válidos $N_i$ a través de las muestras del lote: $${\mathcal{L}}_{\mathrm{FM}}=\mathbb{E}\left[\frac{1}{{\sum }_i{N}_i}\sum _i\sum _{p=1}^{N_i}\frac{1}{C}{\Vert v_{\theta }(z_{{\sigma }_i},1000{\sigma }_i,c_i{)}_p-({ϵ}_i-z_{0,i}{)}_p\Vert }_2^2\right]$$
• Optimizador: Optimizador híbrido Muon–AdamW, aplicando Muon a las matrices 2D elegibles y AdamW a vectores/embeddings, logrando una convergencia aproximadamente un 28–33% más rápida que con AdamW solo.

2. Entrenamiento y supervisión multietapa

• Entrenado a lo largo de 3 etapas hasta el paso 310,000, limitando el área de la imagen objetivo a $1024^2$ píxeles y la capacidad de texto a 4,096 tokens.
• Los subtítulos se muestrean con granularidades corta, media y larga, combinados con anotaciones explícitas de layout (esquemas JSON de escena/elemento o resumen/elementos).

Resultados

• LongLongTextBench (LLTB): MOSS-Image alcanza una cobertura Mean-6 de 96.3 en 6 contenedores de longitud e idioma, superando a modelos de pesos abiertos incluidos Qwen Image 2512 (64.9 Mean-6). Ideogram 4.0 alcanza 63.5 (o 68.1 si se excluyen los rechazos por seguridad).
• Control de layout en 7Bench: MOSS-Image logra 0.8786 ${\mathrm{mIoU}}_{\det }$ y 0.7031 Layout AUC, superando a Ideogram 4.0 (0.4449 ${\mathrm{mIoU}}_{\det }$, 0.2046 Layout AUC), GPT Image 2 (0.3042 ${\mathrm{mIoU}}_{\det }$) y Seedream 5.0 Pro (0.3273 ${\mathrm{mIoU}}_{\det }$).
• RealLayoutArena (RLA): En la evaluación humana por pares en 61 tareas de diseño:
  • Extremo a extremo: MOSS-Image obtiene 1698.70 de Elo, ubicándose en segundo lugar detrás de GPT Image 2 (1844.35 Elo) y por delante de Seedream 5.0 Pro (1661.16 Elo).
  • Prompts mejorados compartidos: Cuando todos los generadores reciben la misma reescritura de prompt en lenguaje natural, el backbone de MOSS-Image se posiciona en primer lugar con 1807.34 de Elo.
  • Estrategia de prompting: El condicionamiento de layout mediante JSON obtiene 1622.87 de Elo, superando al layout en prosa natural (1506.20) y a los prompts cortos (1081.70).

Limitaciones y preguntas abiertas

• El backbone DiT no puede condicionarse de forma nativa a partir de imágenes de referencia ni realizar edición iterativa localizada de imágenes.
• El Layout Prompt Enhancer depende de modelos de lenguaje comerciales externos (GPT-6); los fallos en la planificación estética o las imprecisiones fácticas en las respuestas del LLM limitan directamente la calidad de la generación.
• El rendimiento en las tareas con los textos más largos en chino (92.4% de cobertura) aún se sitúa ligeramente por detrás de los textos largos en inglés (97.1%).