MOSS-Image Technical Report

Guia de leitura

Problema e motivação

Geradores de imagens de código fechado (por exemplo, GPT Image 2, Seedream 5.0 Pro) conseguem produzir de forma consistente materiais complexos de comunicação visual, como pôsteres, infográficos e interfaces de usuário. Modelos de pesos abertos, no entanto, ainda lidam com dois desafios interligados:

1. Renderização: Desenhar com fidelidade textos densos e extensos em formato bilíngue (inglês/chinês) e seguir rigorosamente layouts espaciais 2D.
2. Especificação: Traduzir prompts curtos de usuários (geralmente com menos de 10 palavras) em planos de conteúdo ricos e estruturados com layouts de coordenadas.

Benchmarks de texto existentes, como o LongTextBench, têm uma média de apenas 120 caracteres por alvo e estão próximos da saturação (96–98% de cobertura), não conseguindo testar textos literários do tamanho de páginas ou composições multielemento complexas.

Principais ideias

• Fluxo Unificado de Condicionamento de Texto: Relegendas em linguagem natural e layouts estruturados de caixas delimitadoras (JSON) são alimentados por um único fluxo de condicionamento de texto (via um codificador congelado Qwen3.5-9B), permitindo que o backbone lide nativamente com prosa descritiva e restrições de layout no nível de coordenadas.
• Anotar em Vez de Filtrar: Em vez de descartar imagens imperfeitas (por exemplo, com marcas d'água, artefatos de compressão, desfoque), a equipe retém amplas distribuições visuais e descreve explicitamente esses artefatos nas legendas de texto.
• Preservação de Quebras de Linha: Caracteres exatos de quebra de linha (\n) são mantidos nas anotações para ensinar explicitamente ao DiT como o texto quebra e se organiza pelas linhas.
• Agentic Prompt Enhancement (PE): Um planejador em tempo de inferência (GPT-6) roteia as solicitações por mídia (pôster, infográfico, UI), recupera conhecimento e referências visuais, e produz especificações estruturadas de layout em JSON.
• Novos Benchmarks: Introdução do LongLongTextBench (LLTB) (com média de 1.339,8 caracteres combinando inglês e chinês) e do RealLayoutArena (RLA) (avaliações humanas cegas pareadas em 61 tarefas complexas de design).

Método

1. Arquitetura do Backbone

• Modelo: Diffusion Transformer (DiT) single-stream de 5B, 42 blocos, dimensão oculta 3072, 24 cabeças (128 dims/cabeça), tamanho de FFN 8192.
• Codificadores: Codificador de texto congelado Qwen3.5-9B e VAE congelado FLUX.2 (tamanho de patch $2\times 2$, stride efetivo de 16 pixels).
• Feed-Forward: SiTU-GLU com limitação suave (smooth capping) $c_{\beta }(v)=\beta \tanh (v/\beta )$: $$\mathrm{FFN}(\mathbf{x})=W_o\left[c_{{\beta }_g}(\mathbf{g})\odot \mathrm{sigmoid}(\mathbf{g})\odot c_{{\beta }_u}(\mathbf{u})\right]$$
• 4D RoPE: As cabeças de query/key são particionadas ao longo das coordenadas $\mathbf{p}=(r,t,w,h)$ representando índice de referência, posição sequencial, largura e altura: $${\mathrm{RoPE}}_{4D}(\mathbf{z},\mathbf{p})=[R_r(r){\mathbf{z}}_r;R_t(t){\mathbf{z}}_t;R_w(w){\mathbf{z}}_w;R_h(h){\mathbf{z}}_h]$$ Sem imagens de referência externas, $r=0$, mantendo as 32 dimensões iniciais sem rotação (RoPE parcial).
• Função de Perda no Treinamento: Objetivo de flow-matching empacotado sobre tokens latentes válidos $N_i$ entre amostras de lote: $${\mathcal{L}}_{\mathrm{FM}}=\mathbb{E}\left[\frac{1}{{\sum }_i{N}_i}\sum _i\sum _{p=1}^{N_i}\frac{1}{C}{\Vert v_{\theta }(z_{{\sigma }_i},1000{\sigma }_i,c_i{)}_p-({ϵ}_i-z_{0,i}{)}_p\Vert }_2^2\right]$$
• Otimizador: Otimizador híbrido Muon–AdamW, aplicando Muon a matrizes 2D elegíveis e AdamW a vetores/embeddings, obtendo convergência cerca de 28–33% mais rápida que o AdamW sozinho.

2. Treinamento em Múltiplos Estágios e Supervisão

• Treinado ao longo de 3 estágios até o passo 310.000, limitando a área da imagem alvo em $1024^2$ pixels e a capacidade de texto em 4.096 tokens.
• As legendas são amostradas em granularidades curta, média e longa, combinadas com anotações de layout explícitas (esquemas JSON de cena/elemento ou sumário/itens).

Resultados

• LongLongTextBench (LLTB): O MOSS-Image alcança uma cobertura Mean-6 de 96,3 em 6 faixas de extensão de idiomas, superando modelos de pesos abertos incluindo o Qwen Image 2512 (64,9 Mean-6). O Ideogram 4.0 alcança 63,5 (ou 68,1 se recusas de segurança forem excluídas).
• Controle de Layout no 7Bench: O MOSS-Image atinge 0,8786 em ${\mathrm{mIoU}}_{\det }$ e 0,7031 em Layout AUC, superando Ideogram 4.0 (0,4449 ${\mathrm{mIoU}}_{\det }$, 0,2046 Layout AUC), GPT Image 2 (0,3042 ${\mathrm{mIoU}}_{\det }$) e Seedream 5.0 Pro (0,3273 ${\mathrm{mIoU}}_{\det }$).
• RealLayoutArena (RLA): Em avaliação humana pareada em 61 tarefas de design:
  • Ponta a ponta: O MOSS-Image atinge 1698,70 Elo, ficando em segundo lugar, atrás do GPT Image 2 (1844,35 Elo) e à frente do Seedream 5.0 Pro (1661,16 Elo).
  • Prompts Aprimorados Compartilhados: Quando todos os geradores recebem a mesma reescrita de prompt em linguagem natural, o backbone do MOSS-Image fica em primeiro lugar com 1807,34 Elo.
  • Estratégia de Prompt: O condicionamento de layout em JSON obtém 1622,87 Elo, superando o layout em prosa natural (1506,20) e prompts curtos (1081,70).

Limitações e questões em aberto

• O backbone DiT não consegue se condicionar nativamente em imagens de referência nem realizar edição de imagem localizada iterativa.
• O Layout Prompt Enhancer depende de modelos de linguagem comerciais externos (GPT-6); falhas no planejamento estético ou imprecisões factuais nas saídas do LLM limitam diretamente a qualidade da geração.
• O desempenho nas tarefas com textos mais longos em chinês (92,4% de cobertura) ainda fica ligeiramente atrás do texto longo em inglês (97,1%).