Технический отчет по MOSS-Image

Разбор статьи

Проблема и мотивация

Закрытые генераторы изображений (например, GPT Image 2, Seedream 5.0 Pro) надежно создают сложные материалы визуальной коммуникации: плакаты, инфографику и интерфейсы. Однако открытые модели по-прежнему сталкиваются с двумя взаимосвязанными проблемами:

1. Рендеринг: точная отрисовка непрерывного, плотного двуязычного (английский/китайский) текста и строгое соблюдение 2D-разметки в пространстве.
2. Спецификация: преобразование кратких пользовательских запросов (часто короче 10 слов) в насыщенные структурированные планы контента и точные координаты элементов.

Существующие текстовые бенчмарки, такие как LongTextBench, содержат в среднем лишь 120 символов на задачу и близки к насыщению (96–98% покрытия), не позволяя тестировать литературный текст книжного объема или сложные многоэлементные композиции.

Ключевые идеи

• Единый канал обусловливания текстом (Unified Text-Conditioning Pathway): повторные описания на естественном языке и структурированные координаты ограничивающих рамок (JSON) подаются через единый текстовый интерфейс (через замороженный энкодер Qwen3.5-9B), что позволяет модели естественно обрабатывать как описательный текст, так и ограничения верстки на уровне координат.
• Аннотировать, а не фильтровать (Annotate Rather Than Filter): вместо удаления несовершенных изображений (с водяными знаками, артефактами сжатия, размытием) авторы сохраняют широкое визуальное распределение и явно описывают эти артефакты в текстовых аннотациях.
• Сохранение переносов строк: точные символы новой строки (\n) сохраняются в аннотациях, чтобы явно обучать DiT переносу текста и его разбиению на строки.
• Агентное расширение промптов (PE): планировщик на базе GPT-6 во время инференса маршрутизирует запросы по типу медиа (плакат, инфографика, UI), извлекает знания и визуальные примеры, после чего формирует структурированную спецификацию макета в формате JSON.
• Новые бенчмарки: представлены LongLongTextBench (LLTB) (в среднем 1339,8 символа на английском и китайском языках) и RealLayoutArena (RLA) (слепые попарные пользовательские оценки на 61 сложной дизайнерской задаче).

Метод

1. Архитектура бэкбона

• Модель: 5B однопоточный Diffusion Transformer (DiT), 42 блока, размер скрытого слоя 3072, 24 головы (128 измерений на голову), размер FFN 8192.
• Энкодеры: замороженный текстовый энкодер Qwen3.5-9B и замороженный VAE FLUX.2 (размер патча $2\times 2$, эффективный шаг (stride) 16 пикселей).
• Полносвязный слой (FFN): SiTU-GLU с плавным ограничением (smooth capping) $c_{\beta }(v)=\beta \tanh (v/\beta )$: $$\mathrm{FFN}(\mathbf{x})=W_o\left[c_{{\beta }_g}(\mathbf{g})\odot \mathrm{sigmoid}(\mathbf{g})\odot c_{{\beta }_u}(\mathbf{u})\right]$$
• 4D RoPE: проекции query/key разделены по координатам $\mathbf{p}=(r,t,w,h)$, обозначающим индекс референса, позицию в последовательности, ширину и высоту: $${\mathrm{RoPE}}_{4D}(\mathbf{z},\mathbf{p})=[R_r(r){\mathbf{z}}_r;R_t(t){\mathbf{z}}_t;R_w(w){\mathbf{z}}_w;R_h(h){\mathbf{z}}_h]$$ При отсутствии внешних референсных изображений $r=0$, оставляя первые 32 измерения без вращения (partial RoPE).
• Функция потерь при обучении: упакованная (packed) функция потерь flow-matching по валидным латентным токенам $N_i$ во всех сэмплах батча: $${\mathcal{L}}_{\mathrm{FM}}=\mathbb{E}\left[\frac{1}{{\sum }_i{N}_i}\sum _i\sum _{p=1}^{N_i}\frac{1}{C}{\Vert v_{\theta }(z_{{\sigma }_i},1000{\sigma }_i,c_i{)}_p-({ϵ}_i-z_{0,i}{)}_p\Vert }_2^2\right]$$
• Оптимизатор: гибридный оптимизатор Muon–AdamW, применяющий Muon к подходящим 2D-матрицам и AdamW к векторам/эмбеддингам, что обеспечивает ускорение сходимости на ~28–33% по сравнению с использованием исключительно AdamW.

2. Многоэтапное обучение и разметка данных

• Обучение проводилось в 3 этапа до 310 000 шагов с ограничением максимальной площади целевого изображения в $1024^2$ пикселей и лимитом текста в 4096 токенов.
• Описания сэмплировались с короткой, средней и длинной степенью детализации и смешивались с явной разметкой макета (схемы JSON вида scene/element или summary/items).

Результаты

• LongLongTextBench (LLTB): MOSS-Image достигает 96,3 Mean-6 покрытия по 6 категориям «язык–длина», превосходя открытые модели, включая Qwen Image 2512 (64,9 Mean-6). Ideogram 4.0 набирает 63,5 (или 68,1 без учета отказов по безопасности).
• 7Bench Layout Control: MOSS-Image достигает 0,8786 ${\mathrm{mIoU}}_{\det }$ и 0,7031 Layout AUC, опережая Ideogram 4.0 (0,4449 ${\mathrm{mIoU}}_{\det }$, 0,2046 Layout AUC), GPT Image 2 (0,3042 ${\mathrm{mIoU}}_{\det }$) и Seedream 5.0 Pro (0,3273 ${\mathrm{mIoU}}_{\det }$).
• RealLayoutArena (RLA): В слепых попарных пользовательских оценках на 61 дизайнерской задаче:
  • Сквозная система (End-to-end): MOSS-Image набирает 1698,70 Elo, занимая второе место после GPT Image 2 (1844,35 Elo) и опережая Seedream 5.0 Pro (1661,16 Elo).
  • Общие расширенные промпты: при подаче одинакового переписанного текстового промпта во все модели бэкбон MOSS-Image занял первое место с результатом 1807,34 Elo.
  • Стратегия промптинга: управление макетом через JSON дает 1622,87 Elo, превосходя текстовое описание структуры (1506,20) и короткие промпты (1081,70).

Ограничения и открытые вопросы

• Архитектура DiT пока не поддерживает нативное обусловливание изображениями-референсами и локальное итеративное редактирование.
• Модуль Layout Prompt Enhancer зависит от внешних коммерческих LLM (GPT-6); ошибки в композиционном планировании или фактологические неточности LLM напрямую ограничивают качество итогового изображения.
• Качество генерации на самых длинных текстах на китайском языке (покрытие 92,4%) пока немного отстает от результатов на длинных английских текстах (97,1%).