MOSS-Image Technical Report

MOSI. AI

论文 · arXiv 2610.23374

MOSS-Image 技术报告

MOSS-Image Technical Report

MOSI. AI

发表于 2026-10-16cs.CV arXiv PDF

用 XYZNOT 阅读（全文翻译与 AI 讲解）

三句话总结

🎯 开源文本生成图像模型难以根据简短的用户提示生成复杂的多元素布局和密集、持久的双语文本渲染。
🔧 采用多粒度描述和结构化边界框 JSON 监督，从零预训练了一个 5B 单流 DiT，并在推理阶段搭配 LLM 智能体进行意图感知的提示增强。
📈 在 LongLongTextBench 上取得了开源最先进性能，Mean-6 文本覆盖率达到 96.3%，并在 RealLayoutArena 上达到了 1698.70 Elo（整体排名第二，仅次于 GPT Image 2）。

摘要

近期的闭源图像生成系统能够生成从简单构图到高信息密度图表的各种视觉内容，但开源文本生成图像模型在处理密集文本和复杂布局时仍然面临困难。为了缩小这一差距，我们推出了 MOSS-Image，这是一个将高保真视觉合成与意图感知构图相结合的开源生成系统。首先，我们采用精心设计的训练方案从零预训练了一个 5B 单流扩散 Transformer（DiT），实现了双语长文本渲染和精确的布局控制。其次，我们开发了一个具备意图感知的智能体提示增强（PE）模块，将多样化的用户需求转化为详细的内容和布局规范。两者结合，使 MOSS-Image 能够生成富文本且布局连贯的图像。我们还提出了用于评估长篇英文和中文文本渲染的 LongLongTextBench (LLTB)，以及用于端到端富布局生成的 RealLayoutArena (RLA)。MOSS-Image 在 LLTB 上取得了开源模型的最佳表现，平均文本覆盖率达到 96.3%。在 RLA 上，MOSS-Image 在端到端系统对比中排名第二，而其骨干模型在使用共享增强提示评测的生成器中位列第一。我们将开源该模型、训练方案和评估框架，以支持进一步的研究并推动文本生成图像社区的发展。

英文原文摘要

Recent closed-source image generation systems can produce diverse visual content from simple compositions to information-dense graphics, yet open-weight text-to-image models still struggle with dense text and intricate layouts. To narrow this gap, we introduce MOSS-Image, an open generation system that combines high-fidelity visual synthesis with intent-aware composition. First, we pretrain a 5B single-stream diffusion transformer (DiT) from scratch with a carefully designed recipe, enabling bilingual long-form text rendering and precise layout control. Second, we develop an intention-aware agentic prompt enhancement (PE) module that translates diverse user requests into detailed content and layout specifications. Together, they enable MOSS-Image to generate text-rich and layout-coherent images. We further introduce LongLongTextBench (LLTB) for evaluating long-form English and Chinese text rendering, and RealLayoutArena (RLA) for end-to-end layout-rich generation. MOSS-Image achieves state-of-the-art performance among open-weight models on LLTB, with an average text coverage of 96.3%. On RLA, MOSS-Image ranks second in the end-to-end system comparison, while its backbone ranks first among generators evaluated with shared enhanced prompts. We will release the model, training recipe, and evaluation framework to support further research and promote the text-to-image community.

论文解读

问题与动机

闭源图像生成器（如 GPT Image 2、Seedream 5.0 Pro）能够可靠地生成海报、信息图表和用户界面等复杂的视觉传播内容。然而，开源模型仍然受困于两个相互关联的挑战：

渲染：忠实绘制长篇、密集的双语（中英）文本，并严格遵循 2D 空间布局。
规范化：将简短的用户提示（通常少于 10 个词）转化为丰富、结构化的内容方案和坐标布局。

现有的文本基准（如 LongTextBench）每个目标平均仅约 120 个字符且接近饱和（约 96–98% 覆盖率），无法测试页面级文学文本或复杂的多元素构图。

核心理念

统一文本条件通路：自然语言重标注和结构化边界框布局（JSON）通过单一文本条件通路（由冻结的 Qwen3.5-9B 编码器处理）输入，使骨干网络能够在原生层面同时处理描述性散文和坐标级布局约束。
标注而非过滤：团队并未丢弃有瑕疵的图像（例如水印、压缩失真、模糊），而是保留了广泛的视觉分布，并在文本描述中明确说明这些瑕疵。
保留换行符：在标注中保留精确的换行符（\n），以显式教会 DiT 文本如何在多行间换行与组织。
智能体提示增强 (PE)：推理期规划器（GPT-6）按媒介（海报、信息图、UI）分流请求，检索知识与视觉参考，并生成结构化的布局 JSON 规范。
新基准测试：推出 LongLongTextBench (LLTB)（中英双语平均 1,339.8 个字符）和 RealLayoutArena (RLA)（针对 61 个复杂设计任务的双盲人工成对评估）。

方法

1. 骨干网络架构

模型：5B 单流扩散 Transformer (DiT)，42 个模块，隐藏层大小 3072，24 个注意力头（每头 128 维），FFN 维度 8192。
编码器：冻结的 Qwen3.5-9B 文本编码器与冻结的 FLUX.2 VAE（patch 大小 $2 \times 2$ ，有效步长 16 像素）。
前馈网络：带平滑截断 $c_{β} (v) = β tanh (v / β)$ 的 SiTU-GLU： $FFN (x) = W_{o} [c_{β_{g}} (g) ⊙ sigmoid (g) ⊙ c_{β_{u}} (u)]$
4D RoPE：Query/Key 注意力头沿坐标 $p = (r, t, w, h)$ 进行划分，分别代表参考索引、序列位置、宽度和高度： $RoPE_{4 D} (z, p) = [R_{r} (r) z_{r}; R_{t} (t) z_{t}; R_{w} (w) z_{w}; R_{h} (h) z_{h}]$ 在没有外部参考图像时 $r = 0$ ，使前 32 维保持不旋转（部分 RoPE）。
训练损失：批次样本中针对有效潜变量标记 $N_{i}$ 的打包流匹配目标： $L_{FM} = E [\frac{1}{\sum _{i} N _{i}} i \sum p = 1 \sum N_{i} \frac{1}{C} ∥ v_{θ} (z_{σ_{i}}, 1000 σ_{i}, c_{i})_{p} - (ϵ_{i} - z_{0, i})_{p} ∥_{2}^{2}]$
优化器：混合 Muon–AdamW 优化器，对符合条件的 2D 矩阵应用 Muon，对向量/嵌入层应用 AdamW，收敛速度比单独使用 AdamW 快约 28–33%。

2. 多阶段训练与监督

分 3 个阶段进行训练，最高达 310,000 步，目标图像面积上限为 $102 4^{2}$ 像素，文本容量上限为 4,096 个标记。
采样短、中、长三种粒度的图像描述，并与显式布局标注（场景/元素或摘要/项目 JSON 模式）混合训练。

实验结果

LongLongTextBench (LLTB)：MOSS-Image 在 6 个语言-长度分桶中取得了 96.3 Mean-6 覆盖率，优于包括 Qwen Image 2512（64.9 Mean-6）在内的开源模型。Ideogram 4.0 达到 63.5（若排除安全拒绝则为 68.1）。
7Bench 布局控制：MOSS-Image 达到 0.8786 $mIoU_{det}$ 和 0.7031 Layout AUC，优于 Ideogram 4.0（0.4449 $mIoU_{det}$ ，0.2046 Layout AUC）、GPT Image 2（0.3042 $mIoU_{det}$ ）以及 Seedream 5.0 Pro（0.3273 $mIoU_{det}$ ）。
RealLayoutArena (RLA)：在针对 61 个设计任务的人工成对评估中：
- 端到端：MOSS-Image 获得 1698.70 Elo，仅次于 GPT Image 2（1844.35 Elo），位列第二，领先于 Seedream 5.0 Pro（1661.16 Elo）。
- 共享增强提示：当所有生成器接收相同的自然语言重写提示时，MOSS-Image 骨干模型以 1807.34 Elo 位居榜首。
- 提示策略：JSON 布局条件获得 1622.87 Elo，击败了自然叙述性布局（1506.20）和简短提示（1081.70）。

局限性与开放问题

DiT 骨干网络原生不支持以图像作为参考条件，也无法执行迭代式局部图像编辑。
布局提示增强器依赖于外部商业语言模型（GPT-6）；LLM 输出中的审美规划缺陷或事实性错误会直接限制生成质量。
最长中文文本任务的表现（92.4% 覆盖率）仍略逊于英文长文本（97.1%）。

关键术语

MOSS-Image: 一个开源文本生成图像系统，将 5B 单流 DiT 骨干网络与具备意图感知的智能体提示增强器相结合。
SiTU-GLU: 一种门控前馈激活层，使用平滑的双曲正切截断函数来稳定训练动态。
4D RoPE: 沿参考索引、时间序列位置、宽度和高度坐标解耦的旋转位置嵌入。
Muon: 一种基于 Newton–Schulz 迭代步骤的矩阵更新优化器，在混合设置中与 AdamW 结合以加速 DiT 收敛。
Layout PE: 一种 LLM 驱动的推理期智能体，用于分流用户设计需求、检查视觉参考并生成结构化的 JSON 布局规范。
LongLongTextBench (LLTB): 包含 240 个双语文学文本渲染任务的基准测试，每个提示词平均约 1,340 个字符，用于测试长文本生成能力。
RealLayoutArena (RLA): 一个双盲人工成对比较评测平台，在 61 个复杂设计任务中评估海报、信息图和用户界面生成质量。
Line-Break Alignment: 在文本标注中保留字面换行符，以监督文本在扩散去噪过程中如何组织为多行布局。

常见问题

为什么 MOSS-Image 采用单流 DiT 而非双流架构？

单流 DiT 在共享的自注意力模块中联合处理文本标记和图像潜变量标记，使自然语言描述和结构化 JSON 边界框能够通过相同的文本接口作为条件输入。

MOSS-Image 如何通过换行符实现更好的文本渲染？

通过逐字转录并保留换行符，模型获得了关于多行组织的显式监督。案例研究表明，显式换行符有助于文字在去噪过程中更早、更清晰地浮现。

为什么要采用“标注而非过滤”的数据整理理念？

消融实验表明，根据长宽比、熵、水印或模糊过滤图像会降低整体视觉多样性，并大幅削减文本生成评分。在文本描述中直接记录这些瑕疵，既保留了分布覆盖面，又不会牺牲输出质量。

哪种边界框坐标格式最能处理未见过的图像分辨率？

以零为中心的绝对像素坐标比归一化为 [0, 1000] 的相对坐标能更好地泛化到未见过的高分辨率；相对坐标往往会导致元素向画布中心收缩。

本页解读由 AI 根据论文生成，可能有错误；细节请以原文为准。

用 XYZNOT 阅读（全文翻译与 AI 讲解）