MOSS-Image Technical Report

MOSI. AI

論文 · arXiv 2610.23374

MOSS-Image 技術報告

MOSS-Image Technical Report

MOSI. AI

發表於 2026-10-16cs.CV arXiv PDF

用 XYZNOT 閱讀（全文翻譯與 AI 講解）

三句話總結

🎯 開源權重的文字生成影像模型在面對簡短的使用者提示詞時，難以生成複雜的多元素排版以及密集且持續的雙語文字渲染。
🔧 透過多粒度標註與結構化邊界框 JSON 監督，從頭預訓練了一個 5B 單流 DiT，並搭配推論時的 LLM 代理進行意圖感知提示詞增強。
📈 在 LongLongTextBench 上達到開源模型最先進效能（Mean-6 文字覆蓋率達 96.3%），並在 RealLayoutArena 達到 1698.70 Elo（總排名第二，僅次於 GPT Image 2）。

摘要

近期的閉源影像生成系統已能產出從簡單構圖到資訊密集的各類視覺內容，然而開源權重的文字生成影像模型在處理密集文字與複雜排版時仍面臨困難。為縮小此差距，我們推出了 MOSS-Image，這是一個將高保真視覺合成與意圖感知構圖相結合的開源生成系統。首先，我們從頭預訓練了一個精心設計的 5B 單流擴散 Transformer（DiT），實現了雙語長文本渲染與精確的排版控制。其次，我們開發了具備意圖感知的代理式提示詞增強（PE）模組，可將多樣化的使用者需求轉換為詳細的內容與排版規格。兩者結合使 MOSS-Image 能夠生成富含文字且排版連貫的影像。此外，我們提出了用於評估長篇英中文文字渲染的 LongLongTextBench（LLTB），以及用於評估端到端豐富排版生成的 RealLayoutArena（RLA）。在 LLTB 上，MOSS-Image 在開源權重模型中達到了最先進的效能，平均文字覆蓋率達 96.3%。在 RLA 上，MOSS-Image 在端到端系統比較中排名第二，而其骨幹網路在共享增強提示詞的生成器評估中位居第一。我們將開源該模型、訓練配方與評估框架，以支援進一步的研究並推動文字生成影像社群的發展。

英文原文摘要

Recent closed-source image generation systems can produce diverse visual content from simple compositions to information-dense graphics, yet open-weight text-to-image models still struggle with dense text and intricate layouts. To narrow this gap, we introduce MOSS-Image, an open generation system that combines high-fidelity visual synthesis with intent-aware composition. First, we pretrain a 5B single-stream diffusion transformer (DiT) from scratch with a carefully designed recipe, enabling bilingual long-form text rendering and precise layout control. Second, we develop an intention-aware agentic prompt enhancement (PE) module that translates diverse user requests into detailed content and layout specifications. Together, they enable MOSS-Image to generate text-rich and layout-coherent images. We further introduce LongLongTextBench (LLTB) for evaluating long-form English and Chinese text rendering, and RealLayoutArena (RLA) for end-to-end layout-rich generation. MOSS-Image achieves state-of-the-art performance among open-weight models on LLTB, with an average text coverage of 96.3%. On RLA, MOSS-Image ranks second in the end-to-end system comparison, while its backbone ranks first among generators evaluated with shared enhanced prompts. We will release the model, training recipe, and evaluation framework to support further research and promote the text-to-image community.

論文解讀

問題與動機

閉源影像生成器（例如 GPT Image 2、Seedream 5.0 Pro）已能穩定產出海報、資訊圖表和使用者介面等複雜的視覺傳達素材。然而，開源權重模型仍面臨兩項交織的挑戰：

渲染（Rendering）：忠實繪製連貫且密集的雙語（英文/中文）文字，並嚴格遵循 2D 空間排版。
規格化（Specification）：將簡短的使用者提示詞（通常少於 10 個字）轉譯為豐富且具結構化的內容規劃與座標排版。

現有的文字基準測試（如 LongTextBench）每個目標平均僅約 120 個字元且已趨近飽和（約 96–98% 覆蓋率），無法有效測試整頁長度的文學文本或複雜的多元素構圖。

核心概念

統一文字條件路徑（Unified Text-Conditioning Pathway）：自然語言重新標註與結構化邊界框排版（JSON）皆透過單一文字條件路徑輸入（經由凍結的 Qwen3.5-9B 編碼器），使骨幹網路能原生處理敘述性文字與座標級的排版約束。
標註而非過濾（Annotate Rather Than Filter）：團隊並未直接丟棄有瑕疵的影像（例如浮水印、壓縮失真、模糊），而是保留廣泛的視覺分佈，並在文字標籤中明確描述這些瑕疵。
保留換行符號（Preserving Line Breaks）：在標註中保留精確的換行字元（\n），以明確教導 DiT 文字如何跨行折行與組織。
代理式提示詞增強（Agentic Prompt Enhancement, PE）：推論時的規劃器（GPT-6）根據媒介（海報、資訊圖表、UI）分流請求、檢索知識與視覺參考，並產生結構化的排版 JSON 規格。
全新基準測試：推出 LongLongTextBench (LLTB)（英中文平均 1,339.8 個字元）與 RealLayoutArena (RLA)（針對 61 項複雜設計任務進行雙盲成對人類評估）。

方法細節

1. 骨幹網路架構

模型：5B 單流擴散 Transformer（DiT），42 個區塊，隱藏維度 3072，24 個注意力頭（每頭 128 維），FFN 大小 8192。
編碼器：凍結的 Qwen3.5-9B 文字編碼器與凍結的 FLUX.2 VAE（patch 大小 $2 \times 2$ ，有效步幅 16 像素）。
前饋網路：具備平滑截斷 $c_{β} (v) = β tanh (v / β)$ 的 SiTU-GLU： $FFN (x) = W_{o} [c_{β_{g}} (g) ⊙ sigmoid (g) ⊙ c_{β_{u}} (u)]$
4D RoPE：查詢/鍵值頭沿著座標 $p = (r, t, w, h)$ 進行分割，分別代表參考索引、序列位置、寬度與高度： $RoPE_{4 D} (z, p) = [R_{r} (r) z_{r}; R_{t} (t) z_{t}; R_{w} (w) z_{w}; R_{h} (h) z_{h}]$ 在沒有外部參考影像時， $r = 0$ ，前 32 維保持不旋轉（部分 RoPE）。
訓練損失：跨批次樣本在有效潛在標元 $N_{i}$ 上的打包流匹配（flow-matching）目標： $L_{FM} = E [\frac{1}{\sum _{i} N _{i}} i \sum p = 1 \sum N_{i} \frac{1}{C} ∥ v_{θ} (z_{σ_{i}}, 1000 σ_{i}, c_{i})_{p} - (ϵ_{i} - z_{0, i})_{p} ∥_{2}^{2}]$
優化器：混合式 Muon–AdamW 優化器，對適用的 2D 矩陣使用 Muon，對向量/嵌入層使用 AdamW，收斂速度比單獨使用 AdamW 快約 28–33%。

2. 多階段訓練與監督

歷經 3 個階段訓練至 310,000 步，目標影像面積上限為 $102 4^{2}$ 像素，文字容量上限為 4,096 個標元。
提示詞以短、中、長等不同粒度進行取樣，並混入明確的排版標註（場景/元素或摘要/項目 JSON 綱要）。

實驗結果

LongLongTextBench (LLTB)：MOSS-Image 在 6 種語言長度分組中達到了 96.3 Mean-6 覆蓋率，超越包含 Qwen Image 2512（64.9 Mean-6）在內的開源權重模型。Ideogram 4.0 達到 63.5（若排除安全拒絕樣本則為 68.1）。
7Bench 排版控制：MOSS-Image 達到 0.8786 $mIoU_{det}$ 與 0.7031 Layout AUC，優於 Ideogram 4.0（0.4449 $mIoU_{det}$ ，0.2046 Layout AUC）、GPT Image 2（0.3042 $mIoU_{det}$ ）以及 Seedream 5.0 Pro（0.3273 $mIoU_{det}$ ）。
RealLayoutArena (RLA)：在 61 項設計任務的成對人類評估中：
- 端到端：MOSS-Image 獲得 1698.70 Elo，排名第二，僅次於 GPT Image 2（1844.35 Elo），並領先 Seedream 5.0 Pro（1661.16 Elo）。
- 共享增強提示詞：當所有生成器接收相同的自然語言改寫提示詞時，MOSS-Image 骨幹網路以 1807.34 Elo 位居第一。
- 提示詞策略：JSON 排版條件獲得 1622.87 Elo，擊敗了自然語言排版（1506.20）與簡短提示詞（1081.70）。

局限性與未來方向

DiT 骨幹網路原生無法直接以影像作為參考條件，亦無法進行迭代式局部影像編輯。
排版提示詞增強器依賴外部商業語言模型（GPT-6）；LLM 輸出的美學規劃能力或事實錯誤會直接限制生成品質。
在最長的中文文字任務上的表現（92.4% 覆蓋率）仍略遜於英文長文字（97.1%）。

關鍵術語

MOSS-Image: 一個開源文字生成影像系統，結合了 5B 單流 DiT 骨幹網路與意圖感知代理式提示詞增強器。
SiTU-GLU: 一種門控前饋活化層，使用平滑雙曲正切截斷函數來穩定訓練動態。
4D RoPE: 分解於參考索引、時間序列位置、寬度與高度座標的旋轉位置嵌入（Rotary Position Embeddings）。
Muon: 基於 Newton–Schulz 步進的矩陣更新優化器，與 AdamW 混合使用以加速 DiT 收斂。
Layout PE (排版提示詞增強): 由 LLM 驅動的推論期代理，負責分流使用者的設計查詢、檢索視覺參考並生成結構化 JSON 排版規格。
LongLongTextBench (LLTB): 包含 240 個雙語文學文本渲染任務的基準測試，每個提示詞平均約 1,340 個字元，用於測試長篇文字生成能力。
RealLayoutArena (RLA): 針對海報、資訊圖表與使用者介面等 61 項複雜設計任務進行盲測成對人類比較的評估競技場。
Line-Break Alignment (換行對齊): 在文字標註中保留字面換行字元，以在擴散去噪過程中監督文字如何排列為多行排版。

常見問題

為什麼 MOSS-Image 採用單流 DiT 而非雙流架構？

單流 DiT 在共享的自注意力區塊中聯合處理文字標元與影像潛在標元，使自然語言敘述與結構化 JSON 邊界框能夠透過相同的文字介面作為條件輸入。

MOSS-Image 如何透過換行符號實現更佳的文字渲染？

藉由逐字轉錄文字並保留換行符號，模型獲得了關於行級組織的明確監督。案例研究顯示，明確的換行有助於文字在去噪過程中更早且更清晰地浮現。

為什麼採用「標註而非過濾」的資料整理理念？

消融實驗表明，根據長寬比、熵值、浮水印或模糊程度來過濾影像會降低整體視覺多樣性，並大幅削弱文字評分。在文字描述中詳加說明瑕疵，既能保留分佈覆蓋範圍，又不會犧牲輸出保真度。

哪種邊界框座標格式最能應對未見過的影像解析度？

以零為中心的絕對像素座標在未見過的高解析度下泛化效果較好；相比之下，歸一化的 [0, 1000] 相對座標往往會導致元素向畫布中心縮小。

本頁解讀由 AI 根據論文生成，可能有錯誤；細節請以原文為準。

用 XYZNOT 閱讀（全文翻譯與 AI 講解）