MOSS-Image Technical Report

MOSI. AI

論文 · arXiv 2610.23374

MOSS-Image テクニカルレポート

MOSS-Image Technical Report

MOSI. AI

公開日 2026-10-16cs.CV arXiv PDF

XYZNOT で読む（全文翻訳と AI 解説）

3行まとめ

🎯 オープンウェイトのテキスト画像生成モデルは、簡潔なユーザープロンプトから複雑な複数要素のレイアウトや、高密度で継続的な二言語テキストを描画することに苦戦しています。
🔧 複数粒度のキャプションと構造化されたバウンディングボックスJSONの教師データを用いて5BシングルストリームDiTをゼロから事前学習し、推論時のLLMエージェントによる意図認識型プロンプト拡張と組み合わせました。
📈 LongLongTextBenchにおいてオープンウェイトモデル最高の96.3 Mean-6テキストカバレッジを達成し、RealLayoutArenaでは1698.70 Eloレートを記録（GPT Image 2に次ぐ全体2位）しました。

概要

近年のクローズドソース画像生成システムは、シンプルな構図から情報密度の高いグラフィックスまで多様な視覚コンテンツを生成できますが、オープンウェイトのテキスト画像生成モデルは依然として高密度のテキストや複雑なレイアウトに苦戦しています。このギャップを埋めるため、高忠実度な視覚的合成と意図を認識した構図生成を組み合わせたオープンな生成システムであるMOSS-Imageを提案します。まず、慎重に設計された学習レシピを用いて5BパラメータのシングルストリームDiffusion Transformer（DiT）をゼロから事前学習し、二言語（英語・中国語）の長文テキスト描画と高精度なレイアウト制御を実現しました。次に、多様なユーザーの要求を詳細なコンテンツ仕様やレイアウト仕様へと変換する、意図認識型のエージェント的プロンプト拡張（PE）モジュールを開発しました。これらを統合することで、MOSS-Imageはテキストが豊富でレイアウトの一貫性が高い画像を生成可能になります。さらに、英語および中国語の長文テキスト描画を評価するためのLongLongTextBench（LLTB）と、エンドツーエンドでの複雑なレイアウト生成を評価するRealLayoutArena（RLA）を導入しました。MOSS-ImageはLLTBにおいてオープンウェイトモデルの中で最先端の性能を達成し、平均テキストカバレッジ96.3%を記録しました。RLAでは、エンドツーエンドのシステム比較で2位にランクインし、共通の拡張プロンプトを用いた評価ではそのバックボーンが生成器の中で1位を獲得しました。今後の研究を支援し、テキスト画像生成コミュニティを推進するため、モデル、学習レシピ、評価フレームワークを公開します。

英語の原文概要

Recent closed-source image generation systems can produce diverse visual content from simple compositions to information-dense graphics, yet open-weight text-to-image models still struggle with dense text and intricate layouts. To narrow this gap, we introduce MOSS-Image, an open generation system that combines high-fidelity visual synthesis with intent-aware composition. First, we pretrain a 5B single-stream diffusion transformer (DiT) from scratch with a carefully designed recipe, enabling bilingual long-form text rendering and precise layout control. Second, we develop an intention-aware agentic prompt enhancement (PE) module that translates diverse user requests into detailed content and layout specifications. Together, they enable MOSS-Image to generate text-rich and layout-coherent images. We further introduce LongLongTextBench (LLTB) for evaluating long-form English and Chinese text rendering, and RealLayoutArena (RLA) for end-to-end layout-rich generation. MOSS-Image achieves state-of-the-art performance among open-weight models on LLTB, with an average text coverage of 96.3%. On RLA, MOSS-Image ranks second in the end-to-end system comparison, while its backbone ranks first among generators evaluated with shared enhanced prompts. We will release the model, training recipe, and evaluation framework to support further research and promote the text-to-image community.

論文解説

問題設定と動機

クローズドソースの画像生成モデル（例: GPT Image 2、Seedream 5.0 Pro）は、ポスター、インフォグラフィックス、ユーザーインターフェースなどの複雑なビジュアルコミュニケーション素材を高い信頼性で生成できます。しかし、オープンウェイトモデルは依然として以下の2つの連動した課題を抱えています：

描画能力: 継続的で高密度な二言語（英語/中国語）テキストを忠実に描き、2D空間レイアウトに厳密に従うこと。
仕様の具体化: ユーザーの簡潔なプロンプト（多くは10語未満）を、リッチで構造化されたコンテンツプランや座標レイアウトへと変換すること。

LongTextBenchなどの既存のテキストベンチマークは、ターゲットあたり平均約120文字にとどまり、飽和状態（カバレッジ約96〜98%）に近づいており、ページ単位の文学的テキストや複雑な複数要素の構成を十分にテストできていません。

主なアイデア

統合されたテキスト条件付け経路: 自然言語による再キャプションと構造化されたバウンディングボックスレイアウト（JSON）を単一のテキスト条件付け経路（凍結されたQwen3.5-9Bエンコーダ経由）に入力することで、バックボーンが記述的な散文と座標レベルのレイアウト制約の両方をネイティブに処理できるようにしました。
除外するのではなく注記する（Annotate Rather Than Filter）: 不完全な画像（透かし、圧縮ノイズ、ブレなど）を破棄する代わりに、広範な視覚分布を維持しつつ、これらのアーティファクトをテキストキャプション内で明示的に説明します。
改行の保持: アノテーション内の正確な改行文字（\n）を保持することで、テキストがどのように折り返され、行ごとに整理されるかをDiTに明示的に学習させます。
エージェント的プロンプト拡張（PE）: 推論時プランナー（GPT-6）がメディア（ポスター、インフォグラフィックス、UI）ごとにリクエストをルーティングし、知識や視覚的参照を取得して、構造化されたレイアウトJSON仕様を生成します。
新たなベンチマーク: LongLongTextBench (LLTB)（英中両言語で平均1,339.8文字）およびRealLayoutArena (RLA)（61の複雑なデザインタスクにわたるブラインド対戦形式の人間評価）の導入。

手法

1. バックボーンアーキテクチャ

モデル: 5BシングルストリームDiffusion Transformer（DiT）、42ブロック、隠れ層サイズ3072、24ヘッド（各ヘッド128次元）、FFNサイズ8192。
エンコーダ: 凍結されたQwen3.5-9Bテキストエンコーダおよび凍結されたFLUX.2 VAE（パッチサイズ $2 \times 2$ 、実効ストライド16ピクセル）。
フィードフォワード: スムーズな上限設定 $c_{β} (v) = β tanh (v / β)$ を備えたSiTU-GLU: $FFN (x) = W_{o} [c_{β_{g}} (g) ⊙ sigmoid (g) ⊙ c_{β_{u}} (u)]$
4D RoPE: クエリ/キーのヘッドを、参照インデックス、系列位置、幅、高さを表す座標 $p = (r, t, w, h)$ に沿って分割: $RoPE_{4 D} (z, p) = [R_{r} (r) z_{r}; R_{t} (t) z_{t}; R_{w} (w) z_{w}; R_{h} (h) z_{h}]$ 外部参照画像がない場合は $r = 0$ となり、先頭32次元は回転されません（partial RoPE）。
学習損失関数: バッチサンプル全体の有効な潜在トークン $N_{i}$ に対するPacked flow-matching目的関数: $L_{FM} = E [\frac{1}{\sum _{i} N _{i}} i \sum p = 1 \sum N_{i} \frac{1}{C} ∥ v_{θ} (z_{σ_{i}}, 1000 σ_{i}, c_{i})_{p} - (ϵ_{i} - z_{0, i})_{p} ∥_{2}^{2}]$
オプティマイザ: Muon–AdamWハイブリッドオプティマイザを採用。対象となる2D行列にMuonを適用し、ベクトルや埋め込みにAdamWを適用することで、AdamW単体と比較して約28〜33%高速な収束を実現。

2. マルチステージ学習と教師データ

最大310,000ステップまで3つのステージに分けて学習し、ターゲット画像領域は最大 $102 4^{2}$ ピクセル、テキスト容量は最大4,096トークンに設定。
キャプションは短文、中文、長文の粒度でサンプリングされ、明示的なレイアウトアノテーション（scene/element形式またはsummary/items形式のJSONスキーマ）と混合されます。

実験結果

LongLongTextBench (LLTB): MOSS-Imageは、言語とテキスト長の6つの区分全体で 96.3 Mean-6 カバレッジを達成し、Qwen Image 2512（64.9 Mean-6）などのオープンウェイトモデルを上回りました。Ideogram 4.0は63.5（安全性のための拒絶を除外した場合は68.1）でした。
7Bench Layout Control: MOSS-Imageは 0.8786 $mIoU_{det}$ および 0.7031 Layout AUC を達成し、Ideogram 4.0（0.4449 $mIoU_{det}$ 、0.2046 Layout AUC）、GPT Image 2（0.3042 $mIoU_{det}$ ）、Seedream 5.0 Pro（0.3273 $mIoU_{det}$ ）を上回りました。
RealLayoutArena (RLA): 61のデザインタスクにおける人間によるペア比較評価において:
- エンドツーエンド: MOSS-Imageは 1698.70 Elo を記録し、GPT Image 2（1844.35 Elo）に次ぐ2位となり、Seedream 5.0 Pro（1661.16 Elo）を上回りました。
- 共通の拡張プロンプト: すべての生成モデルに同一の自然言語プロンプト書き換えを与えた場合、MOSS-Imageバックボーンは 1807.34 Elo で1位を獲得しました。
- プロンプト戦略: JSONによるレイアウト条件付けは 1622.87 Elo を獲得し、自然文によるレイアウト（1506.20）や短いプロンプト（1081.70）を凌駕しました。

限界と未解決の課題

DiTバックボーンは、参照画像への直接の条件付けや反復的な局所画像編集をネイティブに行うことはできません。
レイアウトプロンプト拡張（Layout PE）は外部の商用言語モデル（GPT-6）に依存しており、LLM出力の美的な設計や事実の不正確さが生成品質を直接制限する要因となります。
最長の中国語テキストタスクにおける性能（カバレッジ92.4%）は、英語の長文テキスト（97.1%）と比べると依然としてわずかに遅れをとっています。

重要用語

MOSS-Image: 5BシングルストリームDiTバックボーンと意図認識型のエージェント的プロンプト拡張器を組み合わせた、オープンなテキスト画像生成システム。
SiTU-GLU: 学習ダイナミクスを安定化させるために、スムーズな双曲線正接（tanh）上限設定関数を用いたゲート付きフィードフォワード活性化層。
4D RoPE: 参照インデックス、時間的系列位置、幅、高さの各座標に分解された回転位置埋め込み（Rotary Position Embeddings）。
Muon: Newton–Schulzステップに基づく行列更新オプティマイザ。DiTの収束を加速させるためAdamWとハイブリッド構成で組み合わされる。
Layout PE: ユーザーのデザイン要求をルーティングし、視覚的参照を調査してJSON形式の構造化レイアウト仕様を生成するLLMベースの推論時エージェント。
LongLongTextBench (LLTB): 長文テキストの持続的な描画を評価するための、プロンプトあたり平均約1,340文字を含む240の二言語文学テキスト描画タスクからなるベンチマーク。
RealLayoutArena (RLA): ポスター、インフォグラフィックス、UIなど61の複雑なデザインタスクにわたり、人間がブラインド対戦形式で比較評価するベンチマークアリーナ。
Line-Break Alignment: 拡散モデルのノイズ除去中にテキストが複数行のレイアウトにどのように配置されるかを学習させるため、テキストアノテーション内の文字通りの改行コードを保持する手法。

よくある質問

なぜMOSS-Imageはデュアルストリーム構造ではなくシングルストリームDiTを採用しているのですか？

シングルストリームDiTは、共有された自己注意ブロック内でテキストトークンと画像潜在トークンを共同で処理するため、自然文と構造化されたJSONバウンディングボックスの両方を同一のテキストインターフェース経由で条件付けできるからです。

MOSS-Imageはどのようにして改行によるテキスト描画性能の向上を実現しているのですか？

テキストを改行を保持したまま一語一句正確に転写することで、モデルは行の構成に関する明示的な教師データを受け取ることができます。ケーススタディでは、明示的な改行があることで、ノイズ除去の初期段階から文字がより早く明確に出現することが示されています。

なぜ「除外するのではなく注記する（Annotate Rather Than Filter）」というデータキュレーション方針を採用したのですか？

アスペクト比、エントロピー、透かし、ブレに基づいて画像をフィルタリングすると、全体の視覚的多様性が低下し、テキストスコアが劇的に低下することがアブレーション実験で示されたためです。テキスト記述内で不完全さを明示的に捉えることで、出力の忠実性を損なうことなく分布のカバー範囲を維持することができました。

未知の画像解像度を処理するのに最も適したバウンディングボックス座標フォーマットはどれですか？

ゼロを中心とする絶対ピクセル座標は、要素をキャンバス中央に縮小させてしまいがちな[0, 1000]の正規化された相対座標よりも、未知の高解像度に対して優れた汎化性能を示しました。

このページの解説は AI が論文から作成したもので、誤りを含む場合があります。詳細は原文をご確認ください。

XYZNOT で読む（全文翻訳と AI 解説）