Laporan Teknis MOSS-Image

Panduan membaca

Masalah dan motivasi

Generator gambar closed-source (misalnya, GPT Image 2, Seedream 5.0 Pro) dapat secara andal menghasilkan materi komunikasi visual yang kompleks seperti poster, infografik, dan antarmuka pengguna. Namun, model-model open-weight masih kesulitan menghadapi dua tantangan yang saling terkait:

1. Perenderan (Rendering): Menggambar teks bilingual (Inggris/Mandarin) yang berkelanjutan dan padat secara akurat serta mematuhi tata letak spasial 2D secara ketat.
2. Spesifikasi: Menerjemahkan prompt pengguna yang singkat (sering kali kurang dari 10 kata) menjadi rencana konten terstruktur yang kaya dan tata letak koordinat.

Tolok ukur teks yang ada seperti LongTextBench rata-rata hanya menguji 120 karakter per target dan mendekati titik jenuh (96–98% cakupan), sehingga gagal menguji teks literer sepanjang satu halaman atau komposisi multi-elemen yang kompleks.

Ide-ide utama

• Jalur Pengondisian Teks Terpadu (Unified Text-Conditioning Pathway): Deskripsi ulang bahasa alami dan tata letak bounding-box terstruktur (JSON) dimasukkan melalui satu jalur pengondisian teks tunggal (melalui encoder Qwen3.5-9B yang dibekukan), memungkinkan backbone menangani prosa deskriptif dan batasan tata letak tingkat koordinat secara bawaan.
• Anotasi Alih-alih Memfilter (Annotate Rather Than Filter): Daripada membuang gambar yang tidak sempurna (misalnya, tanda air, artefak kompresi, keburaman), tim mempertahankan distribusi visual yang luas dan secara eksplisit mendeskripsikan artefak tersebut dalam takarir teks.
• Mempertahankan Ganti Baris (Preserving Line Breaks): Karakter baris baru yang persis (\n) dalam anotasi dipertahankan untuk secara eksplisit mengajari DiT cara pemenggalan dan pengorganisasian teks lintas baris.
• Penyempurnaan Prompt Berbasis Agen (Agentic Prompt Enhancement / PE): Perencana saat inferensi (GPT-6) mengarahkan permintaan berdasarkan medium (poster, infografik, UI), mengambil pengetahuan dan referensi visual, serta menghasilkan spesifikasi JSON tata letak yang terstruktur.
• Tolok Ukur Baru: Pengenalan LongLongTextBench (LLTB) (rata-rata 1.339,8 karakter lintas bahasa Inggris dan Mandarin) dan RealLayoutArena (RLA) (evaluasi manusia berpasangan secara buta pada 61 tugas desain kompleks).

Metode

1. Arsitektur Backbone

• Model: Single-stream Diffusion Transformer (DiT) 5B, 42 blok, hidden size 3072, 24 head (128 dimensi/head), ukuran FFN 8192.
• Encoder: Text encoder Qwen3.5-9B yang dibekukan dan VAE FLUX.2 yang dibekukan (patch size $2\times 2$, stride efektif 16 piksel).
• Feed-Forward: SiTU-GLU dengan smooth capping $c_{\beta }(v)=\beta \tanh (v/\beta )$: $$\mathrm{FFN}(\mathbf{x})=W_o\left[c_{{\beta }_g}(\mathbf{g})\odot \mathrm{sigmoid}(\mathbf{g})\odot c_{{\beta }_u}(\mathbf{u})\right]$$
• 4D RoPE: Head kueri/kunci dipartisi sepanjang koordinat $\mathbf{p}=(r,t,w,h)$ yang mewakili indeks referensi, posisi urutan temporal, lebar, dan tinggi: $${\mathrm{RoPE}}_{4D}(\mathbf{z},\mathbf{p})=[R_r(r){\mathbf{z}}_r;R_t(t){\mathbf{z}}_t;R_w(w){\mathbf{z}}_w;R_h(h){\mathbf{z}}_h]$$ Tanpa gambar referensi eksternal, $r=0$, membiarkan 32 dimensi awal tidak terotasi (partial RoPE).
• Loss Pelatihan: Tujuan flow-matching terkemas (packed flow-matching) atas token laten valid $N_i$ lintas sampel batch: $${\mathcal{L}}_{\mathrm{FM}}=\mathbb{E}\left[\frac{1}{{\sum }_i{N}_i}\sum _i\sum _{p=1}^{N_i}\frac{1}{C}{\Vert v_{\theta }(z_{{\sigma }_i},1000{\sigma }_i,c_i{)}_p-({ϵ}_i-z_{0,i}{)}_p\Vert }_2^2\right]$$
• Pengoptimal: Pengoptimal hibrida Muon–AdamW, menerapkan Muon pada matriks 2D yang memenuhi syarat dan AdamW pada vektor/embedding, menghasilkan konvergensi ~28–33% lebih cepat daripada AdamW saja.

2. Pelatihan Multi-Tahap dan Supervisi

• Dilatih dalam 3 tahap hingga langkah 310.000, membatasi luas gambar target pada $1024^2$ piksel dan kapasitas teks pada 4.096 token.
• Takarir diambil sampelnya pada granularitas pendek, sedang, dan panjang, dicampur dengan anotasi tata letak eksplisit (skema JSON scene/element atau summary/items).

Hasil

• LongLongTextBench (LLTB): MOSS-Image mencapai cakupan 96,3 Mean-6 di 6 kelompok panjang-bahasa, mengungguli model-model open-weight termasuk Qwen Image 2512 (64,9 Mean-6). Ideogram 4.0 mencapai 63,5 (atau 68,1 jika penolakan keamanan dikesampingkan).
• Kontrol Tata Letak 7Bench: MOSS-Image mencapai 0,8786 ${\mathrm{mIoU}}_{\det }$ dan 0,7031 Layout AUC, mengungguli Ideogram 4.0 (0,4449 ${\mathrm{mIoU}}_{\det }$, 0,2046 Layout AUC), GPT Image 2 (0,3042 ${\mathrm{mIoU}}_{\det }$), dan Seedream 5.0 Pro (0,3273 ${\mathrm{mIoU}}_{\det }$).
• RealLayoutArena (RLA): Dalam evaluasi berpasangan oleh manusia pada 61 tugas desain:
  • End-to-end: MOSS-Image memperoleh skor 1698,70 Elo, menempati peringkat kedua di belakang GPT Image 2 (1844,35 Elo) dan di depan Seedream 5.0 Pro (1661,16 Elo).
  • Shared Enhanced Prompts: Ketika semua generator menerima penulisan ulang prompt bahasa alami yang sama, backbone MOSS-Image menempati peringkat pertama pada 1807,34 Elo.
  • Strategi Prompt: Pengondisian tata letak JSON memperoleh 1622,87 Elo, mengalahkan tata letak prosa alami (1506,20) dan prompt pendek (1081,70).

Keterbatasan dan pertanyaan terbuka

• Backbone DiT tidak dapat secara bawaan dikondisikan pada gambar referensi atau melakukan pengeditan gambar terarah yang bersifat iteratif.
• Layout Prompt Enhancer bergantung pada model bahasa komersial eksternal (GPT-6); perencanaan estetika atau ketidakakuratan faktual dalam output LLM secara langsung membatasi kualitas pembangkitan.
• Performa pada tugas teks bahasa Mandarin terpanjang (cakupan 92,4%) masih sedikit tertinggal dibandingkan teks panjang bahasa Inggris (97,1%).