MOSS-Image Teknik Raporu

Okuma rehberi

Problem ve motivasyon

Kapalı kaynaklı görsel üreticileri (ör. GPT Image 2, Seedream 5.0 Pro); posterler, infografikler ve kullanıcı arayüzleri gibi karmaşık görsel iletişim materyallerini güvenilir bir şekilde üretebilmektedir. Ancak açık ağırlıklı modeller, birbirine bağlı iki zorluk nedeniyle hâlâ yetersiz kalmaktadır:

1. Görselleştirme (Rendering): Sürdürülebilir, yoğun iki dilli (İngilizce/Çince) metinleri aslına sadık kalarak çizmek ve 2B uzamsal düzenlere kesinlikle uymak.
2. Spesifikasyon: Kısa kullanıcı istemlerini (çoğunlukla 10 kelimeden az) zengin, yapılandırılmış içerik planlarına ve koordinat düzenlerine dönüştürmek.

LongTextBench gibi mevcut metin kıyaslamaları hedef başına ortalama yalnızca 120 karaktere sahiptir ve doygunluğa yakındır (%96–98 kapsam); bu nedenle sayfa uzunluğundaki edebi metinleri veya karmaşık çok ögeli kompozisyonları test etmekte yetersiz kalmaktadır.

Temel fikirler

• Birleşik Metin Koşullandırma Yolu (Unified Text-Conditioning Pathway): Doğal dildeki yeniden altyazılandırmalar ve yapılandırılmış sınırlayıcı kutu düzenleri (JSON), tek bir metin koşullandırma yolu üzerinden (dondurulmuş bir Qwen3.5-9B kodlayıcı aracılığıyla) aktarılır; bu sayede omurga, hem betimleyici metinleri hem de koordinat düzeyindeki düzen kısıtlamalarını yerel olarak işleyebilir.
• Filtrelemek Yerine Açıklama Eklemek (Annotate Rather Than Filter): Kusurlu görüntüleri (ör. filigranlar, sıkıştırma bozulmaları, bulanıklık) veri kümesinden çıkarmak yerine ekip, geniş görsel dağılımları korur ve bu bozulmaları metin altyazılarında açıkça açıklar.
• Satır Sonlarını Korumak: DiT'e metnin satırlar arasında nasıl kaydırılacağını ve düzenleneceğini açıkça öğretmek için ek açıklamalardaki tam satır sonu karakterleri (\n) korunur.
• Aracı İstem Geliştirme (Agentic Prompt Enhancement - PE): Çıkarım zamanında çalışan bir planlayıcı (GPT-6), istekleri ortama (poster, infografik, UI) göre yönlendirir, bilgi ve görsel referansları getirir ve yapılandırılmış JSON düzen belirtimleri üretir.
• Yeni Kıyaslamalar: LongLongTextBench (LLTB) (İngilizce ve Çince genelinde ortalama 1.339,8 karakter) ve RealLayoutArena (RLA) (61 karmaşık tasarım görevinde kör ikili insan değerlendirmeleri) kıyaslamalarının sunulması.

Yöntem

1. Omurga Mimarisi

• Model: 5B tek akışlı Diffusion Transformer (DiT), 42 blok, gizli boyut 3072, 24 dikkat başlığı (başlık başına 128 boyut), 8192 FFN boyutu.
• Kodlayıcılar: Dondurulmuş Qwen3.5-9B metin kodlayıcı ve dondurulmuş FLUX.2 VAE ($2\times 2$ yama boyutu, 16 piksel etkin adım aralığı).
• İleri Besleme: Yumuşak sınırlamalı $c_{\beta }(v)=\beta \tanh (v/\beta )$ SiTU-GLU: $$\mathrm{FFN}(\mathbf{x})=W_o\left[c_{{\beta }_g}(\mathbf{g})\odot \mathrm{sigmoid}(\mathbf{g})\odot c_{{\beta }_u}(\mathbf{u})\right]$$
• 4D RoPE: Sorgu/anahtar başlıkları referans indeksi, dizi konumu, genişlik ve yüksekliği temsil eden $\mathbf{p}=(r,t,w,h)$ koordinatları boyunca bölümlenir: $${\mathrm{RoPE}}_{4D}(\mathbf{z},\mathbf{p})=[R_r(r){\mathbf{z}}_r;R_t(t){\mathbf{z}}_t;R_w(w){\mathbf{z}}_w;R_h(h){\mathbf{z}}_h]$$ Harici referans görselleri olmadığında $r=0$ olur ve ilk 32 boyut döndürülmeden bırakılır (kısmi RoPE).
• Eğitim Kaybı: Yığın örnekleri genelinde geçerli gizil belirteçler $N_i$ üzerinden paketlenmiş flow-matching hedefi: $${\mathcal{L}}_{\mathrm{FM}}=\mathbb{E}\left[\frac{1}{{\sum }_i{N}_i}\sum _i\sum _{p=1}^{N_i}\frac{1}{C}{\Vert v_{\theta }(z_{{\sigma }_i},1000{\sigma }_i,c_i{)}_p-({ϵ}_i-z_{0,i}{)}_p\Vert }_2^2\right]$$
• Optimizasyon Aracı: Uygun 2B matrislere Muon ve vektörlere/gömme katmanlarına AdamW uygulayan hibrit Muon–AdamW optimizasyon aracı; tek başına AdamW'ye kıyasla ~%28–33 daha hızlı yakınsama sağlar.

2. Çok Aşamalı Eğitim ve Denetim

• Hedef görsel alanını $1024^2$ piksel ve metin kapasitesini 4.096 belirteçle sınırlandırarak, 310.000 adıma kadar 3 aşamada eğitilmiştir.
• Altyazılar kısa, orta ve uzun tanecikliklerde örneklenir ve açık düzen ek açıklamalarıyla (sahne/öge veya özet/ögeler JSON şemaları) karıştırılır.

Sonuçlar

• LongLongTextBench (LLTB): MOSS-Image, 6 dil-uzunluk kategorisinde 96,3 Mean-6 kapsamı elde ederek Qwen Image 2512 (64,9 Mean-6) dahil olmak üzere açık ağırlıklı modelleri geride bırakmıştır. Ideogram 4.0 ise 63,5 (güvenlik retleri hariç tutulduğunda 68,1) puana ulaşmıştır.
• 7Bench Düzen Kontrolü: MOSS-Image, 0,8786 ${\mathrm{mIoU}}_{\det }$ ve 0,7031 Düzen AUC skorlarına ulaşarak Ideogram 4.0'ı (0,4449 ${\mathrm{mIoU}}_{\det }$, 0,2046 Düzen AUC), GPT Image 2'yi (0,3042 ${\mathrm{mIoU}}_{\det }$) ve Seedream 5.0 Pro'yu (0,3273 ${\mathrm{mIoU}}_{\det }$) geçmiştir.
• RealLayoutArena (RLA): 61 tasarım görevindeki ikili insan değerlendirmesinde:
  • Uçtan uca: MOSS-Image 1698,70 Elo puanı alarak GPT Image 2'nin (1844,35 Elo) ardından ikinci sırada yer almış, Seedream 5.0 Pro'yu (1661,16 Elo) geride bırakmıştır.
  • Paylaşılan Gelişmiş İstemler: Tüm üreticiler aynı doğal dil istemi yeniden yazımını aldığında, MOSS-Image omurgası 1807,34 Elo ile birinci sıraya yerleşmiştir.
  • İstem Stratejisi: JSON düzen koşullandırması 1622,87 Elo elde ederek doğal düzyazı düzenini (1506,20) ve kısa istemleri (1081,70) geride bırakmıştır.

Sınırlılıklar ve açık sorular

• DiT omurgası yerel olarak görsel referanslarına koşullanamaz veya yinelemeli yerelleştirilmiş görsel düzenleme gerçekleştiremez.
• Düzen İstem Geliştiricisi (Layout Prompt Enhancer) harici ticari dil modellerine (GPT-6) dayanır; LLM çıktılarındaki estetik planlama eksiklikleri veya olgusal hatalar doğrudan üretim kalitesini kısıtlar.
• En uzun Çince metin görevlerindeki performans (%92,4 kapsam), hâlâ İngilizce uzun metinlerin (%97,1) biraz gerisindedir.