MOSS-Image Technical Report

MOSI. AI

논문 · arXiv 2610.23374

MOSS-Image 기술 보고서

MOSS-Image Technical Report

MOSI. AI

게시일 2026-10-16cs.CV arXiv PDF

XYZNOT로 읽기 (전문 번역과 AI 해설)

세 줄 요약

🎯 오픈 웨이트 텍스트-투-이미지 모델은 간결한 사용자 프롬프트로부터 복잡한 다중 요소 레이아웃과 밀도 높은 장문 이중 언어 텍스트를 렌더링하는 데 한계를 보입니다.
🔧 다중 세분성 캡션과 구조화된 바운딩 박스 JSON 지도를 활용해 5B 단일 스트림 DiT를 바닥부터 사전 학습하고, 추론 시 의도 인식 프롬프트 강화를 수행하는 LLM 에이전트와 결합했습니다.
📈 LongLongTextBench에서 Mean-6 텍스트 커버리지 96.3을 기록하여 오픈 웨이트 SOTA를 달성했으며, RealLayoutArena에서 1698.70 Elo를 기록(GPT Image 2에 이어 종합 2위)했습니다.

초록

최근 공개된 클로즈드 소스 이미지 생성 시스템들은 단순한 구도부터 정보 밀도가 높은 그래픽에 이르기까지 다양한 시각 콘텐츠를 제작할 수 있지만, 오픈 웨이트 텍스트-투-이미지 모델은 밀집된 텍스트와 복잡한 레이아웃 처리에 여전히 어려움을 겪고 있습니다. 이러한 격차를 좁히기 위해, 고 충실도 시각 합성 기능과 의도 인식 구도 설계를 결합한 오픈 생성 시스템인 MOSS-Image를 소개합니다. 첫째, 세심하게 설계된 레시피를 바탕으로 5B 단일 스트림 diffusion transformer(DiT)를 처음부터 사전 학습하여 이중 언어 장문 텍스트 렌더링 및 정밀한 레이아웃 제어를 구현했습니다. 둘째, 다양한 사용자 요청을 상세한 콘텐츠 및 레이아웃 명세로 변환하는 의도 인식 에이전트 기반 프롬프트 향상(PE) 모듈을 개발했습니다. 이 두 요소가 결합하여 MOSS-Image는 텍스트가 풍부하고 레이아웃이 일관된 이미지를 생성할 수 있습니다. 나아가 장문 영어 및 중국어 텍스트 렌더링을 평가하는 LongLongTextBench(LLTB)와 엔드투엔드 레이아웃 생성 평가를 위한 RealLayoutArena(RLA)를 도입했습니다. MOSS-Image는 LLTB에서 96.3%의 평균 텍스트 커버리지를 기록하며 오픈 웨이트 모델 중 최고 수준(SOTA)의 성능을 달성했습니다. RLA에서는 엔드투엔드 시스템 비교 부문 2위를 차지했으며, 동일한 강화 프롬프트로 평가한 생성기 백본 부문에서는 1위를 기록했습니다. 텍스트-투-이미지 커뮤니티의 발전과 후속 연구를 지원하기 위해 모델, 학습 레시피, 평가 프레임워크를 공개할 예정입니다.

영어 원문 초록

Recent closed-source image generation systems can produce diverse visual content from simple compositions to information-dense graphics, yet open-weight text-to-image models still struggle with dense text and intricate layouts. To narrow this gap, we introduce MOSS-Image, an open generation system that combines high-fidelity visual synthesis with intent-aware composition. First, we pretrain a 5B single-stream diffusion transformer (DiT) from scratch with a carefully designed recipe, enabling bilingual long-form text rendering and precise layout control. Second, we develop an intention-aware agentic prompt enhancement (PE) module that translates diverse user requests into detailed content and layout specifications. Together, they enable MOSS-Image to generate text-rich and layout-coherent images. We further introduce LongLongTextBench (LLTB) for evaluating long-form English and Chinese text rendering, and RealLayoutArena (RLA) for end-to-end layout-rich generation. MOSS-Image achieves state-of-the-art performance among open-weight models on LLTB, with an average text coverage of 96.3%. On RLA, MOSS-Image ranks second in the end-to-end system comparison, while its backbone ranks first among generators evaluated with shared enhanced prompts. We will release the model, training recipe, and evaluation framework to support further research and promote the text-to-image community.

논문 해설

문제 및 연구 배경

클로즈드 소스 이미지 생성기(예: GPT Image 2, Seedream 5.0 Pro)는 포스터, 인포그래픽, 사용자 인터페이스(UI)와 같이 복잡한 시각 커뮤니케이션 자료를 안정적으로 제작할 수 있습니다. 반면, 오픈 웨이트 모델은 다음과 같은 두 가지 밀접한 과제로 인해 여전히 고전하고 있습니다:

렌더링: 밀도 높은 장문 이중 언어(영어/중국어) 텍스트를 정확히 표기하고 2D 공간 레이아웃을 엄격하게 준수하는 작업.
명세화: 종종 10단어 미만인 짧은 사용자 프롬프트를 풍부하고 구조화된 콘텐츠 기획 및 좌표 레이아웃으로 변환하는 작업.

LongTextBench와 같은 기존 텍스트 벤치마크는 타깃당 평균 120자 수준에 불과하고 이미 포화 상태(~96–98% 커버리지)에 이르러, 페이지 길이의 문학 텍스트나 복잡한 다중 요소 구도를 검증하기 어렵습니다.

핵심 아이디어

통합 텍스트 컨디셔닝 경로: 자연어 재캡셔닝 텍스트와 구조화된 바운딩 박스 레이아웃(JSON)을 단일 텍스트 컨디셔닝 경로(동결된 Qwen3.5-9B 인코더 사용)로 전달하여, 백본이 서술형 산문과 좌표 수준의 레이아웃 제약을 네이티브하게 함께 처리하도록 지원합니다.
필터링 대신 주석 달기(Annotate Rather Than Filter): 불완전한 이미지(예: 워터마크, 압축 아티팩트, 블러 등)를 제거하는 대신 광범위한 시각 분포를 유지하고, 텍스트 캡션에 이러한 결함을 명시적으로 서술합니다.
줄바꿈(Line Breaks) 보존: 어노테이션에서 줄바꿈 문자(\n)를 그대로 유지하여 DiT가 텍스트를 행별로 감싸고 배치하는 방식을 명시적으로 학습시킵니다.
에이전트 기반 프롬프트 향상(PE): 추론 시 플래너(GPT-6)가 매체(포스터, 인포그래픽, UI)별로 요청을 라우팅하고, 지식 및 시각 레퍼런스를 검색하여 구조화된 레이아웃 JSON 명세를 생성합니다.
신규 벤치마크: LongLongTextBench (LLTB)(영어 및 중국어 전반에 걸쳐 평균 1,339.8자) 및 RealLayoutArena (RLA)(61개의 복잡한 디자인 태스크에 대한 블라인드 쌍체 인간 평가)를 새롭게 도입했습니다.

방법론

1. 백본 아키텍처

모델: 5B 단일 스트림 Diffusion Transformer (DiT), 42개 블록, 은닉 차원 3072, 24개 헤드(헤드당 128차원), FFN 크기 8192.
인코더: 동결된 Qwen3.5-9B 텍스트 인코더 및 동결된 FLUX.2 VAE(패치 크기 $2 \times 2$ , 유효 스트라이드 16픽셀).
피드포워드: 부드러운 상한 $c_{β} (v) = β tanh (v / β)$ 을 적용한 SiTU-GLU: $FFN (x) = W_{o} [c_{β_{g}} (g) ⊙ sigmoid (g) ⊙ c_{β_{u}} (u)]$
4D RoPE: 쿼리/키 헤드가 레퍼런스 인덱스, 시퀀스 위치, 너비, 높이를 나타내는 좌표 $p = (r, t, w, h)$ 에 따라 분할됨: $RoPE_{4 D} (z, p) = [R_{r} (r) z_{r}; R_{t} (t) z_{t}; R_{w} (w) z_{w}; R_{h} (h) z_{h}]$ 외부 참조 이미지가 없을 경우 $r = 0$ 이 되어 앞선 32개 차원은 회전되지 않은 상태로 유지(partial RoPE).
학습 손실 함수: 배치 샘플 전체의 유효 잠재 토큰 $N_{i}$ 에 걸친 패킹된 flow-matching 목적 함수: $L_{FM} = E [\frac{1}{\sum _{i} N _{i}} i \sum p = 1 \sum N_{i} \frac{1}{C} ∥ v_{θ} (z_{σ_{i}}, 1000 σ_{i}, c_{i})_{p} - (ϵ_{i} - z_{0, i})_{p} ∥_{2}^{2}]$
옵티마이저: 하이브리드 Muon–AdamW 옵티마이저. 조건을 만족하는 2D 행렬에는 Muon을, 벡터/임베딩에는 AdamW를 적용하여 AdamW 단독 사용 대비 수렴 속도를 약 28–33% 가속.

2. 다단계 학습 및 지도

최대 310,000스텝에 걸쳐 3단계로 학습하며, 타깃 이미지 면적은 최대 $102 4^{2}$ 픽셀, 텍스트 수용 용량은 4,096토큰으로 제한.
캡션은 짧은 단위, 중간 단위, 긴 단위의 세분성으로 샘플링되며, 명시적 레이아웃 어노테이션(장면/요소 또는 요약/아이템 JSON 스키마)과 혼합.

실험 결과

LongLongTextBench (LLTB): MOSS-Image는 6개 언어-길이 구간에서 96.3 Mean-6 커버리지를 달성하며 Qwen Image 2512(64.9 Mean-6)를 포함한 오픈 웨이트 모델들을 앞섰습니다. Ideogram 4.0은 63.5(안전 정책 거부 제외 시 68.1)를 기록했습니다.
7Bench 레이아웃 제어: MOSS-Image는 0.8786 $mIoU_{det}$ 및 0.7031 Layout AUC를 기록하여 Ideogram 4.0(0.4449 $mIoU_{det}$ , 0.2046 Layout AUC), GPT Image 2(0.3042 $mIoU_{det}$ ), Seedream 5.0 Pro(0.3273 $mIoU_{det}$ )를 능가했습니다.
RealLayoutArena (RLA): 61개 디자인 태스크에 대한 쌍체 인간 평가 결과:
- 엔드투엔드: MOSS-Image는 1698.70 Elo를 기록하여 GPT Image 2(1844.35 Elo)에 이어 2위를 차지했고, Seedream 5.0 Pro(1661.16 Elo)를 앞섰습니다.
- 공유 강화 프롬프트: 모든 생성기에 동일한 자연어 프롬프트 재작성본을 제공했을 때, MOSS-Image 백본은 1807.34 Elo로 1위를 기록했습니다.
- 프롬프트 전략: JSON 레이아웃 컨디셔닝은 1622.87 Elo를 얻어, 자연어 산문 레이아웃(1506.20) 및 짧은 프롬프트(1081.70)를 능가했습니다.

한계점 및 향후 과제

DiT 백본은 네이티브 환경에서 이미지 레퍼런스를 조건으로 받거나 반복적인 국소 영역 이미지 편집을 직접 수행하지 못합니다.
Layout Prompt Enhancer는 외부 상용 언어 모델(GPT-6)에 의존하므로, LLM 출력의 미적 계획 수준이나 사실적 오류가 생성 품질을 직접적으로 제한합니다.
가장 긴 중국어 텍스트 태스크에서의 성능(92.4% 커버리지)은 긴 영어 텍스트(97.1%)에 비해 여전히 소폭 뒤처집니다.

핵심 용어

MOSS-Image: 5B 단일 스트림 DiT 백본과 의도 인식 에이전트 기반 프롬프트 인핸서를 결합한 오픈 텍스트-투-이미지 생성 시스템.
SiTU-GLU: 학습 다이내믹을 안정화하기 위해 부드러운 쌍곡탄젠트 캡핑 함수를 적용한 게이트 피드포워드 활성화 계층.
4D RoPE: 레퍼런스 인덱스, 시간적 시퀀스 위치, 너비, 높이 좌표로 분해된 회전 위치 임베딩.
Muon: Newton–Schulz 스텝을 기반으로 하는 행렬 업데이트 옵티마이저로, AdamW와 하이브리드로 구성되어 DiT의 수렴 속도를 가속함.
Layout PE: 사용자의 디자인 질의를 라우팅하고 시각 레퍼런스를 검사하며 JSON 형식의 구조화된 레이아웃 명세를 생성하는 LLM 기반 추론 시 에이전트.
LongLongTextBench (LLTB): 장문 텍스트 생성 능력을 검증하기 위해 프롬프트당 평균 약 1,340자의 텍스트를 포함하는 240개의 이중 언어 문학 텍스트 렌더링 태스크 벤치마크.
RealLayoutArena (RLA): 61개의 복잡한 디자인 태스크에 걸쳐 포스터, 인포그래픽, UI를 평가하는 블라인드 인간 쌍체 비교 아레나.
Line-Break Alignment: 디퓨전 디노이징 과정에서 텍스트가 여러 줄의 레이아웃으로 적절히 배치되도록 지도하기 위해 텍스트 어노테이션의 실제 줄바꿈 문자를 보존하는 기법.

자주 묻는 질문

MOSS-Image가 듀얼 스트림 대신 단일 스트림 DiT를 채택한 이유는 무엇인가요?

단일 스트림 DiT는 공유된 셀프 어텐션 블록 내에서 텍스트 토큰과 이미지 잠재 토큰을 함께 처리하므로, 자연어 산문과 구조화된 JSON 바운딩 박스를 동일한 텍스트 인터페이스를 통해 자연스럽게 조건으로 주입할 수 있기 때문입니다.

MOSS-Image는 줄바꿈을 통해 어떻게 텍스트 렌더링 성능을 개선하나요?

줄바꿈을 보존한 채 텍스트를 있는 그대로 전사함으로써 행 배치에 대한 명시적인 지도 신호를 제공합니다. 정성적 분석에 따르면, 명시적인 줄바꿈 정보는 디노이징 과정에서 글자가 더 빠르고 선명하게 형성되도록 돕습니다.

'필터링 대신 주석 달기(annotate rather than filter)' 데이터 큐레이션 철학을 채택한 이유는 무엇인가요?

절제 실험(ablation study) 결과, 종횡비, 엔트로피, 워터마크, 블러 등을 기준으로 이미지를 필터링하여 버리면 전반적인 시각적 다양성이 훼손되고 텍스트 점수가 급감하는 것으로 나타났습니다. 텍스트 설명 내에 이러한 결함을 명시적으로 서술함으로써 출력 충실도를 희생하지 않고도 폭넓은 데이터 분포를 보존할 수 있었습니다.

학습되지 않은 새로운 이미지 해상도를 처리할 때 어떤 바운딩 박스 좌표 형식이 가장 적합한가요?

중앙 원점 기준의 절대 픽셀 좌표가 정규화된 [0, 1000] 상대 좌표보다 학습되지 않은 고해상도 환경에 더 잘 일반화되었습니다. 상대 좌표의 경우 요소를 캔버스 중앙으로 축소시키는 경향이 있었습니다.

이 페이지의 해설은 AI가 논문을 바탕으로 작성했으며 오류가 있을 수 있습니다. 자세한 내용은 원문을 확인하세요.

XYZNOT로 읽기 (전문 번역과 AI 해설)