Báo cáo kỹ thuật về MOSS-Image

Hướng dẫn đọc

Vấn đề và động lực

Các mô hình tạo ảnh nguồn đóng (ví dụ: GPT Image 2, Seedream 5.0 Pro) có thể tạo ra một cách đáng tin cậy các ấn phẩm truyền thông trực quan phức tạp như áp phích, đồ họa thông tin (infographic) và giao diện người dùng (UI). Tuy nhiên, các mô hình trọng số mở vẫn phải vật lộn với hai thách thức song hành:

1. Khả năng kết xuất (Rendering): Vẽ chính xác văn bản song ngữ (Anh/Trung) dày đặc, kéo dài và tuân thủ nghiêm ngặt các bố cục không gian 2D.
2. Khả năng đặc tả (Specification): Chuyển đổi các câu nhắc ngắn gọn của người dùng (thường dưới 10 từ) thành các kế hoạch nội dung phong phú, có cấu trúc và bố cục tọa độ chi tiết.

Các benchmark văn bản hiện tại như LongTextBench chỉ đạt trung bình 120 ký tự cho mỗi mục tiêu và gần như đã bão hòa (96–98% độ bao phủ), không đủ để kiểm tra văn bản văn học dài cả trang hoặc các bố cục đa thành phần phức tạp.

Các ý tưởng cốt lõi

• Đường dẫn điều kiện hóa văn bản hợp nhất (Unified Text-Conditioning Pathway): Các văn bản mô tả lại bằng ngôn ngữ tự nhiên và bố cục bounding-box có cấu trúc (JSON) được đưa qua một đường dẫn điều kiện hóa văn bản duy nhất (thông qua bộ mã hóa Qwen3.5-9B đóng băng), cho phép mô hình nền tảng xử lý tự nhiên cả văn xuôi miêu tả lẫn các ràng buộc bố cục cấp tọa độ.
• Ghi chú thay vì lọc bỏ (Annotate Rather Than Filter): Thay vì loại bỏ các hình ảnh không hoàn hảo (ví dụ: có watermark, hiện tượng nén, mờ), nhóm nghiên cứu giữ lại phân phối thị giác rộng và mô tả rõ ràng các khiếm khuyết này trong phần chú thích văn bản.
• Bảo toàn ký tự xuống dòng (Preserving Line Breaks): Các ký tự ngắt dòng chính xác (\n) trong chú thích được giữ lại để dạy DiT một cách rõ ràng cách văn bản ngắt dòng và tổ chức qua nhiều dòng.
• Tăng cường câu nhắc dạng Agent (Agentic Prompt Enhancement - PE): Một bộ lập kế hoạch ở giai đoạn suy luận (GPT-6) định tuyến các yêu cầu theo thể loại (poster, infographic, UI), truy xuất tri thức và tài liệu tham khảo trực quan, rồi tạo ra các đặc tả bố cục JSON có cấu trúc.
• Các benchmark mới: Giới thiệu LongLongTextBench (LLTB) (trung bình 1.339,8 ký tự cho cả tiếng Anh và tiếng Trung) và RealLayoutArena (RLA) (đánh giá mù theo cặp do con người thực hiện trên 61 tác vụ thiết kế phức tạp).

Phương pháp

1. Kiến trúc mô hình nền tảng (Backbone Architecture)

• Mô hình: Diffusion Transformer (DiT) đơn luồng 5B, 42 block, kích thước ẩn (hidden size) 3072, 24 head (128 chiều/head), kích thước FFN 8192.
• Bộ mã hóa (Encoders): Bộ mã hóa văn bản Qwen3.5-9B đóng băng và FLUX.2 VAE đóng băng (kích thước patch $2\times 2$, bước sải hiệu dụng 16 pixel).
• Feed-Forward: SiTU-GLU với hàm giới hạn mượt mà $c_{\beta }(v)=\beta \tanh (v/\beta )$: $$\mathrm{FFN}(\mathbf{x})=W_o\left[c_{{\beta }_g}(\mathbf{g})\odot \mathrm{sigmoid}(\mathbf{g})\odot c_{{\beta }_u}(\mathbf{u})\right]$$
• 4D RoPE: Các head query/key được phân vùng dọc theo các tọa độ $\mathbf{p}=(r,t,w,h)$ đại diện cho chỉ số tham chiếu, vị trí chuỗi, chiều rộng và chiều cao: $${\mathrm{RoPE}}_{4D}(\mathbf{z},\mathbf{p})=[R_r(r){\mathbf{z}}_r;R_t(t){\mathbf{z}}_t;R_w(w){\mathbf{z}}_w;R_h(h){\mathbf{z}}_h]$$ Khi không có ảnh tham chiếu bên ngoài, $r=0$, giữ nguyên không xoay 32 chiều đầu tiên (partial RoPE).
• Hàm mất mát huấn luyện: Mục tiêu flow-matching đóng gói (packed flow-matching) trên các token tiềm ẩn hợp lệ $N_i$ trên toàn bộ các mẫu trong batch: $${\mathcal{L}}_{\mathrm{FM}}=\mathbb{E}\left[\frac{1}{{\sum }_i{N}_i}\sum _i\sum _{p=1}^{N_i}\frac{1}{C}{\Vert v_{\theta }(z_{{\sigma }_i},1000{\sigma }_i,c_i{)}_p-({ϵ}_i-z_{0,i}{)}_p\Vert }_2^2\right]$$
• Bộ tối ưu hóa (Optimizer): Bộ tối ưu hóa lai Muon–AdamW, áp dụng Muon cho các ma trận 2D đủ điều kiện và AdamW cho vector/embedding, giúp hội tụ nhanh hơn ~28–33% so với chỉ dùng AdamW.

2. Huấn luyện nhiều giai đoạn và Giám sát

• Được huấn luyện qua 3 giai đoạn lên tới 310.000 bước, giới hạn diện tích ảnh mục tiêu ở mức $1024^2$ pixel và dung lượng văn bản ở mức 4.096 token.
• Chú thích được lấy mẫu ở các độ chi tiết ngắn, trung bình và dài, kết hợp với các chú thích bố cục rõ ràng (lược đồ JSON dạng scene/element hoặc summary/items).

Kết quả

• LongLongTextBench (LLTB): MOSS-Image đạt độ bao phủ 96,3 Mean-6 trên 6 nhóm độ dài-ngôn ngữ, vượt trội so với các mô hình trọng số mở bao gồm Qwen Image 2512 (64,9 Mean-6). Ideogram 4.0 đạt 63,5 (hoặc 68,1 nếu loại trừ các trường hợp từ chối do an toàn).
• Kiểm soát bố cục 7Bench: MOSS-Image đạt 0,8786 ${\mathrm{mIoU}}_{\det }$ và 0,7031 Layout AUC, vượt trội hơn Ideogram 4.0 (0,4449 ${\mathrm{mIoU}}_{\det }$, 0,2046 Layout AUC), GPT Image 2 (0,3042 ${\mathrm{mIoU}}_{\det }$) và Seedream 5.0 Pro (0,3273 ${\mathrm{mIoU}}_{\det }$).
• RealLayoutArena (RLA): Trong đánh giá mù theo cặp của con người trên 61 tác vụ thiết kế:
  • Đánh giá toàn diện (End-to-end): MOSS-Image đạt 1698,70 Elo, xếp thứ hai sau GPT Image 2 (1844,35 Elo) và đứng trước Seedream 5.0 Pro (1661,16 Elo).
  • Câu nhắc tăng cường dùng chung: Khi tất cả các bộ tạo ảnh nhận cùng một bản viết lại câu nhắc bằng ngôn ngữ tự nhiên, backbone của MOSS-Image đứng thứ nhất với 1807,34 Elo.
  • Chiến lược câu nhắc: Điều kiện hóa bố cục bằng JSON đạt 1622,87 Elo, đánh bại bố cục bằng văn xuôi tự nhiên (1506,20) và câu nhắc ngắn (1081,70).

Hạn chế và các câu hỏi mở

• Backbone DiT chưa thể điều kiện hóa nguyên bản (natively) trên các ảnh tham chiếu hoặc thực hiện chỉnh sửa ảnh cục bộ có tính lặp lại (iterative).
• Layout Prompt Enhancer phụ thuộc vào các mô hình ngôn ngữ thương mại bên ngoài (GPT-6); việc lập kế hoạch thẩm mỹ hoặc các điểm không chính xác về mặt thông tin thực tế từ đầu ra của LLM sẽ hạn chế trực tiếp chất lượng tạo ảnh.
• Hiệu năng trên các tác vụ văn bản tiếng Trung dài nhất (độ bao phủ 92,4%) vẫn tụt lại một chút so với văn bản tiếng Anh dài (97,1%).