Hy-Nomas: Menuju Pembangkitan Dunia Interaktif Bebas (Free-form)

Panduan membaca

Masalah dan motivasi

Model dunia video interaktif berfungsi sebagai lingkungan virtual simulasi yang menghasilkan observasi visual masa depan sebagai respons terhadap tindakan pengguna yang berkelanjutan. Berbeda dari sistem text-to-video (T2V) standar yang merender klip yang ditentukan sebelumnya, model dunia interaktif harus:

1. Menerima perintah yang masuk secara dinamis selama proses pembangkitan.
2. Menangani intervensi semantik (teks bebas) sekaligus navigasi spasial (pose kamera kontinu).
3. Mencegah tindakan sebelumnya diulangi secara keliru pada segmen-segmen berikutnya sembari tetap mempertahankan konteks visual dan konsekuensi adegan yang bertahan lama.
4. Menghindari pergeseran menumpuk (compounding drift) yang parah selama rollout autoregresif tanpa mengalami ledakan memori katastropik.

Hy-Nomas menjawab tantangan-tantangan ini dengan mengadaptasi transformer difusi dua arah (bidirectional diffusion transformer) 8B (HunyuanVideo 1.5) menjadi model dunia video autoregresif berbasis segmen yang terpadu.

Ide-ide utama

• Action-Aware Causal Attention: Membedakan antara konteks adegan deskriptif yang persisten ("head") dan instruksi tindakan yang teralokasi secara temporal ("tails"). Konteks deskriptif tetap dapat diakses oleh segmen-segmen mendatang, sementara token tindakan dibatasi hanya pada segmen asalnya serta batas temporalnya, guna mencegah eksekusi ulang tindakan.
• Continuous Camera Conditioning: Menggunakan transformasi relatif antarbinkai (frame-to-frame) $\Delta P_t=P_{t-1}^{-1}{P}_t$ yang dinormalisasi dengan skala gerakan level video dan diinjeksikan melalui cross-attention khusus per blok.
• Prompt Enhancer (PE): Model vision-language multimodal hasil fine-tuning (berbasis Qwen3.8-27B) yang menerjemahkan maksud pengguna multi-turn dan observasi historis ke dalam format kondisi JSON terstruktur yang merinci perubahan adegan, label kamera, dan tindakan yang tercakup.
• Segment Forcing dengan Streaming Backward: Melatih generator autoregresif pada prediksi terdenoisasi satu-langkahnya sendiri untuk mencocokkan distribusi galat waktu inferensi sembari menjaga memori tetap terbatas.
• Distilasi hingga 4 NFE: Mendistilasi sampler Euler 100-langkah menjadi 4 evaluasi fungsi jaringan (NFE) per segmen menggunakan inisialisasi Phased Consistency Model (PCM), Decoupled Distribution Matching Distillation (DDMD), dan penyempurnaan adversarial kausal.

Metode (beserta persamaan kunci)

Representasi Video Ruang Laten

Video RGB $X\in {\mathbb{R}}^{B\times 3\times F\times H\times W}$ dikompresi melalui encoder kausal DCAE-V $\mathcal{E}$ menjadi representasi laten $Z$: $$Z=\mathcal{E}(X)\in {\mathbb{R}}^{B\times 32\times F_z\times H_z\times W_z},F_z=\lfloor \frac{F-1}{4}\rfloor +1,H_z=\lfloor \frac{H}{32}\rfloor ,W_z=\lfloor \frac{W}{32}\rfloor$$ Setiap posisi laten diproyeksikan ke dalam ruang tersembunyi DiT 2.048 dimensi.

Tujuan Pelatihan (Training Objective)

Model dilatih melalui linear flow matching pada laten bersih $Z$ dan derau $ϵ\sim \mathcal{N}(0,I)$: $$Z_t=(1-t)Z+tϵ,V_t=ϵ-Z$$ Jaringan memprediksi kecepatan $V_t$, yang disupervisi menggunakan mean squared error.

Action-Aware Causal Attention & Pengondisian Kamera

Untuk segmen $j$, token video memperhatikan segmen masa lalu secara kausal dan memperhatikan secara dua arah di dalam segmen $j$. Di dalam setiap segmen, token kueri di dalam jendela tindakan hanya memperhatikan token teks dari tindakan tersebut serta head lingkungan. Pada cross-attention, token visual $V$ memperhatikan token kamera relatif 64-D $C$: $$\tilde{V}=V+\mathrm{CrossAttn}(V,C)$$

Segment Forcing

Untuk mempersiapkan model menghadapi akumulasi galat pada waktu inferensi, segmen $s$ menghitung loss flow-nya dan memperbarui cache KV untuk segmen $s+1$ menggunakan laten terdenoisasi satu-langkah: $${\tilde{\mathbf{x}}}_{s,t_{\mathrm{ctx}}}={\mathbf{x}}_{s,t}+(t_{\mathrm{ctx}}-t){\hat{\mathbf{v}}}_s,t_{\mathrm{ctx}}\sim \mathcal{U}(0.1,0.3)$$ Streaming backward melepaskan aktivasi perantara segmen-demi-segmen, sehingga hanya menyisakan graf komputasi satu segmen di dalam memori GPU.

Estimasi FLOP Pengemasan Terdistribusi (Distributed Packing FLOP Estimation)

Video dikemas ke dalam batch hingga 360 ribu token, diseimbangkan berdasarkan estimasi FLOP komputasi: $$F_i=\alpha n_i+\beta A_i$$ di mana $n_i$ adalah jumlah token yang valid, dan $A_i={\sum }_{p\in i}|\{q:M_{pq}^{(i)}\ne -\infty \}|$ adalah jumlah pasangan kueri-kunci yang tidak dimasker (unmasked).

Hasil (beserta angka-angka terpenting)

Dievaluasi pada Hy-Nomas-Bench (280 skenario uji di 4 tolok ukur):

• Bench-1 (Interaksi Teks Multi-Turn):
  • Kepatuhan prompt: Hy-Nomas meraih kemenangan 65,0% vs. kekalahan 10,0% melawan HappyOyster-Directing, dan kemenangan 75,0% vs. kekalahan 8,3% melawan LingBot-World v2.
  • Masuk akal secara fisik (physical plausibility): Hy-Nomas meraih kemenangan 45,0% vs. kekalahan 11,7% melawan HappyOyster-Directing, dan kemenangan 68,3% vs. kekalahan 5,0% melawan LingBot-World v2.
• Bench-2 (Navigasi Kamera): Hy-Nomas meraih tingkat kemenangan bersih lebih tinggi di 100 lintasan: kemenangan 32,0% vs. kekalahan 14,0% melawan Genie 3, dan kemenangan 36,0% vs. kekalahan 10,0% melawan HappyOyster-Wandering.
• Bench-3 (Teks & Kamera Interleaved): Meraih kemenangan 75,0% (vs. kekalahan 8,3%) dalam kepatuhan prompt, dan kemenangan 73,3% (vs. kekalahan 1,7%) dalam keabsahan fisik melawan LingBot-World v2.
• Bench-4 (Memori Spasial): Hy-Nomas melampaui LingBot-World v2 (kemenangan 58,3% vs. kekalahan 1,7%) dan HappyOyster (kemenangan 30,0% vs. kekalahan 23,3%), tetapi berada di belakang Genie 3 (kemenangan 13,3% vs. kekalahan 30,0%, dengan 56,7% seri), yang diuntungkan oleh basis data Street View.
• Penerapan pada GPU Tunggal: Kuantisasi INT8, sliding-window attention, dan CPU offloading memungkinkan rollout 100 detik beresolusi 720p pada satu NVIDIA RTX 4090 dengan memori puncak GPU 20,53 GiB.

Batasan dan pertanyaan terbuka

• Kesenjangan Memori Spasial Jangka Panjang: Genie 3 tetap unggul dalam konsistensi spasial saat mengunjungi kembali lokasi setelah pergerakan kamera yang rumit; pelatihan tanpa data lintasan memutar (looped trajectories) membatasi retensi jangkar spasial.
• Regresi Kamera pada LoRA: Penyesuaian halus (fine-tuning) pada dataset domain spesifik (misal, gaya sinematik) meningkatkan kepatuhan prompt dan estetika visual tetapi menurunkan kinerja kontrol kamera (kemenangan 19% vs. kekalahan 37%) akibat minimnya variasi lintasan kamera dalam data hilir.
• Akurasi Fisik dalam Robotika: Meskipun aksi lengan ganda di luar distribusi (out-of-distribution) dapat dihasilkan melalui adaptasi LoRA, difusi video secara bawaan tidak menjamin fisika robot level eksekusi atau kesesuaian force-torque.
• Perubahan Status di Luar Layar (Off-Screen): Perubahan yang terjadi di luar bidang pandang (misalnya, detak jam yang tidak terlihat) tidak dapat ditangkap murni melalui retrieval KV visual tanpa pelacakan status agen simbolik eksternal yang eksplisit.