Hy-Nomas: Serbest Biçimli Etkileşimli Dünya Üretimine Doğru

Okuma rehberi

Problem ve motivasyon

Etkileşimli video dünya modelleri, devam eden kullanıcı eylemlerine yanıt olarak gelecekteki görsel gözlemleri üreten simüle edilmiş sanal ortamlar olarak işlev görür. Önceden belirlenmiş klipleri görselleştiren standart metinden videoya (T2V) sistemlerin aksine, etkileşimli bir dünya modeli şunları yapmalıdır:

1. Üretim sırasında dinamik olarak gelen komutları kabul etmek.
2. Hem anlamsal müdahaleleri (serbest biçimli metin) hem de uzamsal navigasyonu (sürekli kamera pozları) yönetmek.
3. Kalıcı sahne bağlamını ve görsel sonuçları korurken, önceki eylemlerin sonraki segmentlerde hatalı şekilde tekrarlanmasını önlemek.
4. Felaket düzeyinde bellek patlaması yaşamadan, özbağlanımlı (autoregressive) açılım sırasında ciddi birikimli kaymalardan kaçınmak.

Hy-Nomas, 8B parametreli iki yönlü bir difüzyon transformatörünü (HunyuanVideo 1.5) segment tabanlı, birleşik ve özbağlanımlı bir video dünya modeline uyarlayarak bu zorlukların üstesinden gelir.

Temel fikirler

• Eyleme Duyarlı Nedensel Dikkat (Action-Aware Causal Attention): Kalıcı tanımlayıcı sahne bağlamı ("başlık") ile zamansal olarak yerelleştirilmiş eylem talimatları ("kuyruklar") arasında ayrım yapar. Tanımlayıcı bağlam gelecekteki segmentler tarafından erişilebilir kalırken, eylem belirteçleri yalnızca kaynak segmentleri ve zamansal sınırlarıyla kısıtlanır; böylece eylemin tekrar yürütülmesi önlenir.
• Sürekli Kamera Koşullandırması: Video düzeyindeki hareket ölçekleriyle normalize edilmiş ve blok başına ayrılmış çapraz dikkat mekanizmasıyla enjekte edilen kareler arası bağıl dönüşümleri $\Delta P_t=P_{t-1}^{-1}{P}_t$ kullanır.
• Prompt Enhancer (PE): Çok turlu kullanıcı niyetini ve geçmiş gözlemleri; sahne değişikliklerini, kamera etiketlerini ve kapsanan eylemleri belirten yapılandırılmış JSON koşullarına dönüştüren, ince ayarlı bir çok modlu görme-dil modelidir (Qwen3.8-27B tabanlı).
• Akış Geri Yayılımlı Segment Zorlama (Segment Forcing with Streaming Backward): Belleği sınırlı tutarken çıkarım anındaki hata dağılımıyla eşleşmesi için, özbağlanımlı üreticiyi kendi tek adımlı gürültüden arındırılmış tahminleri üzerinde eğitir.
• 4 NFE'ye Damıtma (Distillation to 4 NFEs): Aşamalı Tutarlılık Modeli (PCM) başlatması, Ayrıştırılmış Dağılım Eşleştirme Damıtması (DDMD) ve nedensel çekişmeli iyileştirme kullanarak 100 adımlı Euler örnekleyicisini segment başına 4 ağ fonksiyonu değerlendirmesine (NFE) düşürür.

Yöntem (temel denklemlerle)

Gizil Uzay Video Temsili

RGB video $X\in {\mathbb{R}}^{B\times 3\times F\times H\times W}$, nedensel bir DCAE-V kodlayıcısı $\mathcal{E}$ aracılığıyla $Z$ gizillerine sıkıştırılır: $$Z=\mathcal{E}(X)\in {\mathbb{R}}^{B\times 32\times F_z\times H_z\times W_z},F_z=\lfloor \frac{F-1}{4}\rfloor +1,H_z=\lfloor \frac{H}{32}\rfloor ,W_z=\lfloor \frac{W}{32}\rfloor$$ Her bir gizil konum, 2.048 boyutlu DiT gizli uzayına izdüşürülür.

Eğitim Amacı

Model; temiz giziller $Z$ ve gürültü $ϵ\sim \mathcal{N}(0,I)$ üzerinde doğrusal akış eşleştirme (linear flow matching) yoluyla eğitilir: $$Z_t=(1-t)Z+tϵ,V_t=ϵ-Z$$ Ağ, ortalama kare hatası ile denetlenen $V_t$ hızını tahmin eder.

Eyleme Duyarlı Nedensel Dikkat ve Kamera Koşullandırması

$j$ segmenti için video belirteçleri, geçmiş segmentlere nedensel olarak, $j$ segmenti içine ise iki yönlü olarak dikkat eder. Her segment içinde, bir eylem penceresindeki sorgu belirteçleri yalnızca o eylemin metin belirteçlerine ve ortam başlığına dikkat eder. Çapraz dikkatte, görsel belirteçler $V$, 64 boyutlu bağıl kamera belirteçlerine $C$ dikkat eder: $$\tilde{V}=V+\mathrm{CrossAttn}(V,C)$$

Segment Zorlama (Segment Forcing)

Modeli çıkarım anındaki hata birikimine hazırlamak için, $s$ segmenti akış kaybını hesaplar ve tek adımlı gürültüden arındırılmış bir gizil kullanarak $s+1$ segmenti için KV önbelleğini günceller: $${\tilde{\mathbf{x}}}_{s,t_{\mathrm{ctx}}}={\mathbf{x}}_{s,t}+(t_{\mathrm{ctx}}-t){\hat{\mathbf{v}}}_s,t_{\mathrm{ctx}}\sim \mathcal{U}(0.1,0.3)$$ Akış geri yayılımı (streaming backward), ara aktivasyonları segment segment serbest bırakarak GPU belleğinde yalnızca tek bir segmentin hesaplama grafiğini tutar.

Dağıtık Paketleme FLOP Tahmini

Videolar, tahmini hesaplama FLOP'ları ile dengelenerek 360K belirtece kadar olan yığınlar halinde paketlenir: $$F_i=\alpha n_i+\beta A_i$$ Burada $n_i$ geçerli belirteç sayısı, $A_i={\sum }_{p\in i}|\{q:M_{pq}^{(i)}\ne -\infty \}|$ ise maskelenmemiş sorgu-anahtar çiftlerinin sayısıdır.

Sonuçlar (en önemli sayılarla)

Hy-Nomas-Bench (4 kıyaslama genelinde 280 test senaryosu) üzerinde değerlendirilmiştir:

• Bench-1 (Çok Turlu Metin Etkileşimi):
  • İstem takibi: Hy-Nomas, HappyOyster-Directing karşısında %65,0 kazanma / %10,0 kaybetme, LingBot-World v2 karşısında ise %75,0 kazanma / %8,3 kaybetme elde eder.
  • Fiziksel makullük: Hy-Nomas, HappyOyster-Directing karşısında %45,0 kazanma / %11,7 kaybetme, LingBot-World v2 karşısında ise %68,3 kazanma / %5,0 kaybetme başarısı gösterir.
• Bench-2 (Kamera Navigasyonu): Hy-Nomas, 100 yörünge boyunca daha yüksek net kazanma oranlarına ulaşır: Genie 3 karşısında %32,0 kazanma / %14,0 kaybetme ve HappyOyster-Wandering karşısında %36,0 kazanma / %10,0 kaybetme.
• Bench-3 (Ardışık Metin ve Kamera): LingBot-World v2 karşısında istem takibinde %75,0 kazanma (%8,3 kaybetmeye karşı) ve fiziksel makullükte %73,3 kazanma (%1,7 kaybetmeye karşı) elde eder.
• Bench-4 (Uzamsal Bellek): Hy-Nomas; LingBot-World v2 (%58,3 kazanma / %1,7 kaybetme) ve HappyOyster (%30,0 kazanma / %23,3 kaybetme) modellerini geride bırakır ancak Street View temellemesinden yararlanan Genie 3 modelinin gerisinde kalır (%13,3 kazanma / %30,0 kaybetme, %56,7 beraberlik).
• Tek GPU Dağıtımı: INT8 kuantizasyonu, kayan pencereli dikkat (sliding-window attention) ve CPU boşaltma (offloading); tek bir NVIDIA RTX 4090 üzerinde 20,53 GiB tepe GPU belleğiyle 100 saniyelik 720p açılımlara olanak tanır.

Sınırlılıklar ve açık sorular

• Uzun Vadeli Uzamsal Bellek Açığı: Karmaşık kamera hareketlerinden sonra konumlara geri dönerken Genie 3 uzamsal tutarlılıkta üstünlüğünü korur; döngüsel yörünge verisi olmadan eğitim yapmak referans noktası tutulmasını sınırlar.
• LoRA Kamera Regresyonu: Alana özgü veri kümelerinde (örn. sinematik stiller) ince ayar yapmak, istem uyumunu ve görsel estetiği artırmış ancak alt görev verilerindeki yetersiz kamera yörüngesi çeşitliliği nedeniyle kamera kontrol performansını düşürmüştür (%19 kazanma / %37 kaybetme).
• Robotikte Fiziksel Doğruluk: Dağıtım dışı çift kollu robot eylemleri LoRA uyarlaması yoluyla üretilebilse de, video difüzyonu doğası gereği yürütme düzeyinde robot fiziğini veya kuvvet-tork uyumunu garanti etmez.
• Ekran Dışı Durum Değişiklikleri: Görüş alanının dışında meydana gelen değişiklikler (örn. gözlemlenmeyen bir saatin tik takları), açık bir harici sembolik ajan durum takibi olmaksızın yalnızca görsel KV geri çağırma ile yakalanamaz.