Hy-Nomas: Auf dem Weg zur freiformigen interaktiven Weltengenerierung

Leseleitfaden

Problem und Motivation

Interaktive Video-Weltmodelle fungieren als simulierte virtuelle Umgebungen, die als Reaktion auf fortlaufende Benutzeraktionen zukünftige visuelle Beobachtungen generieren. Anders als standardmäßige Text-to-Video (T2V)-Systeme, die vordefinierte Clips rendern, muss ein interaktives Weltmodell:

1. Dynamisch eintreffende Befehle während der Generierung verarbeiten.
2. Sowohl semantische Interventionen (Freiform-Text) als auch räumliche Navigation (kontinuierliche Kameraposen) bewältigen.
3. Verhindern, dass frühere Aktionen in nachfolgenden Segmenten fälschlicherweise wiederholt werden, während dauerhafter Szenenkontext und visuelle Konsequenzen erhalten bleiben.
4. Schwerwiegende kumulative Fehlerdrifts während des autoregressiven Rollouts vermeiden, ohne eine katastrophale Speicherexplosion zu erleiden.

Hy-Nomas begegnet diesen Herausforderungen, indem es einen bidirektionalen 8B-Diffusions-Transformer (HunyuanVideo 1.5) in ein einheitliches, segmentweise autoregressives Video-Weltmodell überführt.

Zentrale Ideen

• Action-Aware Causal Attention: Unterscheidet zwischen persistentem, beschreibendem Szenenkontext („Head“) und zeitlich lokalisierten Handlungsanweisungen („Tails“). Der beschreibende Kontext bleibt für zukünftige Segmente zugänglich, während Aktionstoken auf ihr Ursprungssegment und ihre zeitlichen Grenzen beschränkt sind, was eine erneute Aktionsausführung verhindert.
• Kontinuierliche Kamerakonditionierung: Verwendet Frame-zu-Frame-Relativtransformationen $\Delta P_t=P_{t-1}^{-1}{P}_t$, die anhand von Bewegungsskalen auf Videoebene normalisiert und über dedizierte blockweise Cross-Attention injiziert werden.
• Prompt Enhancer (PE): Ein feinabgestimmtes multimodales Vision-Language-Modell (basierend auf Qwen3.8-27B), das Multi-Turn-Benutzerabsichten und historische Beobachtungen in strukturierte JSON-Bedingungen übersetzt, welche Szenenänderungen, Kamera-Tags und enthaltene Aktionen spezifizieren.
• Segment Forcing mit Streaming Backward: Trainiert den autoregressiven Generator auf seinen eigenen einstufig entrauschten Vorhersagen, um der Inferenz-Fehlerverteilung zu entsprechen und gleichzeitig den Speicherbedarf begrenzt zu halten.
• Destillation auf 4 NFEs: Destilliert den 100-Schritt-Euler-Sampler auf 4 Network Function Evaluations pro Segment unter Verwendung von Phased Consistency Model (PCM)-Initialisierung, Decoupled Distribution Matching Distillation (DDMD) und kausaler adversarieller Verfeinerung.

Methodik (mit den zentralen Gleichungen)

Latent-Space-Videorepräsentation

RGB-Video $X\in {\mathbb{R}}^{B\times 3\times F\times H\times W}$ wird über einen kausalen DCAE-V-Encoder $\mathcal{E}$ in Latents $Z$ komprimiert: $$Z=\mathcal{E}(X)\in {\mathbb{R}}^{B\times 32\times F_z\times H_z\times W_z},F_z=\lfloor \frac{F-1}{4}\rfloor +1,H_z=\lfloor \frac{H}{32}\rfloor ,W_z=\lfloor \frac{W}{32}\rfloor$$ Jede latente Position wird in den 2.048-dimensionalen Hidden-Space des DiT projiziert.

Trainingsziel

Das Modell wird über lineares Flow Matching auf bereinigten Latents $Z$ und Rauschen $ϵ\sim \mathcal{N}(0,I)$ trainiert: $$Z_t=(1-t)Z+tϵ,V_t=ϵ-Z$$ Das Netzwerk sagt die Geschwindigkeit $V_t$ voraus, überwacht mit dem mittleren quadratischen Fehler (MSE).

Action-Aware Causal Attention & Kamerakonditionierung

Für Segment $j$ wendet Video-Token kausale Attention auf vergangene Segmente und bidirektionale Attention innerhalb von Segment $j$ an. Innerhalb jedes Segments richten Query-Token innerhalb eines Aktionsfensters ihre Attention nur auf die Text-Token dieser Aktion und den Umgebungs-Head. In der Cross-Attention richten visuelle Token $V$ ihre Attention auf 64-D relative Kamera-Token $C$: $$\tilde{V}=V+\mathrm{CrossAttn}(V,C)$$

Segment Forcing

Um das Modell auf die Fehlerakkumulation zur Inferenzzeit vorzubereiten, berechnet Segment $s$ seinen Flow-Verlust und aktualisiert den KV-Cache für Segment $s+1$ unter Verwendung eines einstufig entrauschten Latents: $${\tilde{\mathbf{x}}}_{s,t_{\mathrm{ctx}}}={\mathbf{x}}_{s,t}+(t_{\mathrm{ctx}}-t){\hat{\mathbf{v}}}_s,t_{\mathrm{ctx}}\sim \mathcal{U}(0.1,0.3)$$ Streaming Backward gibt Zwischenaktivierungen segmentweise frei, sodass nur der Berechnungsgraph eines einzelnen Segments im GPU-Speicher verbleibt.

FLOP-Schätzung für verteiltes Packing

Videos werden in Batches von bis zu 360K Token gepackt, ausbalanciert durch geschätzte rechnerische FLOPs: $$F_i=\alpha n_i+\beta A_i$$ wobei $n_i$ die Anzahl der gültigen Token ist und $A_i={\sum }_{p\in i}|\{q:M_{pq}^{(i)}\ne -\infty \}|$ die Anzahl der unmaskierten Query-Key-Paare darstellt.

Ergebnisse (mit den wichtigsten Zahlen)

Evaluiert auf Hy-Nomas-Bench (280 Testszenarien über 4 Benchmarks hinweg):

• Bench-1 (Multi-Turn-Textinteraktion):
  • Prompt Following: Hy-Nomas erreicht 65,0 % Win vs. 10,0 % Loss gegen HappyOyster-Directing und 75,0 % Win vs. 8,3 % Loss gegen LingBot-World v2.
  • Physikalische Plausibilität: Hy-Nomas erzielt 45,0 % Win vs. 11,7 % Loss gegen HappyOyster-Directing und 68,3 % Win vs. 5,0 % Loss gegen LingBot-World v2.
• Bench-2 (Kameranavigation): Hy-Nomas erzielt höhere Netto-Gewinnraten über 100 Trajektorien: 32,0 % Win vs. 14,0 % Loss gegen Genie 3 und 36,0 % Win vs. 10,0 % Loss gegen HappyOyster-Wandering.
• Bench-3 (Verschachtelter Text & Kamera): Erzielt 75,0 % Win (vs. 8,3 % Loss) beim Prompt Following und 73,3 % Win (vs. 1,7 % Loss) bei der physikalischen Plausibilität gegen LingBot-World v2.
• Bench-4 (Räumliches Gedächtnis): Hy-Nomas übertrifft LingBot-World v2 (58,3 % Win vs. 1,7 % Loss) und HappyOyster (30,0 % Win vs. 23,3 % Loss), liegt jedoch hinter Genie 3 (13,3 % Win vs. 30,0 % Loss, bei 56,7 % Unentschieden), welches von Street-View-Grounding profitiert.
• Single-GPU-Deployment: INT8-Quantisierung, Sliding-Window-Attention und CPU-Offloading ermöglichen 100-Sekunden-Rollouts in 720p auf einer einzelnen NVIDIA RTX 4090 mit einem GPU-Spitzenspeicher von 20,53 GiB.

Grenzen und offene Fragen

• Lücke beim langfristigen räumlichen Gedächtnis: Genie 3 bleibt bei der räumlichen Konsistenz überlegen, wenn Orte nach komplexen Kameraausflügen erneut besucht werden; das Training ohne geschlossene Trajektoriendaten schränkt das Beibehalten von Landmarken ein.
• LoRA-Kameraregression: Die Feinabstimmung auf domänenspezifischen Datensätzen (z. B. filmische Stile) verbesserte die Prompt-Befolgung und die visuelle Ästhetik, verschlechterte jedoch die Leistung der Kamerasteuerung (19 % Win vs. 37 % Loss) aufgrund geringer Diversität der Kameratrajektorien in den nachgelagerten Daten.
• Physikalische Genauigkeit in der Robotik: Obwohl Out-of-Distribution-Aktionen mit zwei Armen per LoRA-Anpassung generiert werden können, garantiert Videodiffusion nicht nativ eine Ausführungsebene mit korrekter Roboterphysik oder Kraft-Drehmoment-Konformität.
• Zustandsänderungen außerhalb des Bildfelds: Änderungen, die außerhalb des Sichtfelds auftreten (z. B. eine nicht beobachtete tickende Uhr), können nicht allein durch visuelles KV-Retrieval ohne explizites externes symbolisches Agenten-State-Tracking erfasst werden.