Hy-Nomas : Vers une génération de mondes interactifs en forme libre

Guide de lecture

Problème et motivation

Les modèles de monde vidéo interactifs fonctionnent comme des environnements virtuels simulés générant de futures observations visuelles en réponse aux actions continues de l'utilisateur. Contrairement aux systèmes texte-vidéo (T2V) classiques qui restituent des séquences prédéfinies, un modèle de monde interactif doit :

1. Accepter des commandes arrivant dynamiquement au cours de la génération.
2. Gérer à la fois les interventions sémantiques (texte libre) et la navigation spatiale (poses continues de caméra).
3. Éviter que des actions antérieures ne soient répétées à tort dans les segments suivants, tout en conservant le contexte durable de la scène et les conséquences visuelles.
4. Éviter une dérive cumulative sévère lors du déroulement autorégressif sans subir d'explosion catastrophique de la mémoire.

Hy-Nomas résout ces difficultés en adaptant un transformeur de diffusion bidirectionnel de 8B paramètres (HunyuanVideo 1.5) en un modèle de monde vidéo unifié et autorégressif par segments.

Idées maîtresses

• Attention causale sensible aux actions (Action-Aware Causal Attention) : Distingue le contexte descriptif persistant de la scène (« tête ») des instructions d'action temporellement localisées (« queues »). Le contexte descriptif reste accessible aux segments futurs, tandis que les jetons d'action sont limités à leur segment d'origine et à leurs limites temporelles, empêchant toute réexécution de l'action.
• Conditionnement continu de la caméra : Utilise des transformations relatives d'une trame à l'autre $\Delta P_t=P_{t-1}^{-1}{P}_t$ normalisées par les échelles de mouvement au niveau de la vidéo et injectées via une cross-attention dédiée par bloc.
• Optimiseur d'invites (Prompt Enhancer, PE) : Un modèle vision-langage multimodal affiné (basé sur Qwen3.8-27B) qui traduit les intentions utilisateur multi-tours et les observations historiques en conditions JSON structurées spécifiant les changements de scène, les balises de caméra et les actions ciblées.
• Segment Forcing avec rétropropagation en flux continu : Entraîne le générateur autorégressif sur ses propres prédictions débruitées en une étape pour s'aligner sur la distribution d'erreurs au moment de l'inférence tout en maintenant une mémoire bornée.
• Distillation à 4 NFEs : Distille l'échantillonneur Euler à 100 étapes pour descendre à 4 évaluations de la fonction réseau (NFE) par segment à l'aide d'une initialisation par Phased Consistency Model (PCM), d'une distillation par appariement de distributions découplées (DDMD) et d'un raffinement contradictoire causal.

Méthode (avec les équations clés)

Représentation vidéo dans l'espace latent

La vidéo RGB $X\in {\mathbb{R}}^{B\times 3\times F\times H\times W}$ est compressée via un encodeur causal DCAE-V $\mathcal{E}$ en latents $Z$ : $$Z=\mathcal{E}(X)\in {\mathbb{R}}^{B\times 32\times F_z\times H_z\times W_z},F_z=\lfloor \frac{F-1}{4}\rfloor +1,H_z=\lfloor \frac{H}{32}\rfloor ,W_z=\lfloor \frac{W}{32}\rfloor$$ Chaque position latente est projetée dans l'espace caché du DiT à 2 048 dimensions.

Objectif d'entraînement

Le modèle est entraîné par flow matching linéaire sur les latents nets $Z$ et du bruit $ϵ\sim \mathcal{N}(0,I)$ : $$Z_t=(1-t)Z+tϵ,V_t=ϵ-Z$$ Le réseau prédit la vitesse $V_t$, supervisée par l'erreur quadratique moyenne.

Attention causale sensible aux actions & conditionnement de la caméra

Pour le segment $j$, les jetons vidéo appliquent une attention causale vers les segments passés et bidirectionnelle au sein du segment $j$. Au sein de chaque segment, les jetons de requête situés dans une fenêtre d'action n'attendent que les jetons textuels de cette action et la tête d'environnement. Dans la cross-attention, les jetons visuels $V$ prêtent attention aux jetons de caméra relative $C$ de dimension 64 : $$\tilde{V}=V+\mathrm{CrossAttn}(V,C)$$

Segment Forcing

Pour préparer le modèle à l'accumulation d'erreurs en cours d'inférence, le segment $s$ calcule sa perte de flux et met à jour le cache KV pour le segment $s+1$ à l'aide d'un latent débruité en une seule étape : $${\tilde{\mathbf{x}}}_{s,t_{\mathrm{ctx}}}={\mathbf{x}}_{s,t}+(t_{\mathrm{ctx}}-t){\hat{\mathbf{v}}}_s,t_{\mathrm{ctx}}\sim \mathcal{U}(0.1,0.3)$$ La rétropropagation en flux continu (streaming backward) libère les activations intermédiaires segment par segment, ne conservant le graphe de calcul que d'un seul segment dans la mémoire GPU.

Estimation des FLOPs pour le compactage distribué (Distributed Packing)

Les vidéos sont regroupées par lots atteignant jusqu'à 360K jetons, équilibrés selon l'estimation des FLOPs computationnels : $$F_i=\alpha n_i+\beta A_i$$ où $n_i$ est le nombre de jetons valides, et $A_i={\sum }_{p\in i}|\{q:M_{pq}^{(i)}\ne -\infty \}|$ est le nombre de paires requête-clé non masquées.

Résultats (avec les chiffres les plus importants)

Évalué sur Hy-Nomas-Bench (280 scénarios de test répartis sur 4 benchmarks) :

• Bench-1 (Interaction textuelle multi-tours) :
  • Suivi d'instructions : Hy-Nomas obtient un taux de 65,0 % de victoires contre 10,0 % de défaites face à HappyOyster-Directing, et 75,0 % de victoires contre 8,3 % de défaites face à LingBot-World v2.
  • Plausibilité physique : Hy-Nomas atteint 45,0 % de victoires contre 11,7 % de défaites face à HappyOyster-Directing, et 68,3 % de victoires contre 5,0 % de défaites face à LingBot-World v2.
• Bench-2 (Navigation par caméra) : Hy-Nomas atteint des taux de victoire nets supérieurs sur 100 trajectoires : 32,0 % de victoires contre 14,0 % de défaites face à Genie 3, et 36,0 % de victoires contre 10,0 % de défaites face à HappyOyster-Wandering.
• Bench-3 (Texte et caméra entrelacés) : Obtient 75,0 % de victoires (contre 8,3 % de défaites) en suivi d'instructions, et 73,3 % de victoires (contre 1,7 % de défaites) en plausibilité physique face à LingBot-World v2.
• Bench-4 (Mémoire spatiale) : Hy-Nomas surpasse LingBot-World v2 (58,3 % de victoires contre 1,7 % de défaites) et HappyOyster (30,0 % de victoires contre 23,3 % de défaites), mais reste derrière Genie 3 (13,3 % de victoires contre 30,0 % de défaites, avec 56,7 % d'égalités), qui tire parti d'un ancrage dans Street View.
• Déploiement sur un seul GPU : La quantification INT8, l'attention à fenêtre glissante et le déchargement sur CPU permettent des déroulements de 100 secondes en 720p sur un unique NVIDIA RTX 4090 avec un pic de mémoire GPU de 20,53 GiB.

Limites et questions ouvertes

• Écart sur la mémoire spatiale à long terme : Genie 3 reste supérieur en cohérence spatiale lors du retour sur des lieux après des trajectoires de caméra complexes ; un entraînement sans données de trajectoires en boucle limite la conservation des repères.
• Régression de la caméra avec LoRA : L'ajustement fin sur des jeux de données spécialisés (par exemple, des styles cinématographiques) a amélioré l'adhérence aux instructions et l'esthétique visuelle mais a dégradé les performances de contrôle de la caméra (19 % de victoires contre 37 % de défaites) en raison du manque de diversité des trajectoires de caméra dans les données aval.
• Précision physique en robotique : Bien que des actions à deux bras hors distribution puissent être générées par adaptation LoRA, la diffusion vidéo ne garantit pas nativement la physique robotique au niveau de l'exécution ni la conformité force-couple.
• Changements d'état hors champ : Les modifications survenant en dehors du champ de vision (par exemple, une horloge non observée qui tourne) ne peuvent être capturées uniquement par la récupération de KV visuels sans un suivi d'état symbolique externe explicite par un agent.