Hy-Nomas: Hacia la generación interactiva de mundos de formato libre

Guía de lectura

Problema y motivación

Los modelos interactivos de mundos de video actúan como entornos virtuales simulados que generan observaciones visuales futuras en respuesta a las acciones continuas del usuario. A diferencia de los sistemas estándar de texto a video (T2V) que renderizan clips predefinidos, un modelo de mundo interactivo debe:

1. Aceptar comandos que llegan de manera dinámica durante la generación.
2. Manejar tanto intervenciones semánticas (texto de formato libre) como navegación espacial (poses continuas de cámara).
3. Evitar que las acciones previas se repitan erróneamente en segmentos posteriores, conservando al mismo tiempo el contexto duradero de la escena y las consecuencias visuales.
4. Evitar una deriva acumulativa severa durante el despliegue autorregresivo sin sufrir una explosión catastrófica de memoria.

Hy-Nomas aborda estos desafíos adaptando un transformador de difusión bidireccional de 8B (HunyuanVideo 1.5) en un modelo de mundo de video autorregresivo unificado por segmentos.

Ideas clave

• Action-Aware Causal Attention: Distingue entre el contexto descriptivo persistente de la escena ("head") y las instrucciones de acción localizadas temporalmente ("tails"). El contexto descriptivo permanece accesible para futuros segmentos, mientras que los tokens de acción se restringen a su segmento de origen y límites temporales, impidiendo la reejecución de acciones.
• Condicionamiento continuo de cámara: Utiliza transformaciones relativas cuadro a cuadro $\Delta P_t=P_{t-1}^{-1}{P}_t$ normalizadas mediante escalas de movimiento a nivel de video e inyectadas a través de atención cruzada dedicada por bloque.
• Prompt Enhancer (PE): Un modelo de visión y lenguaje multimodal ajustado (basado en Qwen3.8-27B) que traduce la intención del usuario multiturno y las observaciones históricas en condiciones JSON estructuradas que especifican cambios de escena, etiquetas de cámara y acciones contenidas.
• Segment Forcing con retropropagación continua (Streaming Backward): Entrena el generador autorregresivo sobre sus propias predicciones desruidadas en un solo paso para ajustarse a la distribución de errores en tiempo de inferencia, manteniendo la memoria acotada.
• Destilación a 4 NFEs: Destila el muestreador de Euler de 100 pasos a solo 4 evaluaciones de funciones de red por segmento utilizando la inicialización Phased Consistency Model (PCM), Decoupled Distribution Matching Distillation (DDMD) y refinamiento causal adversarial.

Método (con las ecuaciones clave)

Representación de video en el espacio latente

El video RGB $X\in {\mathbb{R}}^{B\times 3\times F\times H\times W}$ se comprime mediante un codificador causal DCAE-V $\mathcal{E}$ en latentes $Z$: $$Z=\mathcal{E}(X)\in {\mathbb{R}}^{B\times 32\times F_z\times H_z\times W_z},F_z=\lfloor \frac{F-1}{4}\rfloor +1,H_z=\lfloor \frac{H}{32}\rfloor ,W_z=\lfloor \frac{W}{32}\rfloor$$ Cada posición latente se proyecta al espacio oculto de 2.048 dimensiones del DiT.

Objetivo de entrenamiento

El modelo se entrena mediante flow matching lineal sobre latentes limpios $Z$ y ruido $ϵ\sim \mathcal{N}(0,I)$: $$Z_t=(1-t)Z+tϵ,V_t=ϵ-Z$$ La red predice la velocidad $V_t$, supervisada con error cuadrático medio.

Atención causal sensible a la acción y condicionamiento de cámara

Para el segmento $j$, los tokens de video atienden de forma causal a los segmentos pasados y de forma bidireccional dentro del propio segmento $j$. Dentro de cada segmento, los tokens de consulta dentro de una ventana de acción solo atienden a los tokens de texto de dicha acción y al head ambiental. En la atención cruzada, los tokens visuales $V$ atienden a tokens de cámara relativos de 64 dimensiones $C$: $$\tilde{V}=V+\mathrm{CrossAttn}(V,C)$$

Segment Forcing

Para preparar el modelo ante la acumulación de errores en inferencia, el segmento $s$ calcula su pérdida de flujo y actualiza la caché KV para el segmento $s+1$ utilizando un latente desruidado en un solo paso: $${\tilde{\mathbf{x}}}_{s,t_{\mathrm{ctx}}}={\mathbf{x}}_{s,t}+(t_{\mathrm{ctx}}-t){\hat{\mathbf{v}}}_s,t_{\mathrm{ctx}}\sim \mathcal{U}(0.1,0.3)$$ La retropropagación continua libera activaciones intermedias segmento a segmento, manteniendo el grafo de cómputo de un único segmento en la memoria de la GPU.

Estimación de FLOPs para empaquetado distribuido

Los videos se empaquetan en lotes de hasta 360K tokens, balanceados según los FLOPs computacionales estimados: $$F_i=\alpha n_i+\beta A_i$$ donde $n_i$ es el número de tokens válidos y $A_i={\sum }_{p\in i}|\{q:M_{pq}^{(i)}\ne -\infty \}|$ es el número de pares consulta-clave sin enmascarar.

Resultados (con las cifras más importantes)

Evaluado en Hy-Nomas-Bench (280 escenarios de prueba repartidos en 4 benchmarks):

• Bench-1 (Interacción de texto multiturno):
  • Seguimiento de instrucciones: Hy-Nomas logra un 65,0% de victorias frente a un 10,0% de derrotas contra HappyOyster-Directing, y un 75,0% de victorias frente a un 8,3% de derrotas contra LingBot-World v2.
  • Plausibilidad física: Hy-Nomas logra un 45,0% de victorias frente a un 11,7% de derrotas contra HappyOyster-Directing, y un 68,3% de victorias frente a un 5,0% de derrotas contra LingBot-World v2.
• Bench-2 (Navegación de cámara): Hy-Nomas obtiene tasas netas de victoria superiores en 100 trayectorias: 32,0% de victorias frente a 14,0% de derrotas contra Genie 3, y 36,0% de victorias frente a 10,0% de derrotas contra HappyOyster-Wandering.
• Bench-3 (Texto y cámara intercalados): Logra un 75,0% de victorias (frente a 8,3% de derrotas) en seguimiento de instrucciones, y un 73,3% de victorias (frente a 1,7% de derrotas) en plausibilidad física frente a LingBot-World v2.
• Bench-4 (Memoria espacial): Hy-Nomas supera a LingBot-World v2 (58,3% de victorias frente a 1,7% de derrotas) y a HappyOyster (30,0% de victorias frente a 23,3% de derrotas), pero se sitúa por detrás de Genie 3 (13,3% de victorias frente a 30,0% de derrotas, con 56,7% de empates), el cual se beneficia de datos anclados en Street View.
• Despliegue en una sola GPU: La cuantización INT8, la atención con ventana deslizante y la descarga a CPU permiten generar secuencias de 100 segundos a 720p en una única NVIDIA RTX 4090 con un pico de memoria GPU de 20,53 GiB.

Limitaciones y preguntas abiertas

• Brecha en memoria espacial a largo plazo: Genie 3 sigue siendo superior en consistencia espacial al revisitar ubicaciones tras excursiones complejas de cámara; entrenar sin datos de trayectorias en bucle limita la retención de anclas espaciales.
• Regresión de cámara con LoRA: El ajuste fino en conjuntos de datos específicos de dominio (por ejemplo, estilos cinematográficos) mejoró la adherencia a los prompts y la estética visual, pero degradó el rendimiento del control de cámara (19% de victorias frente a 37% de derrotas) debido a la escasa diversidad de trayectorias de cámara en los datos derivados.
• Precisión física en robótica: Aunque pueden generarse acciones fuera de distribución de dos brazos mediante adaptación con LoRA, la difusión de video no garantiza de forma nativa la física a nivel de ejecución robótica ni el cumplimiento de fuerza-par.
• Cambios de estado fuera de pantalla: Los cambios que ocurren fuera del campo de visión (por ejemplo, un reloj no observado que sigue avanzando) no pueden capturarse únicamente mediante la recuperación visual en la caché KV sin un seguimiento explícito del estado simbólico externo del agente.