Hy-Nomas: Rumo à Geração Interativa de Mundos em Formato Livre

Guia de leitura

Problema e motivação

Modelos de mundo de vídeo interativos atuam como ambientes virtuais simulados que geram observações visuais futuras em resposta a ações contínuas do usuário. Ao contrário dos sistemas padrão de texto para vídeo (T2V), que renderizam clipes pré-determinados, um modelo de mundo interativo deve:

1. Aceitar comandos que chegam dinamicamente durante a geração.
2. Lidar tanto com intervenções semânticas (texto livre) quanto com navegação espacial (poses contínuas de câmera).
3. Evitar que ações anteriores sejam repetidas erroneamente em segmentos subsequentes, ao mesmo tempo que retém o contexto duradouro da cena e as consequências visuais.
4. Evitar desvios graves por erros acumulados durante o desdobramento autorregressivo, sem sofrer com explosão catastrófica de memória.

O Hy-Nomas aborda esses desafios adaptando um transformador de difusão bidirecional de 8B (HunyuanVideo 1.5) em um modelo de mundo de vídeo autorregressivo unificado, baseado em segmentos.

Ideias centrais

• Atenção Causal Consciente da Ação (Action-Aware Causal Attention): Distingue entre o contexto descritivo persistente da cena ("cabeça") e as instruções de ação temporalmente localizadas ("caudas"). O contexto descritivo permanece acessível a segmentos futuros, enquanto os tokens de ação ficam restritos ao seu segmento de origem e limites temporais, impedindo a reexecução de ações.
• Condicionamento Contínuo de Câmera: Utiliza transformações relativas quadro a quadro $\Delta P_t=P_{t-1}^{-1}{P}_t$ normalizadas por escalas de movimento em nível de vídeo e injetadas por meio de atenção cruzada dedicada por bloco.
• Prompt Enhancer (PE): Um modelo de visão-linguagem multimodal ajustado (baseado no Qwen3.8-27B) que traduz a intenção do usuário em múltiplos turnos e os históricos de observações em condições JSON estruturadas, especificando alterações na cena, tags de câmera e ações contidas.
• Segment Forcing com Retropropagação em Fluxo (Streaming Backward): Treina o gerador autorregressivo em suas próprias predições com remoção de ruído em um único passo, combinando com a distribuição de erro no momento da inferência e mantendo o consumo de memória delimitado.
• Destilação para 4 NFEs: Destila o amostrador Euler de 100 passos para apenas 4 avaliações de funções de rede (NFEs) por segmento usando inicialização por Phased Consistency Model (PCM), Decoupled Distribution Matching Distillation (DDMD) e refinamento adversarial causal.

Método (com as equações principais)

Representação de Vídeo no Espaço Latente

O vídeo RGB $X\in {\mathbb{R}}^{B\times 3\times F\times H\times W}$ é comprimido via um codificador causal DCAE-V $\mathcal{E}$ em latentes $Z$: $$Z=\mathcal{E}(X)\in {\mathbb{R}}^{B\times 32\times F_z\times H_z\times W_z},F_z=\lfloor \frac{F-1}{4}\rfloor +1,H_z=\lfloor \frac{H}{32}\rfloor ,W_z=\lfloor \frac{W}{32}\rfloor$$ Cada posição latente é projetada no espaço oculto de 2.048 dimensões do DiT.

Objetivo de Treinamento

O modelo é treinado via linear flow matching sobre latentes limpos $Z$ e ruído $ϵ\sim \mathcal{N}(0,I)$: $$Z_t=(1-t)Z+tϵ,V_t=ϵ-Z$$ A rede prevê a velocidade $V_t$, supervisionada com o erro quadrático médio (MSE).

Atenção Causal Consciente da Ação e Condicionamento de Câmera

Para o segmento $j$, os tokens de vídeo realizam atenção causalmente aos segmentos passados e bidirecionalmente dentro do segmento $j$. Dentro de cada segmento, tokens de consulta (query) dentro de uma janela de ação atendem apenas aos tokens de texto daquela ação e à cabeça do ambiente. Na atenção cruzada, os tokens visuais $V$ atendem a tokens de câmera relativa em 64-D $C$: $$\tilde{V}=V+\mathrm{CrossAttn}(V,C)$$

Segment Forcing

Para preparar o modelo para o acúmulo de erros em tempo de inferência, o segmento $s$ calcula sua perda de fluxo e atualiza o cache KV para o segmento $s+1$ usando um latente com ruído removido em passo único: $${\tilde{\mathbf{x}}}_{s,t_{\mathrm{ctx}}}={\mathbf{x}}_{s,t}+(t_{\mathrm{ctx}}-t){\hat{\mathbf{v}}}_s,t_{\mathrm{ctx}}\sim \mathcal{U}(0.1,0.3)$$ A retropropagação em fluxo (streaming backward) libera as ativações intermediárias segmento a segmento, mantendo o grafo computacional de apenas um segmento na memória da GPU.

Estimativa de FLOPs para Empacotamento Distribuído

Os vídeos são empacotados em lotes de até 360K tokens, balanceados por FLOPs computacionais estimados: $$F_i=\alpha n_i+\beta A_i$$ onde $n_i$ é o número de tokens válidos e $A_i={\sum }_{p\in i}|\{q:M_{pq}^{(i)}\ne -\infty \}|$ é o número de pares consulta-chave sem máscara.

Resultados (com os números mais importantes)

Avaliado no Hy-Nomas-Bench (280 cenários de teste divididos em 4 benchmarks):

• Bench-1 (Interação Textual Multiturno):
  • Seguimento de instruções (prompt following): Hy-Nomas alcança 65,0% de vitórias vs. 10,0% de derrotas contra HappyOyster-Directing, e 75,0% de vitórias vs. 8,3% de derrotas contra LingBot-World v2.
  • Plausibilidade física: Hy-Nomas atinge 45,0% de vitórias vs. 11,7% de derrotas contra HappyOyster-Directing, e 68,3% de vitórias vs. 5,0% de derrotas contra LingBot-World v2.
• Bench-2 (Navegação de Câmera): Hy-Nomas obtém taxas líquidas de vitória superiores em 100 trajetórias: 32,0% de vitórias vs. 14,0% de derrotas contra Genie 3, e 36,0% de vitórias vs. 10,0% de derrotas contra HappyOyster-Wandering.
• Bench-3 (Texto e Câmera Intercalados): Atinge 75,0% de vitórias (vs. 8,3% de derrotas) no seguimento de instruções, e 73,3% de vitórias (vs. 1,7% de derrotas) em plausibilidade física contra LingBot-World v2.
• Bench-4 (Memória Espacial): O Hy-Nomas supera o LingBot-World v2 (58,3% de vitórias vs. 1,7% de derrotas) e o HappyOyster (30,0% de vitórias vs. 23,3% de derrotas), mas fica atrás do Genie 3 (13,3% de vitórias vs. 30,0% de derrotas, com 56,7% de empates), que se beneficia do embasamento prévio via Street View.
• Implantação em GPU Única: Quantização INT8, atenção com janela deslizante e offloading para CPU viabilizam desdobramentos de 100 segundos em 720p em uma única NVIDIA RTX 4090, com pico de memória de GPU de 20,53 GiB.

Limitações e questões em aberto

• Lacuna na Memória Espacial de Longo Prazo: O Genie 3 permanece superior em consistência espacial ao revisitar locais após trajetórias complexas de câmera; o treinamento sem dados de trajetórias fechadas (em loop) limita a retenção de âncoras espaciais.
• Regressão de Câmera por LoRA: O ajuste fino em conjuntos de dados específicos de domínio (por exemplo, estilos cinematográficos) melhorou a aderência ao prompt e a estética visual, mas degradou o controle de câmera (19% de vitórias vs. 37% de derrotas) devido à baixa diversidade de trajetórias de câmera nesses dados downstream.
• Precisão Física em Robótica: Embora ações fora da distribuição com dois braços possam ser geradas via adaptação por LoRA, a difusão de vídeo não garante nativamente a física de robôs em nível de execução ou a conformidade de força e torque.
• Mudanças de Estado Fora da Tela: Mudanças que ocorrem fora do campo de visão (por exemplo, um relógio não observado avançando) não podem ser capturadas puramente por recuperação visual no cache KV sem um rastreamento simbólico explícito e externo do estado do agente.