XYZNOT

论文 · arXiv 2610.36729

Hy-Nomas：迈向自由形式的交互式世界生成

Hy-Nomas: Towards Free-form Interactive World Generation

Qiaoling Chen, Jiaxiang Cheng, Xueqing Deng, Tiankai Hang, Ji Hou, Jiaqi Li, Yifan Liu, Tao Lu, Junshu Tang, Yu Tang, Yao Teng, Yu Tian et al.

发表于 cs.CV arXivPDF

用 XYZNOT 阅读（全文翻译与 AI 讲解）

三句话总结

  1. 🎯 将文本到视频扩散模型适配为交互式世界模型时，往往面临信息泄露、动作顺序错误、跨片段动作重复以及复合误差漂移等问题。
  2. 🔧 提出了一个 8B 自回归 DiT，具备动作感知因果注意力、结构化按时间排序的描述、帧对齐的连续相机交叉注意力、segment forcing 以及多阶段训练课程。
  3. 📈 在 Hy-Nomas-Bench 的人工评测中，Hy-Nomas 在多轮文本提示词遵循方面相比 HappyOyster-Directing 取得了 65.0% 的胜率，相比 LingBot-World v2 取得了 75.0% 的胜率。

摘要

交互式世界生成要求模型在遵循连续指令的同时，保留相关的历史信息与动作后果。我们提出了 Hy-Nomas，这是一个采用 8B 扩散骨干网络的视频世界模型，支持在多轮交互中交错输入自由形式的文本指令和连续的相机控制。它以当前输入和缓存的历史为条件，生成可变长度的视频片段。我们的核心设计是将结构化视频描述（caption）与动作感知因果注意力对齐：描述性上下文在各个片段间保持可见，而动作指令则被严格限制在其预期的时域窗口内。一个视觉语言 Prompt Enhancer (PE) 将用户请求与多模态交互历史转化为下一片段的结构化条件。多阶段课程逐步引入因果生成、文本交互、相机控制以及基于模型生成历史的训练，随后进行扩散蒸馏。在人工评测中，Hy-Nomas 的表现优于现有的世界模型。我们开源了模型权重、代码和基准测试集，并提供了一套轻量级适配工作流，以支持交互式世界生成领域的可复现研究。

英文原文摘要

Interactive world generation requires models to follow successive commands while preserving relevant history and action consequences. We present Hy-Nomas, a video world model with an 8B diffusion backbone that supports free-form text instructions and continuous camera control across multiple interaction turns. It generates variable-length segments conditioned on current inputs and cached history. Our central design aligns structured video captions with action-aware causal attention: descriptive context remains accessible across segments, while action instructions are restricted to their intended temporal windows. A vision-language Prompt Enhancer (PE) translates user requests and multimodal interaction histories into structured conditions for the next segment. A multi-stage curriculum progressively introduces causal generation, text interaction, camera control, and training on model-generated histories, followed by diffusion distillation. In human evaluation, Hy-Nomas shows superior performance over existing world models. We release model weights, code and benchmarks, together with a lightweight adaptation workflow, to support reproducible research on interactive world generation.

论文解读

问题与动机

交互式视频世界模型充当模拟虚拟环境，能够根据用户持续输入的动作生成未来的视觉观测。与渲染预指定视频片段的标准文本到视频（T2V）系统不同，交互式世界模型必须：

  1. 在生成过程中实时接收动态到达的指令。
  2. 同时处理语义干预（自由形式文本）和空间导航（连续相机姿态）。
  3. 防止早期动作在后续片段中被错误地重复执行，同时保留持久的场景上下文和视觉结果。
  4. 在自回归展开（rollout）过程中避免严重的复合漂移，且不引发灾难性的内存爆炸。

Hy-Nomas 针对这些挑战，将一个 8B 双向扩散 Transformer（HunyuanVideo 1.5）适配为一个统一的、分段自回归的视频世界模型。

核心思想

  • 动作感知因果注意力（Action-Aware Causal Attention）： 区分持久的描述性场景上下文（"head"）和时间局部的动作指令（"tails"）。描述性上下文对未来片段保持可见，而动作 token 仅限于其来源片段和时间边界内，从而防止动作被重复执行。
  • 连续相机条件化（Continuous Camera Conditioning）： 使用帧间相对变换 ，通过视频级运动尺度进行归一化，并通过专用的逐块交叉注意力进行注入。
  • Prompt Enhancer (PE)： 一个经过微调的多模态视觉语言模型（基于 Qwen3.8-27B），将多轮用户意图和历史观测转化为指定场景变化、相机标签和包含动作的结构化 JSON 条件。
  • 带流式反向传播的 Segment Forcing： 在自回归生成器自身的一步去噪预测结果上进行训练，以匹配推理时的误差分布，同时将显存占用限制在常数范围内。
  • 蒸馏至 4 次 NFE： 使用阶段一致性模型（PCM）初始化、解耦分布匹配蒸馏（DDMD）和因果对抗微调，将 100 步 Euler 采样器蒸馏至每个片段仅需 4 次网络函数评估（NFE）。

方法（包含关键公式）

潜空间视频表征

RGB 视频 通过因果 DCAE-V 编码器 压缩为潜变量 ： 每个潜空间位置都被投影到 2,048 维的 DiT 隐层空间。

训练目标

该模型在干净潜变量 和噪声 上通过线性流匹配（linear flow matching）进行训练： 网络预测速度 ，并使用均方误差进行监督。

动作感知因果注意力与相机条件化

对于片段 ，视频 token 对过去片段进行因果注意力计算，并在片段 内部进行双向注意力计算。在每个片段内部，动作窗口内的 query token 仅关注该动作的文本 token 和环境 head。在交叉注意力中，视觉 token 会关注 64 维的相对相机 token ：

Segment Forcing

为了让模型适应推理时的误差积累，片段 计算其流损失，并使用单步去噪后的潜变量更新片段 的 KV 缓存： 流式反向传播逐片段释放中间激活，使 GPU 显存中仅保留一个片段的计算图。

分布式打包 FLOP 估计

视频被打包成最高 360K token 的批次，并通过估计的计算 FLOP 进行平衡： 其中 是有效 token 的数量， 是未被掩码屏蔽的 query-key 对的数量。

实验结果（包含核心数据）

在 Hy-Nomas-Bench（涵盖 4 个基准的 280 个测试场景）上进行评估：

  • Bench-1（多轮文本交互）：
    • 提示词遵循：Hy-Nomas 相比 HappyOyster-Directing 取得 65.0% 胜 vs. 10.0% 负，相比 LingBot-World v2 取得 75.0% 胜 vs. 8.3% 负。
    • 物理真实性：Hy-Nomas 相比 HappyOyster-Directing 取得 45.0% 胜 vs. 11.7% 负，相比 LingBot-World v2 取得 68.3% 胜 vs. 5.0% 负。
  • Bench-2（相机导航）： Hy-Nomas 在 100 条轨迹上获得了更高的净胜率：相比 Genie 3 取得 32.0% 胜 vs. 14.0% 负，相比 HappyOyster-Wandering 取得 36.0% 胜 vs. 10.0% 负。
  • Bench-3（交错文本与相机）： 相比 LingBot-World v2，在提示词遵循上取得 75.0% 胜（对比 8.3% 负），在物理真实性上取得 73.3% 胜（对比 1.7% 负）。
  • Bench-4（空间记忆）： Hy-Nomas 优于 LingBot-World v2（58.3% 胜 vs. 1.7% 负）和 HappyOyster（30.0% 胜 vs. 23.3% 负），但落后于受益于街景数据基底的 Genie 3（13.3% 胜 vs. 30.0% 负，平局占 56.7%）。
  • 单卡部署： 借助 INT8 量化、滑动窗口注意力和 CPU 卸载（offloading），模型可在单张具有 20.53 GiB 峰值显存的 NVIDIA RTX 4090 上实现 100 秒 720p 的长程生成。

局限性与开放问题

  • 长程空间记忆差距： 在复杂相机位移后重访原位置时，Genie 3 在空间一致性方面仍然更优；缺乏闭环轨迹数据的训练限制了锚点的持久保留。
  • LoRA 相机退化： 在特定领域数据集（如电影风格）上进行微调虽然改善了提示词依从性和视觉美感，但由于下游数据中相机轨迹多样性较差，导致相机控制性能出现下降（19% 胜 vs. 37% 负）。
  • 机器人领域的物理精确性： 尽管可以通过 LoRA 适配生成分布外的双臂动作，但视频扩散模型本质上无法在执行层面保证机器人物理规律或力-扭矩顺应性。
  • 视线外的状态变化： 如果没有显式的外部符号智能体状态追踪，单纯依靠视觉 KV 检索无法捕捉视野之外发生的变化（例如视线外钟表的滴答走动）。

关键术语

Action-Aware Causal Attention
一种注意力掩码机制，允许描述性场景上下文跨片段保留，同时将具体的动作指令严格限制在其目标片段及时域边界之内。
Prompt Enhancer (PE)
一个微调后的视觉语言模型，用于将用户文本提示词、相机指令和历史视频片段转换为结构化的 JSON 描述及持续时间，以支持逐段生成。
Segment Forcing
一种训练方案，其中每个视频片段都以通过对其自身加噪潜变量进行单步去噪所估计的缓存上下文为条件，并通过流式反向传播来匹配自回归推理分布。
DCAE-V
一种因果视频自编码器，可提供 32 倍空间和 4 倍时间压缩，输出 32 通道的潜表征。
Hy-Nomas-Bench
包含 280 个测试用例的基准评测集，涵盖多轮文本交互、相机导航、交错控制和空间记忆等维度。
Diffusion Distillation
一个两阶段加速管线，结合了阶段一致性模型（PCM）、解耦 DMD 以及因果对抗微调，将 100 步扩散压缩为每片段仅需 4 次 NFE。
Flex-Flash-Attention (FFA)
来自 MagiAttention 的注意力算子，利用紧凑切片定义执行异构、不规则掩码，避免在高达 360K token 的长序列上计算被掩码阻断的块。
PixelUMM Decoder
一种基于扩散的像素空间解码器，用于替代标准 VAE 解码，通过单步蒸馏采样从压缩潜变量中重建高频纹理细节。

常见问题

Hy-Nomas 基于什么基础模型构建？

Hy-Nomas 采用了拥有 8B 参数的 HunyuanVideo 1.5 骨干网络，将其从最初的双向 DiT 适配为带有 DCAE-V 压缩的自回归因果扩散 Transformer。

Hy-Nomas 如何避免重复执行先前已完成的动作？

通过动作感知因果注意力机制：过去的动作被归类为“动作尾部”（action tails），其 token 会在后续片段中被掩码屏蔽，而环境“头部”（head）则在 KV 缓存中始终保持可见。

Hy-Nomas 可以在消费级 GPU（如 NVIDIA RTX 4090）上运行吗？

可以。通过使用 INT8 KV 缓存与权重分量量化、滑动窗口注意力、CPU 卸载以及蒸馏后的 PixelUMM 解码器，Hy-Nomas 能在单张 24GB RTX 4090 上生成 100 秒的 720p 视频，峰值显存仅为 20.53 GiB。

连续的相机运动是如何控制的？

相机轨迹被编码为帧间相对变换，使用平移量的第 99 百分位数进行归一化，随后投影为 64 维向量，并通过交叉注意力机制注入到每个 MMDiT 块中。

本页解读由 AI 根据论文生成，可能有错误；细节请以原文为准。

用 XYZNOT 阅读（全文翻译与 AI 讲解）