XYZNOT

論文 · arXiv 2610.36729

Hy-Nomas：邁向自由形式的互動式世界生成

Hy-Nomas: Towards Free-form Interactive World Generation

Qiaoling Chen, Jiaxiang Cheng, Xueqing Deng, Tiankai Hang, Ji Hou, Jiaqi Li, Yifan Liu, Tao Lu, Junshu Tang, Yu Tang, Yao Teng, Yu Tian et al.

發表於 cs.CV arXivPDF

用 XYZNOT 閱讀（全文翻譯與 AI 講解）

三句話總結

  1. 🎯 將文字生成影片擴散模型改造成互動式世界模型時，常面臨資訊洩漏、動作順序錯誤、跨片段動作重複以及複合誤差漂移等問題。
  2. 🔧 引入了 8B 自迴歸 DiT，具備動作感知因果注意力、結構化時間順序描述、影格對齊的連續相機交叉注意力、片段強制（segment forcing）以及多階段訓練課程。
  3. 📈 在 Hy-Nomas-Bench 的人工評估中，Hy-Nomas 在多輪文字提示遵循方面，相較於 HappyOyster-Directing 取得 65.0% 的勝率，相較於 LingBot-World v2 則達到 75.0% 的勝率。

摘要

互動式世界生成要求模型在遵循連續指令的同時，保留相關的歷史資訊與動作後果。我們提出了 Hy-Nomas，這是一個採用 8B 擴散骨幹的影片世界模型，支援跨多輪互動的自由形式文字指令與連續相機控制。它能根據當前輸入與快取的歷史資訊生成可變長度的片段。我們的核心設計將結構化影片描述與動作感知因果注意力（action-aware causal attention）相結合：描述性上下文在各片段間保持可存取，而動作指令則被限制在其預期的時間窗口內。視覺語言提示增強器（Prompt Enhancer, PE）將使用者需求與多模態互動歷史轉譯為下一個片段的結構化條件。多階段課程逐步引入因果生成、文字互動、相機控制以及在模型生成歷史上的訓練，隨後進行擴散蒸餾。在人工評估中，Hy-Nomas 表現出優於現有世界模型的性能。我們釋出了模型權重、程式碼與基準測試，並提供輕量級微調工作流，以支援互動式世界生成的可重現研究。

英文原文摘要

Interactive world generation requires models to follow successive commands while preserving relevant history and action consequences. We present Hy-Nomas, a video world model with an 8B diffusion backbone that supports free-form text instructions and continuous camera control across multiple interaction turns. It generates variable-length segments conditioned on current inputs and cached history. Our central design aligns structured video captions with action-aware causal attention: descriptive context remains accessible across segments, while action instructions are restricted to their intended temporal windows. A vision-language Prompt Enhancer (PE) translates user requests and multimodal interaction histories into structured conditions for the next segment. A multi-stage curriculum progressively introduces causal generation, text interaction, camera control, and training on model-generated histories, followed by diffusion distillation. In human evaluation, Hy-Nomas shows superior performance over existing world models. We release model weights, code and benchmarks, together with a lightweight adaptation workflow, to support reproducible research on interactive world generation.

論文解讀

問題與動機

互動式影片世界模型充當模擬的虛擬環境，可根據使用者持續的動作生成未來的視覺觀測。與渲染預先指定片段的標準文字生成影片（T2V）系統不同，互動式世界模型必須：

  1. 在生成過程中接受動態送達的指令。
  2. 同時處理語意介入（自由形式文字）與空間導航（連續相機姿態）。
  3. 防止先前的動作在後續片段中被錯誤重複，同時保留持久的場景上下文與視覺後果。
  4. 在自迴歸展開（rollout）過程中避免嚴重的複合漂移，且不引發災難性的記憶體爆炸。

Hy-Nomas 透過將 8B 雙向擴散 Transformer（HunyuanVideo 1.5）改造成統一的片段級自迴歸影片世界模型，解決了這些挑戰。

核心概念

  • 動作感知因果注意力（Action-Aware Causal Attention）： 區分持久的描述性場景上下文（"head"）與時間局部化的動作指令（"tails"）。描述性上下文對未來的片段保持可存取，而動作 token 則被限制在其來源片段與時間邊界內，防止動作重複執行。
  • 連續相機條件注入（Continuous Camera Conditioning）： 使用經影片級運動尺度正規化的影格間相對變換 ，並透過專用的逐區塊交叉注意力注入。
  • 提示增強器（Prompt Enhancer, PE）： 一個微調的多模態視覺語言模型（基於 Qwen3.8-27B），負責將多輪使用者意圖與歷史觀測轉譯為結構化 JSON 條件，指定場景變化、相機標籤及包含的動作。
  • 具備串流反向傳播的片段強制（Segment Forcing with Streaming Backward）： 讓自迴歸生成器在其自身的一步去噪預測上進行訓練，以符合推論時的誤差分佈，同時確保記憶體用量受控。
  • 蒸餾至 4 次 NFEs： 利用階段一致性模型（PCM）初始化、解耦分佈匹配蒸餾（DDMD）與因果對抗細化，將 100 步的 Euler 取樣器蒸餾至每個片段僅需 4 次網路函數評估（NFEs）。

方法（包含核心公式）

潛在空間影片表示

RGB 影片 透過因果 DCAE-V 編碼器 壓縮為潛在表示 ： 每個潛在位置均投影至 2,048 維的 DiT 隱藏空間。

訓練目標

模型在乾淨潛在變數 與雜訊 上透過線性流匹配（linear flow matching）進行訓練： 網路預測速度 ，並以均方誤差進行監督。

動作感知因果注意力與相機條件注入

對於片段 ，影片 token 對過去的片段進行因果注意力計算，並在片段 內部進行雙向注意力計算。在各片段內部，動作窗口內的 query token 僅關注該動作的文字 token 與環境 head。在交叉注意力中，視覺 token 會關注 64 維的相對相機 token ：

片段強制（Segment Forcing）

為了讓模型適應推論時的誤差累積，片段 會計算其流匹配損失，並使用單步去噪後的潛在表示更新片段 的 KV cache： 串流反向傳播逐片段釋放中間活化值，使 GPU 記憶體中僅保留單個片段的計算圖。

分散式打包 FLOP 估算

影片被打包進最多達 360K token 的批次中，並依據估算的計算 FLOP 進行平衡： 其中 為有效 token 數量，而 為未被遮蔽的 query-key 配對數量。

結果（包含關鍵數據）

在 Hy-Nomas-Bench（涵蓋 4 個基準測試的 280 個測試場景）上進行評估：

  • Bench-1（多輪文字互動）：
    • 提示遵循：Hy-Nomas 相較於 HappyOyster-Directing 取得 65.0% 勝 vs. 10.0% 負，相較於 LingBot-World v2 取得 75.0% 勝 vs. 8.3% 負。
    • 物理合理性：Hy-Nomas 相較於 HappyOyster-Directing 取得 45.0% 勝 vs. 11.7% 負，相較於 LingBot-World v2 取得 68.3% 勝 vs. 5.0% 負。
  • Bench-2（相機導航）： Hy-Nomas 在 100 條軌跡上均獲得更高的淨勝率：相較於 Genie 3 為 32.0% 勝 vs. 14.0% 負，相較於 HappyOyster-Wandering 為 36.0% 勝 vs. 10.0% 負。
  • Bench-3（交錯文字與相機）： 相較於 LingBot-World v2，在提示遵循上取得 75.0% 勝（vs. 8.3% 負），在物理合理性上取得 73.3% 勝（vs. 1.7% 負）。
  • Bench-4（空間記憶）： Hy-Nomas 優於 LingBot-World v2（58.3% 勝 vs. 1.7% 負）與 HappyOyster（30.0% 勝 vs. 23.3% 負），但落後於受益於街景（Street View）真實資料對齊的 Genie 3（13.3% 勝 vs. 30.0% 負，平手佔 56.7%）。
  • 單 GPU 部署： INT8 量化、滑動窗口注意力以及 CPU offloading 使得在單張 NVIDIA RTX 4090 上能夠展開 100 秒的 720p 影片，峰值 GPU 記憶體僅 20.53 GiB。

局限性與待解決問題

  • 長期空間記憶差距： 在經歷複雜的相機移動後重訪原地點時，Genie 3 的空間一致性仍然更為優異；缺乏迴圈軌跡數據的訓練限制了地標錨點的保留能力。
  • LoRA 相機退化： 在特定領域資料集（如電影風格）上微調提升了提示貼合度與視覺美感，但由於下游數據中的相機軌跡多樣性不足，導致相機控制性能下降（19% 勝 vs. 37% 負）。
  • 機器人領域的物理精度： 儘管可以透過 LoRA 微調生成分佈外的雙臂動作，但影片擴散模型本質上無法保證執行層級的機器人物理機制或力/力矩順應性（force-torque compliance）。
  • 畫面外的狀態變化： 視野之外發生的變化（例如未被觀測到的時鐘指針走動），無法單純依靠視覺 KV 檢索來捕捉，仍需要明確的外部符號智能體狀態追蹤。

關鍵術語

Action-Aware Causal Attention
一種注意力遮罩機制，允許描述性場景上下文跨片段保留，同時將特定的動作指令嚴格限制在其目標片段與時間邊界內。
Prompt Enhancer (PE)
一種微調的視覺語言模型，負責將使用者的文字提示、相機指令與歷史影片片段轉換為逐片段生成的結構化 JSON 描述與持續時間。
Segment Forcing
一種訓練機制，每個影片片段皆以對其自身雜訊潛在變數進行單步去噪所估算出的快取上下文為條件，並配合串流反向傳播以符合自迴歸推論分佈。
DCAE-V
一種因果影片自編碼器，提供 32 倍空間壓縮與 4 倍時間壓縮，轉換為 32 通道的潛在表示。
Hy-Nomas-Bench
涵蓋多輪文字互動、相機導航、交錯控制與空間記憶等 280 個測試案例的基準測試。
Diffusion Distillation
結合階段一致性模型（PCM）、解耦 DMD 與因果對抗細化的兩階段加速管線，將 100 步擴散壓縮至每個片段僅需 4 次 NFEs。
Flex-Flash-Attention (FFA)
來自 MagiAttention 的注意力核心，利用緊湊的切片定義執行異質、不規則的遮罩，避免在長達 360K token 的序列上計算被遮蔽的區塊。
PixelUMM Decoder
一種基於擴散的像素空間解碼器，取代標準 VAE 解碼，透過單步蒸餾取樣從壓縮潛在變數中重建高頻紋理細節。

常見問題

Hy-Nomas 是建立在什麼基礎模型之上的？

Hy-Nomas 使用了 8B 參數的 HunyuanVideo 1.5 骨幹，將其原本的雙向 DiT 改造成具備 DCAE-V 壓縮的自迴歸因果擴散 Transformer。

Hy-Nomas 如何避免重複先前已完成的動作？

透過動作感知因果注意力：過去的動作被歸類為「動作 tails」，其 token 會在後續片段中被遮蔽，而環境「heads」則在 KV cache 中保持未遮蔽狀態。

Hy-Nomas 可以在像 NVIDIA RTX 4090 這樣的消費級 GPU 上運行嗎？

可以。透過 INT8 KV 快取與權重量化、滑動窗口注意力、CPU offloading 以及蒸餾後的 PixelUMM 解碼器，Hy-Nomas 可以在單張 24GB RTX 4090 上生成 100 秒的 720p 影片，峰值記憶體僅需 20.53 GiB。

連續的相機運動是如何控制的？

相機軌跡被編碼為影格間的相對變換，並經由平移量的第 99 百分位數進行正規化，投影為 64 維向量後，透過交叉注意力注入到每個 MMDiT 區塊中。

本頁解讀由 AI 根據論文生成，可能有錯誤；細節請以原文為準。

用 XYZNOT 閱讀（全文翻譯與 AI 講解）