Hy-Nomas: 自由形式のインタラクティブな世界生成に向けて

論文解説

問題設定と動機

インタラクティブな動画世界モデルは、継続的なユーザーアクションに応じて将来の視覚的観測を生成するシミュレーション仮想環境として機能します。事前に指定されたクリップをレンダリングする標準的なText-to-Video (T2V) システムとは異なり、インタラクティブ世界モデルには以下の要件が求められます：

1. 生成中に動的に届くコマンドを受け付けること。
2. 意味的な介入（自由形式のテキスト）と空間的なナビゲーション（連続的なカメラポーズ）の両方を処理すること。
3. 長期的なシーンのコンテキストや視覚的結果を維持しながら、前のセグメントのアクションが後続のセグメントで誤って繰り返されるのを防ぐこと。
4. 破滅的なメモリ爆発を起こさずに、自己回帰ロールアウト中の深刻な誤差の蓄積（ドリフト）を回避すること。

Hy-Nomasは、8Bの双方向拡散トランスフォーマー (HunyuanVideo 1.5) を、統合されたセグメント単位の自己回帰動画世界モデルへと適応させることで、これらの課題を解決します。

主なアイデア

• Action-Aware Causal Attention（行動認識型因果的アテンション）: 永続的な記述的シーンコンテキスト（「head」）と、時間的に局所化された行動指示（「tails」）を区別します。記述的コンテキストは将来のセグメントからもアクセス可能なまま維持されますが、行動トークンはそれが生じたセグメントと時間枠内に制限され、行動の再実行を防ぎます。
• 連続的なカメラの条件付け: ビデオレベルの動きのスケールで正規化されたフレーム間の相対変換 $\Delta P_t=P_{t-1}^{-1}{P}_t$ を使用し、ブロック専用のクロスアテンションを介して注入します。
• Prompt Enhancer (PE): 複数ターンのユーザーの意図と過去の観測を、シーンの変化、カメラタグ、含まれるアクションを指定する構造化JSON条件に変換する、ファインチューニングされたマルチモーダル視覚言語モデル（Qwen3.8-27Bベース）。
• ストリーミング逆伝播を伴うSegment Forcing: メモリを一定に保ちながら、推論時の誤差分布に適合させるため、自身の1ステップのノイズ除去予測に基づいて自己回帰ジェネレータをトレーニングします。
• 4 NFEへの蒸留: Phased Consistency Model (PCM) の初期化、Decoupled Distribution Matching Distillation (DDMD)、因果的敵対的リファインメントを用いて、100ステップのEulerサンプラーをセグメントあたり4回のネットワーク機能評価（NFE）にまで蒸留します。

手法（主要な数式を含む）

潜在空間の動画表現

RGB動画 $X\in {\mathbb{R}}^{B\times 3\times F\times H\times W}$ は、因果的 DCAE-V エンコーダ $\mathcal{E}$ を介して潜在変数 $Z$ に圧縮されます： $$Z=\mathcal{E}(X)\in {\mathbb{R}}^{B\times 32\times F_z\times H_z\times W_z},F_z=\lfloor \frac{F-1}{4}\rfloor +1,H_z=\lfloor \frac{H}{32}\rfloor ,W_z=\lfloor \frac{W}{32}\rfloor$$ 各潜在位置は、2,048次元のDiT隠れ空間に射影されます。

学習目的関数

モデルは、クリーンな潜在変数 $Z$ とノイズ $ϵ\sim \mathcal{N}(0,I)$ に対する線形フローマッチング（Flow Matching）によって学習されます： $$Z_t=(1-t)Z+tϵ,V_t=ϵ-Z$$ ネットワークは速度 $V_t$ を予測し、平均二乗誤差（MSE）によって監視されます。

Action-Aware Causal Attention とカメラの条件付け

セグメント $j$ に対し、ビデオトークンは過去のセグメントには因果的にアテンションを払い、セグメント $j$ 内では双方向にアテンションを払います。各セグメント内では、アクションウィンドウ内のクエリトークンは、そのアクションのテキストトークンと環境のheadにのみアテンションを払います。クロスアテンションでは、視覚トークン $V$ が64次元の相対カメラトークン $C$ にアテンションを払います： $$\tilde{V}=V+\mathrm{CrossAttn}(V,C)$$

Segment Forcing

推論時の誤差蓄積にモデルを適応させるため、セグメント $s$ はフロー損失を計算し、1ステップでノイズ除去された潜在変数を使用してセグメント $s+1$ のKVキャッシュを更新します： $${\tilde{\mathbf{x}}}_{s,t_{\mathrm{ctx}}}={\mathbf{x}}_{s,t}+(t_{\mathrm{ctx}}-t){\hat{\mathbf{v}}}_s,t_{\mathrm{ctx}}\sim \mathcal{U}(0.1,0.3)$$ ストリーミング逆伝播により、中間アクティベーションがセグメントごとに解放され、GPUメモリ上には1つのセグメントの計算グラフのみが保持されます。

分散パッキングにおけるFLOP予測

動画は最大360Kトークンのバッチにパッキングされ、推定計算FLOPによってバランスが取られます： $$F_i=\alpha n_i+\beta A_i$$ ここで $n_i$ は有効なトークン数、$A_i={\sum }_{p\in i}|\{q:M_{pq}^{(i)}\ne -\infty \}|$ はマスクされていないクエリ・キーのペアの数です。

結果（重要な数値を網羅）

Hy-Nomas-Bench（4つのベンチマークにわたる280のテストシナリオ）での評価：

• Bench-1 (マルチターンテキスト対話):
  • プロンプト追従性: Hy-NomasはHappyOyster-Directingに対して勝率65.0% vs. 敗率10.0%、LingBot-World v2に対して**勝率75.0% vs. 敗率8.3%**を達成。
  • 物理的妥当性: HappyOyster-Directingに対して勝率45.0% vs. 敗率11.7%、LingBot-World v2に対して**勝率68.3% vs. 敗率5.0%**を達成。
• Bench-2 (カメラナビゲーション): Hy-Nomasは100の軌道にわたって高い正味の勝率を達成：Genie 3に対して勝率32.0% vs. 敗率14.0%、HappyOyster-Wanderingに対して勝率36.0% vs. 敗率10.0%。
• Bench-3 (テキストとカメラの混在): LingBot-World v2に対し、プロンプト追従性で勝率75.0%（敗率8.3%）、物理的妥当性で勝率73.3%（敗率1.7%）を達成。
• Bench-4 (空間メモリ): Hy-NomasはLingBot-World v2（勝率58.3% vs. 敗率1.7%）およびHappyOyster（勝率30.0% vs. 敗率23.3%）を上回りましたが、ストリートビューの事前学習による恩恵を受けたGenie 3（勝率13.3% vs. 敗率30.0%、引き分け56.7%）には及びませんでした。
• 単一GPUでのデプロイ: INT8量子化、スライディングウィンドウアテンション、CPUオフローディングにより、単一のNVIDIA RTX 4090上で、ピークGPUメモリ20.53 GiBで100秒間の720pロールアウトが可能になります。

限界と未解決の課題

• 長期的な空間メモリのギャップ: 複雑なカメラ移動の後に同じ場所を再訪する際の空間的一貫性において、Genie 3は依然として優れています。ループする軌道データを用いずに学習しているため、アンカーの保持に限界があります。
• LoRAによるカメラ追従の劣化: ドメイン固有のデータセット（映画風スタイルなど）でのファインチューニングはプロンプト追従性と視覚的美観を向上させたものの、下流データのカメラ軌道の多様性が低かったため、カメラ制御性能が低下しました（勝率19% vs. 敗率37%）。
• ロボティクスにおける物理的精度: LoRAの適応により分布外の双腕ロボットのアクションを生成することは可能ですが、動画拡散モデルは本質的に実行レベルのロボット物理学や力・トルクのコンプライアンスを保証するものではありません。
• 画面外の状態変化: 視界の外で発生する変化（観察されていない時計の針の進みなど）は、明示的な外部のシンボリックエージェント状態追跡なしに、視覚的なKVキャッシュ検索だけで捉えることはできません。