Prism: Dynamic Sparse Attention for Native 2K Joint Video-Audio Generation Model Training

Shuyuan Tu; Qi Tian; Yinming Huang; Yue Wu; Xintong Han; Kaihang Pan; Weijie Kong; Jiangfeng Xiong; Jian-Wei Zhang; Zuxuan Wu; Yu-Gang Jiang

論文 · arXiv 2610.05416

Prism：用於原生 2K 視訊-音訊聯合生成模型訓練的動態稀疏注意力機制

Prism: Dynamic Sparse Attention for Native 2K Joint Video-Audio Generation Model Training

Shuyuan Tu, Qi Tian, Yinming Huang, Yue Wu, Xintong Han, Kaihang Pan, Weijie Kong, Jiangfeng Xiong, Jian-Wei Zhang, Zuxuan Wu, Yu-Gang Jiang

發表於 2026-10-04cs.CV arXiv PDF

用 XYZNOT 閱讀（全文翻譯與 AI 講解）

三句話總結

🎯 在原生 2K 解析度下，全注意力機制會將注意力稀釋到大量冗餘的背景標元上，並破壞預訓練的跨模態視訊-音訊先驗；而固定形狀的稀疏注意力則無法捕捉局部的視訊-音訊同步性。
🔧 Prism 將標元分組為時空巨集分區，並由通道維度視訊特徵變異數與音訊至視訊交叉注意力範數共同引導動態選取 3D 區塊形狀，並結合混合 Top-k/Top-p 區塊選取策略。
📈 相比全注意力機制，訓練速度提升 2.5 倍、推論速度提升 3 倍，推論時 GPU 記憶體減少 47%，同時在視訊、音訊和同步指標上均優於現有的開源方法。

摘要

在更高解析度下對視訊-音訊聯合生成模型進行原生訓練，能賦予模型學習更豐富視覺細節與更清晰動態變化的能力。然而，全注意力機制（full attention）會產生二次方複雜度的運算成本；隨著解析度提升，注意力會分散於大量冗餘的標元（tokens）上，進而稀釋具資訊量內容的學習訊號，並破壞預訓練先驗。現有的稀疏注意力方法要麼針對免訓練（training-free）加速，要麼忽略了視訊-音訊聯合數據的獨特結構——即跨模態互動本質上高度集中於發聲區域。為了解決此問題，我們提出了 Prism，這是一個專為在 2K 解析度下原生訓練視訊-音訊聯合生成模型而設計的動態稀疏注意力架構。具體而言，Prism 將標元序列組織為時空巨集分區（spatiotemporal macro-zones），使注意力結構能夠適應局部內容。對於每個分區，它透過沿通道維度的視訊特徵變異數以及音訊至視訊交叉注意力的特徵範數來估計局部資訊結構，共同捕捉視覺內容的方向性變化以及音訊對各視覺區域的影響強度。基於這些訊號，Prism 為每個分區動態指派客製化的區塊形狀，在視覺內容快速變化與視訊-音訊強耦合的軸向上進行更精細的劃分。這促進了各區塊內的標元保持語意連貫性，使區塊級特徵得以同時捕捉視覺內容與視訊-音訊聯合互動模式。Prism 進一步採用混合區塊選取策略，以動態決定每個查詢的稀疏度。實驗表明，與全注意力機制相比，Prism 實現了 2.5 倍的訓練加速，同時在生成品質上超越了全注意力機制。

英文原文摘要

Natively training joint video-audio generation models at higher resolutions empowers them to learn richer visual details and sharper motion dynamics. However, full attention incurs quadratic cost and, as resolution increases, spreads attention over increasingly redundant tokens, diluting learning signals for informative content and disrupting pretrained priors. Existing sparse attention methods either target training-free acceleration or overlook the unique structure of joint video-audio data, where cross-modal interactions are inherently concentrated around sound-producing regions. To address this, we propose Prism, a dynamic sparse attention framework for natively training joint video-audio generation models at 2K. In particular, Prism organizes the token sequence into spatiotemporal macro-zones, enabling the attention structure to adapt to local content. For each zone, it estimates local information structure via video feature variance along the channel and feature norms from the audio-to-video cross-attention, jointly capturing how visual content varies directionally and how strongly audio influences each visual region. Based on these signals, Prism dynamically assigns a tailored block shape to each zone, applying finer partitioning along axes of rapid visual content variation and strong audio-visual coupling. This encourages tokens within each block to remain semantically coherent, allowing block-level features to capture both visual content and joint video-audio interaction patterns. Prism further adopts a hybrid block selection strategy to dynamically determine per-query sparsity. Experiments show that Prism achieves 2.5 $\times$ training speedup compared to full attention, while surpassing it in generation quality.

論文解讀

問題與動機

在 2K 解析度下對視訊-音訊聯合擴散模型進行原生訓練，能夠合成豐富的空間細節、清晰的動態變化以及同步的聲音。然而，在經過 VAE 壓縮後，一段 2K 片段仍會產生數十萬至超過一百萬個標元（tokens）。標準的全注意力機制存在兩個致命問題：

二次方複雜度：運算與記憶體開銷使訓練成本高昂到難以承受。
注意力權重稀釋（Attention weight dilution）：大量重複的背景標元佔據了標元序列的主導地位，稀釋了分配給具豐富資訊量之局部內容（例如移動的面孔、雙手和發聲物體）的注意力預算，並破壞了預訓練的多模態先驗。

先前的稀疏注意力方法要麼採用免訓練的近似法，要麼僅專注於較低解析度（480p/720p）的無聲視訊，抑或是強制使用僵硬、均一的區塊形狀。由於視訊-音訊同步嚴格集中在緊湊的發聲區域，固定的區塊形狀會將性質相異的標元混合在一起，破壞平均池化後的區塊表徵，且無法適應跨模態互動模式。

核心理念

巨集分區劃分（Macro-Zone Partitioning）：將時空標元體積劃分為尺寸為 $Z_{T} \times Z_{H} \times Z_{W} = 8 \times 8 \times 8$ 的巨集分區，以利於進行 Triton 對齊的區塊配置。
雙重引導變化指標（Dual-Guidance Variation Indicator）：每個分區利用視訊通道維度變異數與音訊至視訊交叉注意力範數，動態衡量具方向性的內容變化。
內容自適應 3D 區塊形狀（Content-Adaptive 3D Block Shapes）：各分區從總體積為 $B \in {64, 128, 256}$ 的 16 種候選形狀集合中進行選擇，在快速變化與音訊強烈耦合的軸向上進行細緻劃分。
混合 Top- $k$ / Top- $p$ 選取（Hybrid Top- $k$ / Top- $p$ Selection）：區塊級稀疏注意力利用 Top- $k$ 確保基礎上下文，並針對注意力分佈較為分散的查詢，透過 Top- $p$ 進行自適應擴展。

方法詳解

Prism 運作於從 MOVA-720p 初始化的雙分支 Diffusion Transformer (DiT) 上，將視訊自注意力機制替換為動態稀疏注意力，同時保持交叉注意力與音訊自注意力不變。

1. 變化指標建構

對於每個巨集分區 $m$ ，沿軸向 $d \in {T, H, W}$ 的方向性視訊變化比例是從平均池化的數值特徵 $\overset{ˉ}{V}_{m, i}^{(d)}$ 導出： $σ_{v, d}^{2} (m) = \frac{1}{D} c = 1 \sum D \frac{1}{Z _{d}} i = 1 \sum Z_{d} (\overset{ˉ}{V}_{m, i, c}^{(d)} - μ_{m, c}^{(d)})^{2}, r_{v, d} (m) = \frac{σ _{v, d}^{2} ( m )}{\sum _{d^{'}} σ _{v, d^{'}}^{2} ( m )}$

從前一層快取的音訊至視訊交叉注意力範數 $a_{t, h, w}^{m} = ∥ \hat{h}_{t, h, w}^{m} ∥_{2}$ 中，計算出音訊耦合強度 $\overset{a}{ˉ} (m) \in [0, 1]$ 與正規化方向變異數 $\overset{v}{^}_{a, d} (m)$ 。複合變化指標為： $g_{d} (m) = r_{v, d} (m) + \overset{a}{ˉ} (m) \cdot \overset{v}{^}_{a, d} (m) + ϵ$

2. 區塊體積與形狀量化

總區塊體積 $B (m) \in {64, 128, 256}$ 是透過將正規化時空資訊密度 $ρ (m)$ 與閾值 $τ_{128} = 0.5$ 和 $τ_{256} = 0.25$ 進行比較來指派。在滿足 $\prod_{d} b_{d} = B (m)$ 的約束下，最小化區塊內資訊損失 $\sum_{d} g_{d} (b_{d}^{2} - 1)$ ，可導出最佳連續邊長 $b_{d}^{*} \propto g_{d}^{- 1/2}$ 。在 $lo g_{2}$ 空間中（ $S = lo g_{2} B (m)$ ）： $ℓ_{d}^{*} = - \frac{1}{2} lo g_{2} g_{d} + \frac{1}{3} (S + \frac{1}{2} lo g_{2} g_{T} + \frac{1}{2} lo g_{2} g_{H} + \frac{1}{2} lo g_{2} g_{W})$ 藉由最小化與 $ℓ_{d}^{*}$ 的歐氏距離，從候選集 $C_{B (m)}$ 中選出最佳區塊形狀 $s^{*} = (b_{T}, b_{H}, b_{W})$ 。

3. 混合 Top- $k$ / Top- $p$ 注意力機制

鍵值區塊（key blocks）被平均池化為代表向量 $\overset{ˉ}{K}_{j}$ ，並與查詢區塊（query blocks） $Q_{i}$ 進行評分計算以產生區塊機率 $P_{i}$ 。受關注的集合 $S_{i}$ 結合了固定閾值與累積機率閾值： $S_{i} = Top- k (P_{i}, k) \cup Top- p (P_{i}, p)$ 線上 softmax Triton 核心僅對 $S_{i}$ 執行稀疏注意力計算。

實驗結果

基準測試表現優越：在 2K-Bench（300 部原生 2K 測試視訊）上，Prism 取得了 $0.61$ 美學品質（AQ）、 $0.982$ 時間閃爍（TF）、 $0.63$ 音畫不同步（DeSync）以及 $0.89$ 動作品質（MotionQ），顯著擊敗 MOVA（全注意力： $0.42$ AQ、 $1.05$ DeSync、 $0.53$ MotionQ）與搭配超解析度的 LTX-2.3（ $0.48$ AQ、 $0.95$ DeSync、 $0.66$ MotionQ）。
效率提升：在 2K 解析度下，訓練速度比全注意力機制快 $2.5 \times$ （每步 $10.6 分鐘$ vs. $26.5 分鐘$ ）。在 4-GPU 推論中，Prism 耗時 $331 秒$ ，每張 GPU 僅需 $38.0 GB$ VRAM，相較之下 MOVA 則需 $1091 秒$ 與 $72.8 GB$ 。
解析度擴展性：Prism 是唯一在從 480p 擴展到 2K 時，所有品質與跨模態同步指標均展現單調成長的測試架構；而全注意力機制與固定區塊稀疏基準方法在 2K 下皆因背景標元過度飽和而導致效能衰退。
使用者研究：在針對 30 段 2K 片段、共 200 名受試者的 2AFC 感知研究中，Prism 在文本對齊、音訊品質、視覺細節、動作逼真度與唇形同步方面，獲得超過 $87%$ 偏好度，全面勝過所有開源基準模型。

限制與開放性問題

固定時間長度的巨集分區：巨集分區的時間窗口固定為 $Z_{T} = 8$ 。若在此窗口內出現劇烈的鏡頭切換或縮放過渡，會引入單一區塊形狀無法表徵的突發特徵差異，導致暫態失真偽影。
解析度與模型規模擴展：Prism 目前僅在 16B 參數的骨幹網路上評估至 2K 解析度；擴展至原生 4K（標元數量增加四倍）以及探索更大的 30B+ DiT 架構仍有待驗證。
視訊-音訊相依順序：由於在 DiT 區塊中自注意力機制先於交叉注意力機制執行，音訊交叉注意力引導依賴於上一層快取的範數，這在引導訊號傳播中引入了一層的延遲。

關鍵術語

Dynamic Sparse Attention: 一種注意力架構，能根據動態計算的相關性分數以及內容自適應的區塊形狀，為每個查詢選擇性地關注鍵值標元區塊。
Spatiotemporal Macro-Zones: 視訊潛在網格中互不重疊的 $8 \times 8 \times 8$ 標元分區，用於局部計算資訊密度並指派統一的 3D 區塊形狀。
Video Channel-Wise Variance Guidance: 一種沿著數值特徵的通道維度計算的方向性統計量，用以捕捉視覺內容在時間、高度與寬度軸向上的變化速度。
Audio-to-Video Cross-Attention Norm Guidance: 一種源自經音訊調變之視訊特徵 $L_{2}$ 範數的引導指標，用於量化音訊對視訊各區域影響的強度與方向性變化。
Attention Weight Dilution: 超長高解析度序列中的一種失效模式，大量冗餘的背景標元共同壟斷了注意力的 softmax 權重，導致富含資訊的區域未獲得足夠關注。
Hybrid Top-k / Top-p Selection: 一種區塊選取機制，結合了用於保障最低上下文的固定 Top- $k$ 閾值，以及針對注意力分散之查詢的自適應 Top- $p$ 累積閾值。
2K-Bench: 新提出的評估基準，包含 300 部未曾見過的 10 秒原生 2K 視訊-音訊片段，涵蓋複雜動作、高頻視覺細節與多樣化的聲音互動。
MotionQ: 一種使用 Gemini-3.1 評估視訊動態表現、一致性與空間互動品質的自動化評估指標。

常見問題

為什麼稀疏注意力僅應用於視訊自注意力機制？

視訊自注意力機制佔據了 2K 解析度下絕大部分的運算成本（10 秒片段超過 87 萬個標元）。跨模態注意力模組與音訊自注意力的標元序列短得多（音訊通常低於 1 千個標元），其運算開銷微不足道，因此無需進行稀疏近似。

音訊資訊如何影響視覺注意力區塊的形狀？

系統會針對每個巨集分區測量音訊至視訊交叉注意力隱藏狀態的 $L_{2}$ 範數。在音訊耦合度高的發聲區域，音訊耦合閘會引導區塊劃分，在音訊變異數較高的軸向（例如移動唇部周圍的時間變化）分配較短的邊長（更細的粒度）。

為什麼 Prism 在巨集分區層級而非標元層級選取區塊形狀？

逐標元的非固定區塊形狀會導致不規則的分群並需要大量記憶體填補（padding），從而破壞客製化 Triton GPU 核心中的聯合記憶體存取（coalesced memory access）。 $8 \times 8 \times 8$ 的巨集分區能確保區塊大小維持在 64 個標元的倍數，以利硬體對齊的運算分塊（compute tiles）。

鑑於區塊選取是不可微的，Prism 如何避免誤差傳遞？

遵循標準可訓練區塊稀疏注意力（block-sparse attention）的常規做法，驅動區塊形狀選取的統計數據（密度 $ρ$ 、變化指標 $g_{m}$ 與區塊相關性 $P_{i}$ ）在反向傳播期間均被視為分離常數（detached constants）。梯度僅嚴格流經所選鍵值區塊的稀疏注意力運算。

本頁解讀由 AI 根據論文生成，可能有錯誤；細節請以原文為準。