Prism: Dynamic Sparse Attention for Native 2K Joint Video-Audio Generation Model Training

Shuyuan Tu; Qi Tian; Yinming Huang; Yue Wu; Xintong Han; Kaihang Pan; Weijie Kong; Jiangfeng Xiong; Jian-Wei Zhang; Zuxuan Wu; Yu-Gang Jiang

论文 · arXiv 2610.05416

Prism：面向原生 2K 音视频联合生成模型训练的动态稀疏注意力

Prism: Dynamic Sparse Attention for Native 2K Joint Video-Audio Generation Model Training

Shuyuan Tu, Qi Tian, Yinming Huang, Yue Wu, Xintong Han, Kaihang Pan, Weijie Kong, Jiangfeng Xiong, Jian-Wei Zhang, Zuxuan Wu, Yu-Gang Jiang

发表于 2026-10-04cs.CV arXiv PDF

用 XYZNOT 阅读（全文翻译与 AI 讲解）

三句话总结

🎯 在原生 2K 分辨率下，全注意力机制会将注意力稀释在海量冗余背景 token 上，并破坏预训练的跨模态视听先验，而固定形状的稀疏注意力无法有效捕捉局部音视频同步。
🔧 Prism 将 token 划分为时空宏观区域，并在通道维度视频特征方差与音频到视频交叉注意力范数的联合引导下动态选择 3D 块形状，并结合了混合 Top-k/Top-p 块选择策略。
📈 相比全注意力机制实现了 2.5 倍训练加速和 3 倍推理加速，降低了 47% 的推理显存占用，同时在视频、音频及同步指标上全面超越以往的开源方法。

摘要

在更高分辨率下原生训练音视频联合生成模型，能够使其学习到更丰富的视觉细节和更清晰的运动动态。然而，全注意力机制（full attention）会带来二次方计算复杂度，且随着分辨率的提升，注意力会被分散到海量冗余 token 上，从而稀释了信息密集内容的学习信号并破坏预训练先验。现有的稀疏注意力方法要么侧重于免训练加速，要么忽略了音视频联合数据的独特结构——即跨模态交互在本质上高度集中于发声区域。为了解决这一问题，我们提出了 Prism，这是一种用于在 2K 分辨率下原生训练音视频联合生成模型的动态稀疏注意力（dynamic sparse attention）框架。具体而言，Prism 将 token 序列划分为时空宏观区域（spatiotemporal macro-zones），使注意力结构能够自适应于局部内容。针对每个区域，它通过沿通道的视频特征方差以及来自音频到视频交叉注意力的特征范数来估计局部信息结构，共同捕捉视觉内容在各方向上的变化情况以及音频对各视觉区域的影响强度。基于这些信号，Prism 为每个区域动态分配定制的块形状，沿着视觉内容变化剧烈和视听耦合强烈的轴应用更细粒度的划分。这促进了每个块内的 token 保持语义一致性，使块级特征能够同时捕捉视觉内容和音视频联合交互模式。Prism 进一步采用混合块选择策略来动态确定每个查询的稀疏度。实验表明，Prism 相比全注意力实现了 2.5 $\times$ 的训练加速，同时在生成质量上超越了全注意力。

英文原文摘要

Natively training joint video-audio generation models at higher resolutions empowers them to learn richer visual details and sharper motion dynamics. However, full attention incurs quadratic cost and, as resolution increases, spreads attention over increasingly redundant tokens, diluting learning signals for informative content and disrupting pretrained priors. Existing sparse attention methods either target training-free acceleration or overlook the unique structure of joint video-audio data, where cross-modal interactions are inherently concentrated around sound-producing regions. To address this, we propose Prism, a dynamic sparse attention framework for natively training joint video-audio generation models at 2K. In particular, Prism organizes the token sequence into spatiotemporal macro-zones, enabling the attention structure to adapt to local content. For each zone, it estimates local information structure via video feature variance along the channel and feature norms from the audio-to-video cross-attention, jointly capturing how visual content varies directionally and how strongly audio influences each visual region. Based on these signals, Prism dynamically assigns a tailored block shape to each zone, applying finer partitioning along axes of rapid visual content variation and strong audio-visual coupling. This encourages tokens within each block to remain semantically coherent, allowing block-level features to capture both visual content and joint video-audio interaction patterns. Prism further adopts a hybrid block selection strategy to dynamically determine per-query sparsity. Experiments show that Prism achieves 2.5 $\times$ training speedup compared to full attention, while surpassing it in generation quality.

论文解读

问题与动机

在 2K 分辨率下原生训练音视频联合扩散模型能够合成丰富的空间细节、清晰的运动动态以及同步的声音。然而，经过 VAE 压缩后，一段 2K 视频片段仍会产生数十万到超过一百万个 token。标准的全注意力机制存在两个致命问题：

二次方复杂度：计算和显存开销使得训练成本高昂到难以承受。
注意力权重稀释：海量重复的背景 token 占据了 token 序列的主导地位，稀释了分配给高信息量局部内容（如运动的面部、手部和发声物体）的注意力预算，从而破坏了预训练的多模态先验。

先前的稀疏注意力方法要么采用免训练近似，要么仅针对较低分辨率（480p/720p）的无声视频，要么强制使用生硬、统一的块形状。由于视听同步严格集中在紧凑的发声区域，固定的块形状会将异质的 token 混合在一起，破坏均值池化后的块表示，且无法适应跨模态交互模式。

核心思想

宏观区域划分（Macro-Zone Partitioning）：将时空 token 体积划分为尺寸为 $Z_{T} \times Z_{H} \times Z_{W} = 8 \times 8 \times 8$ 的宏观区域，以适配对齐 Triton 的块配置。
双重引导变化指标（Dual-Guidance Variation Indicator）：每个区域利用视频通道维度方差与音频到视频交叉注意力范数，动态度量方向性内容变化。
内容自适应 3D 块形状（Content-Adaptive 3D Block Shapes）：宏观区域从总体积 $B \in {64, 128, 256}$ 的 16 种候选形状集中进行选择，沿着快速变化和强音频耦合的轴进行精细划分。
混合 Top- $k$ / Top- $p$ 选择（Hybrid Top- $k$ / Top- $p$ Selection）：块级稀疏注意力使用 Top- $k$ 确保基础上下文，并针对注意力分布分散的查询通过 Top- $p$ 进行自适应扩展。

方法

Prism 基于从 MOVA-720p 初始化的双分支 Diffusion Transformer (DiT) 运行，用动态稀疏注意力替换视频自注意力，同时保持交叉注意力和音频自注意力不变。

1. 变化指标构建

对于每个宏观区域 $m$ ，沿轴 $d \in {T, H, W}$ 的方向性视频变化比率由均值池化后的 Value 特征 $\overset{ˉ}{V}_{m, i}^{(d)}$ 导出： $σ_{v, d}^{2} (m) = \frac{1}{D} c = 1 \sum D \frac{1}{Z _{d}} i = 1 \sum Z_{d} (\overset{ˉ}{V}_{m, i, c}^{(d)} - μ_{m, c}^{(d)})^{2}, r_{v, d} (m) = \frac{σ _{v, d}^{2} ( m )}{\sum _{d^{'}} σ _{v, d^{'}}^{2} ( m )}$

利用从上一层缓存的音频到视频交叉注意力范数 $a_{t, h, w}^{m} = ∥ \hat{h}_{t, h, w}^{m} ∥_{2}$ ，计算音频耦合强度 $\overset{a}{ˉ} (m) \in [0, 1]$ 以及归一化方向方差 $\overset{v}{^}_{a, d} (m)$ 。复合变化指标为： $g_{d} (m) = r_{v, d} (m) + \overset{a}{ˉ} (m) \cdot \overset{v}{^}_{a, d} (m) + ϵ$

2. 块体积与形状量化

通过对照阈值 $τ_{128} = 0.5$ 和 $τ_{256} = 0.25$ 评估归一化时空信息密度 $ρ (m)$ ，从而分配总块体积 $B (m) \in {64, 128, 256}$ 。在约束 $\prod_{d} b_{d} = B (m)$ 下最小化块内信息损失 $\sum_{d} g_{d} (b_{d}^{2} - 1)$ ，可得到最优连续边长 $b_{d}^{*} \propto g_{d}^{- 1/2}$ 。在 $lo g_{2}$ 空间中（ $S = lo g_{2} B (m)$ ）： $ℓ_{d}^{*} = - \frac{1}{2} lo g_{2} g_{d} + \frac{1}{3} (S + \frac{1}{2} lo g_{2} g_{T} + \frac{1}{2} lo g_{2} g_{H} + \frac{1}{2} lo g_{2} g_{W})$ 通过最小化与 $ℓ_{d}^{*}$ 的欧氏距离，从候选集 $C_{B (m)}$ 中选出块形状 $s^{*} = (b_{T}, b_{H}, b_{W})$ 。

3. 混合 Top- $k$ / Top- $p$ 注意力

Key 块被均值池化为代表元 $\overset{ˉ}{K}_{j}$ ，并与 Query 块 $Q_{i}$ 打分以产生块概率 $P_{i}$ 。被注意的集合 $S_{i}$ 结合了固定阈值与累积概率阈值： $S_{i} = Top- k (P_{i}, k) \cup Top- p (P_{i}, p)$ 在线 softmax Triton kernel 仅在 $S_{i}$ 上执行稀疏注意力计算。

实验结果

基准评测优势：在 2K-Bench（300 个未见过的原生 2K 测试视频）上，Prism 取得了 $0.61$ 的美学质量（AQ）、 $0.982$ 的时间闪烁（TF）、 $0.63$ 的音视频不同步率（DeSync）和 $0.89$ 的 MotionQ，大幅优于 MOVA（全注意力： $0.42$ AQ、 $1.05$ DeSync、 $0.53$ MotionQ）以及带有超分辨率的 LTX-2.3（ $0.48$ AQ、 $0.95$ DeSync、 $0.66$ MotionQ）。
效率提升：在 2K 下训练速度比全注意力快 $2.5 \times$ （每步 $10.6 min$ 对比 $26.5 min$ ）。在 4 卡 GPU 推理中，Prism 耗时 $331 s$ ，单卡占用 $38.0 GB$ 显存，而 MOVA 耗时 $1091 s$ 且需 $72.8 GB$ 。
分辨率扩展性：Prism 是所测框架中唯一一个从 480p 扩展到 2K 时，在所有质量和跨模态同步指标上均展现出单调提升的方法；而全注意力和固定块稀疏基线由于背景 token 饱和在 2K 下均出现性能退化。
用户研究：在针对 30 个 2K 视频片段、共 200 名参与者的 2AFC 感知研究中，Prism 在文本对齐、音频质量、视觉细节、运动真实感和唇形同步方面，相较于所有开源基线均获得了 $> 87%$ 的偏好率。

局限性与未来方向

固定时间宏观区域：宏观区域采用固定的时间窗口 $Z_{T} = 8$ 。该窗口内的快速镜头切换或缩放过渡会引入突发的特征差异，单一的块形状无法很好地表征，从而引起瞬时失真伪影。
分辨率与模型扩展：Prism 目前在 16B 参数的骨干网络上验证至 2K 分辨率；扩展至原生 4K（token 数量翻四倍）以及探索更大的 30B+ DiT 架构仍有待研究。
视听依赖时序：由于 DiT 块中自注意力先于交叉注意力，音频交叉注意力的引导依赖于从上一层缓存的范数，这导致引导信号传递存在一层的延迟。

关键术语

Dynamic Sparse Attention: 一种注意力框架，根据动态计算的相关性得分和内容自适应块形状，针对每个查询选择性地关注键值 token 块。
Spatiotemporal Macro-Zones: 视频隐空间网格的无重叠 $8 \times 8 \times 8$ token 划分单元，用于局部计算信息密度并分配统一的 3D 块形状。
Video Channel-Wise Variance Guidance: 一种沿 Value 特征通道维度计算的方向性统计量，用于捕捉视觉内容沿时间、高度和宽度轴的变化速度。
Audio-to-Video Cross-Attention Norm Guidance: 从受音频调控的视频特征的 $L_{2}$ 范数导出的引导指标，用于量化音频对视频区域影响的强度和方向性变化。
Attention Weight Dilution: 超长高分辨率序列中的一种失效模式，即海量冗余背景 token 共同垄断了注意力 softmax 权重，导致高信息量区域欠关注。
Hybrid Top-k / Top-p Selection: 一种块选择机制，结合了保证最低上下文的固定 Top- $k$ 阈值与面向注意力分布分散查询的自适应 Top- $p$ 累积阈值。
2K-Bench: 新提出的评测基准，包含 300 个未见过的 10 秒原生 2K 音视频片段，具有复杂的运动、高频视觉细节和多样化的声音交互。
MotionQ: 利用 Gemini-3.1 评估视频运动动态、一致性和空间交互质量的自动化评测指标。

常见问题

为什么稀疏注意力仅应用于视频自注意力？

在 2K 分辨率下，视频自注意力占据了绝大部分计算开销（10 秒视频片段包含超过 87 万个 token）。跨模态注意力模块和音频自注意力处理的 token 序列短得多（音频通常少于 1000 个 token），计算开销微不足道，因此无需进行稀疏近似。

音频信息如何影响视觉注意力块的形状？

系统测量每个宏观区域中音频到视频交叉注意力隐状态的 $L_{2}$ 范数。在音频耦合强烈的发声区域，音频耦合门控引导块划分沿音频方差较大的轴分配更短的边长（更细的粒度），例如运动唇部周围的时间变化。

为什么 Prism 在宏观区域级别而不是在逐 token 级别选择块形状？

逐 token 的可变块形状会导致不规则聚类并需要大量的显存填充，破坏自定义 Triton GPU 内核中的合并显存访问。尺寸为 $8 \times 8 \times 8$ 的宏观区域可确保块大小保持为 64 个 token 的倍数，从而实现硬件对齐的计算图块（compute tiles）。

鉴于块选择是不可导的，Prism 如何避免误差传播？

遵循可训练分块稀疏注意力的标准做法，驱动块形状选择的统计量（密度 $ρ$ 、变化指标 $g_{m}$ 和块相关性 $P_{i}$ ）在反向传播期间被视为截断梯度的常量。梯度仅通过所选键值块上的稀疏注意力计算向后传播。

本页解读由 AI 根据论文生成，可能有错误；细节请以原文为准。