Prism: Dynamic Sparse Attention for Native 2K Joint Video-Audio Generation Model Training

Shuyuan Tu; Qi Tian; Yinming Huang; Yue Wu; Xintong Han; Kaihang Pan; Weijie Kong; Jiangfeng Xiong; Jian-Wei Zhang; Zuxuan Wu; Yu-Gang Jiang

논문 · arXiv 2610.05416

Prism: 네이티브 2K 비디오-오디오 결합 생성 모델 학습을 위한 동적 희소 어텐션

Prism: Dynamic Sparse Attention for Native 2K Joint Video-Audio Generation Model Training

Shuyuan Tu, Qi Tian, Yinming Huang, Yue Wu, Xintong Han, Kaihang Pan, Weijie Kong, Jiangfeng Xiong, Jian-Wei Zhang, Zuxuan Wu, Yu-Gang Jiang

게시일 2026-10-04cs.CV arXiv PDF

XYZNOT로 읽기 (전문 번역과 AI 해설)

세 줄 요약

🎯 네이티브 2K 해상도의 풀 어텐션은 방대하고 중복된 배경 토큰으로 어텐션을 희석하고 사전 학습된 오디오-시각적 교차 모달 사전 분포를 파괴하며, 고정 형태의 희소 어텐션은 국소화된 오디오-비디오 동기화를 포착하지 못합니다.
🔧 Prism은 토큰을 시공간 매크로 영역으로 그룹화하고 채널별 비디오 특징 분산과 오디오-비디오 크로스 어텐션 노름에 의해 공동으로 유도되는 3D 블록 형태를 동적으로 선택하며, 하이브리드 Top-k/Top-p 블록 선택 전략을 결합합니다.
📈 풀 어텐션 대비 2.5배의 학습 속도 향상 및 3배의 추론 속도 향상을 달성하고, 추론 GPU 메모리를 47% 절감하는 동시에 비디오, 오디오 및 동기화 지표 전반에서 기존 오픈소스 방법론들을 능가합니다.

초록

네이티브 고해상도에서 비디오-오디오 결합 생성 모델을 직접 학습하면 더욱 풍부한 시각적 디테일과 선명한 모션 다이내믹스를 학습할 수 있습니다. 그러나 풀 어텐션(full attention)은 2차 비용( $O (N^{2})$ )을 초래하며, 해상도가 증가함에 따라 과도하게 중복된 토큰들로 어텐션이 분산되어 유의미한 콘텐츠에 대한 학습 신호가 희석되고 사전 학습된 사전 분포(prior)가 훼손됩니다. 기존의 희소 어텐션(sparse attention) 방식은 학습이 필요 없는(training-free) 가속만을 목표로 하거나, 교차 모달 상호작용이 본질적으로 소리를 생성하는 영역에 집중되는 비디오-오디오 결합 데이터 고유의 구조를 간과합니다. 이를 해결하기 위해, 우리는 2K 해상도에서 비디오-오디오 결합 생성 모델을 네이티브로 학습하기 위한 동적 희소 어텐션 프레임워크인 Prism을 제안합니다. 구체적으로 Prism은 토큰 시퀀스를 시공간 매크로 영역(macro-zone)으로 구성하여 어텐션 구조가 로컬 콘텐츠에 적응할 수 있도록 합니다. 각 영역에 대해 채널 방향의 비디오 특징 분산과 오디오-비디오 크로스 어텐션의 특징 노름(feature norm)을 통해 로컬 정보 구조를 추정하며, 시각적 콘텐츠가 방향별로 어떻게 변화하는지와 오디오가 각 시각적 영역에 얼마나 강하게 영향을 미치는지를 공동으로 포착합니다. 이러한 신호를 기반으로 Prism은 각 영역에 맞춤형 블록 형태를 동적으로 할당하여 시각적 콘텐츠 변화가 빠르고 오디오-비디오 결합이 강한 축을 따라 더 세밀한 분할을 적용합니다. 이는 각 블록 내의 토큰들이 의미적 일관성을 유지하도록 유도하여 블록 수준의 특징이 시각적 콘텐츠와 비디오-오디오 결합 상호작용 패턴을 모두 포착할 수 있게 합니다. 나아가 Prism은 하이브리드 블록 선택 전략을 채택하여 쿼리별 희소성을 동적으로 결정합니다. 실험 결과, Prism은 풀 어텐션 대비 2.5 $\times$ 의 학습 속도 향상을 달성하면서도 생성 품질 측면에서 이를 능가하는 것으로 나타났습니다.

영어 원문 초록

Natively training joint video-audio generation models at higher resolutions empowers them to learn richer visual details and sharper motion dynamics. However, full attention incurs quadratic cost and, as resolution increases, spreads attention over increasingly redundant tokens, diluting learning signals for informative content and disrupting pretrained priors. Existing sparse attention methods either target training-free acceleration or overlook the unique structure of joint video-audio data, where cross-modal interactions are inherently concentrated around sound-producing regions. To address this, we propose Prism, a dynamic sparse attention framework for natively training joint video-audio generation models at 2K. In particular, Prism organizes the token sequence into spatiotemporal macro-zones, enabling the attention structure to adapt to local content. For each zone, it estimates local information structure via video feature variance along the channel and feature norms from the audio-to-video cross-attention, jointly capturing how visual content varies directionally and how strongly audio influences each visual region. Based on these signals, Prism dynamically assigns a tailored block shape to each zone, applying finer partitioning along axes of rapid visual content variation and strong audio-visual coupling. This encourages tokens within each block to remain semantically coherent, allowing block-level features to capture both visual content and joint video-audio interaction patterns. Prism further adopts a hybrid block selection strategy to dynamically determine per-query sparsity. Experiments show that Prism achieves 2.5 $\times$ training speedup compared to full attention, while surpassing it in generation quality.

논문 해설

문제 및 동기

2K 해상도에서 비디오-오디오 결합 디퓨전 모델을 네이티브로 학습하면 풍부한 공간적 디테일, 선명한 모션 다이내믹스, 그리고 동기화된 사운드를 합성할 수 있습니다. 그러나 VAE 압축 후에도 2K 영상 클립은 수십만 개에서 100만 개 이상의 토큰을 생성합니다. 표준 풀 어텐션은 다음과 같은 두 가지 치명적인 문제를 겪습니다:

2차 복잡도(Quadratic complexity): 연산 및 메모리 사용량이 극심하여 학습 비용이 지나치게 커집니다.
어텐션 가중치 희석(Attention weight dilution): 방대하게 반복되는 배경 토큰이 토큰 시퀀스를 지배하여 움직이는 얼굴, 손, 소리를 내는 객체 등 유의미하고 국소적인 콘텐츠에 할당되는 어텐션 예산을 희석시키고 사전 학습된 멀티모달 사전 분포를 손상시킵니다.

이전의 희소 어텐션 접근법들은 학습이 필요 없는 근사 방식을 적용하거나, 저해상도(480p/720p)의 무음 비디오에만 집중하거나, 경직되고 획일적인 블록 형태를 강제했습니다. 오디오-비디오 동기화는 소리를 내는 콤팩트한 영역에 엄격하게 집중되어 있기 때문에, 고정된 블록 형태는 이질적인 토큰들을 섞이게 만들어 평균 풀링된 블록 표현을 훼손하고 교차 모달 상호작용 패턴에 적응하지 못합니다.

핵심 아이디어

매크로 영역 분할(Macro-Zone Partitioning): 시공간 토큰 볼륨을 $Z_{T} \times Z_{H} \times Z_{W} = 8 \times 8 \times 8$ 크기의 매크로 영역으로 분할하여 Triton에 정렬된 블록 구성을 가능하게 합니다.
이중 유도 변동 지표(Dual-Guidance Variation Indicator): 각 영역은 비디오 채널별 분산과 오디오-비디오 크로스 어텐션 노름을 함께 사용하여 방향성 콘텐츠 변동을 동적으로 측정합니다.
콘텐츠 적응형 3D 블록 형태(Content-Adaptive 3D Block Shapes): 각 영역은 총 볼륨 $B \in {64, 128, 256}$ 을 갖는 16개의 후보군 세트 중에서 형태를 선택하며, 빠른 변화와 강한 오디오 결합이 발생하는 축을 따라 세밀하게 분할합니다.
하이브리드 Top- $k$ / Top- $p$ 선택: 블록 수준의 희소 어텐션은 Top- $k$ 를 사용하여 보장된 기본 컨텍스트를 확보하고, 어텐션 분포가 분산된 쿼리의 경우 Top- $p$ 를 통해 적응적으로 확장합니다.

방법론

Prism은 MOVA-720p에서 초기화된 듀얼 브랜치 Diffusion Transformer (DiT)에서 동작하며, 크로스 어텐션 및 오디오 셀프 어텐션은 수정하지 않은 채 비디오 셀프 어텐션만을 동적 희소 어텐션으로 대체합니다.

1. 변동 지표 수식화

각 매크로 영역 $m$ 에 대해 축 $d \in {T, H, W}$ 을 따르는 방향별 비디오 변동 비율은 평균 풀링된 밸류 특징(value feature) $\overset{ˉ}{V}_{m, i}^{(d)}$ 로부터 도출됩니다: $σ_{v, d}^{2} (m) = \frac{1}{D} c = 1 \sum D \frac{1}{Z _{d}} i = 1 \sum Z_{d} (\overset{ˉ}{V}_{m, i, c}^{(d)} - μ_{m, c}^{(d)})^{2}, r_{v, d} (m) = \frac{σ _{v, d}^{2} ( m )}{\sum _{d^{'}} σ _{v, d^{'}}^{2} ( m )}$

이전 레이어에서 캐시된 오디오-비디오 크로스 어텐션 노름 $a_{t, h, w}^{m} = ∥ \hat{h}_{t, h, w}^{m} ∥_{2}$ 으로부터 오디오 결합 강도 $\overset{a}{ˉ} (m) \in [0, 1]$ 및 정규화된 방향성 분산 $\overset{v}{^}_{a, d} (m)$ 이 계산됩니다. 복합 변동 지표는 다음과 같습니다: $g_{d} (m) = r_{v, d} (m) + \overset{a}{ˉ} (m) \cdot \overset{v}{^}_{a, d} (m) + ϵ$

2. 블록 볼륨 및 형태 양자화

총 블록 볼륨 $B (m) \in {64, 128, 256}$ 은 정규화된 시공간 정보 밀도 $ρ (m)$ 를 임계값 $τ_{128} = 0.5$ 및 $τ_{256} = 0.25$ 와 비교하여 할당됩니다. $\prod_{d} b_{d} = B (m)$ 제약 하에 블록 내부 정보 손실 $\sum_{d} g_{d} (b_{d}^{2} - 1)$ 을 최소화하면 최적의 연속형 모서리 길이 $b_{d}^{*} \propto g_{d}^{- 1/2}$ 를 얻을 수 있습니다. $lo g_{2}$ 공간( $S = lo g_{2} B (m)$ )에서는 다음과 같습니다: $ℓ_{d}^{*} = - \frac{1}{2} lo g_{2} g_{d} + \frac{1}{3} (S + \frac{1}{2} lo g_{2} g_{T} + \frac{1}{2} lo g_{2} g_{H} + \frac{1}{2} lo g_{2} g_{W})$ 블록 형태 $s^{*} = (b_{T}, b_{H}, b_{W})$ 는 후보 세트 $C_{B (m)}$ 중에서 $ℓ_{d}^{*}$ 와의 유클리드 거리를 최소화하는 형태로 선택됩니다.

3. 하이브리드 Top- $k$ / Top- $p$ 어텐션

키 블록들은 대표값 $\overset{ˉ}{K}_{j}$ 로 평균 풀링된 후 쿼리 블록 $Q_{i}$ 와 점수가 매겨져 블록 확률 $P_{i}$ 를 산출합니다. 어텐션을 적용할 대상 세트 $S_{i}$ 는 고정 임계값과 누적 확률 임계값을 결합합니다: $S_{i} = Top- k (P_{i}, k) \cup Top- p (P_{i}, p)$ 온라인 소프트맥스 Triton 커널이 오직 $S_{i}$ 에 대해서만 희소 어텐션을 실행합니다.

결과

벤치마크 우수성: 2K-Bench(300개의 네이티브 2K 테스트 비디오)에서 Prism은 0.61의 미적 품질(AQ), 0.982의 시간적 깜빡임(TF), 0.63의 DeSync, 0.89의 MotionQ를 달성하여 MOVA(Full Attn: 0.42 AQ, 1.05 DeSync, 0.53 MotionQ) 및 초해상화가 적용된 LTX-2.3(0.48 AQ, 0.95 DeSync, 0.66 MotionQ)을 크게 앞섰습니다.
효율성 향상: 2K에서 학습 속도는 풀 어텐션 대비 $2.5 \times$ 더 빠릅니다(스텝당 $10.6 min$ 대 $26.5 min$ ). 4개의 GPU를 사용한 추론 환경에서 Prism은 GPU당 $38.0 GB$ 의 VRAM을 사용하여 $331 s$ 만에 실행되는 반면, MOVA는 $72.8 GB$ 로 $1091 s$ 가 소요됩니다.
해상도 확장성(Resolution Scaling): 480p에서 2K로 확장할 때 풀 어텐션과 고정 블록 희소 기준 모델들은 배경 토큰 포화로 인해 성능이 저하되는 반면, Prism은 모든 품질 및 교차 모달 동기화 지표 전반에서 단조로운 성능 향상을 보이는 유일한 프레임워크입니다.
사용자 평가: 30개의 2K 클립에 대해 200명의 참가자가 참여한 2AFC 인지 평가에서, Prism은 텍스트 정렬, 오디오 품질, 시각적 디테일, 움직임의 사실성, 립싱크 전반에 걸쳐 모든 오픈소스 기준 모델 대비 $> 87%$ 의 선호도를 확보했습니다.

한계점 및 미해결 과제

고정된 시간적 매크로 영역: 매크로 영역은 $Z_{T} = 8$ 의 고정된 시간 윈도우를 갖습니다. 이 윈도우 내에서 빠른 샷 전환(shot cut)이나 줌 인/아웃 전환이 발생하면 단일 블록 형태로 표현하기 어려운 급격한 특징 차이가 발생하여 일시적인 왜곡 아티팩트가 나타날 수 있습니다.
해상도 및 모델 확장: Prism은 16B 파라미터 백본에서 최대 2K 해상도까지 평가되었습니다. 토큰 수가 4배로 증가하는 네이티브 4K로의 확장 및 더 큰 30B+ 규모의 DiT 아키텍처 탐색은 아직 미지의 영역으로 남아 있습니다.
오디오-비디오 의존 순서: DiT 블록 내에서 셀프 어텐션이 크로스 어텐션보다 먼저 수행되기 때문에, 오디오 크로스 어텐션 가이던스는 이전 레이어에서 캐시된 노름에 의존하게 되어 유도 신호 전파에 단일 레이어만큼의 지연이 발생합니다.

핵심 용어

Dynamic Sparse Attention: 동적으로 계산된 관련성 점수와 콘텐츠 적응형 블록 형태를 기반으로 쿼리당 키-밸류 토큰 블록을 선택적으로 참조하는 어텐션 프레임워크입니다.
Spatiotemporal Macro-Zones: 정보 밀도를 국소적으로 계산하고 균일한 3D 블록 형태를 할당하기 위해 사용되는 비디오 잠재 공간 격자의 중복 없는 $8 \times 8 \times 8$ 토큰 분할 단위입니다.
Video Channel-Wise Variance Guidance: 밸류 특징(value feature)의 채널 차원 전반에 걸쳐 계산되어 시간, 높이, 너비 축을 따라 시각적 콘텐츠가 얼마나 빠르게 변하는지를 포착하는 방향성 통계량입니다.
Audio-to-Video Cross-Attention Norm Guidance: 비디오 영역 전반에 걸쳐 오디오 영향의 강도 및 방향성 변동을 정량화하는 오디오 변조 비디오 특징의 $L_{2}$ 노름에서 도출된 가이던스 지표입니다.
Attention Weight Dilution: 초장축 고해상도 시퀀스에서 수많은 중복 배경 토큰들이 어텐션 소프트맥스 가중치를 집단적으로 독점하여 정보가 많은 영역에 어텐션이 덜 할당되는 실패 모드입니다.
Hybrid Top-k / Top-p Selection: 최소 컨텍스트 보장을 위한 고정 Top- $k$ 임계값과 어텐션이 분산된 쿼리를 위한 적응형 Top- $p$ 누적 임계값을 결합한 블록 선택 메커니즘입니다.
2K-Bench: 복잡한 모션, 고주파 시각적 디테일, 다양한 사운드 상호작용을 포함하는 미공개 10초 네이티브 2K 비디오-오디오 클립 300개로 구성된 새로 제안된 평가 벤치마크입니다.
MotionQ: 비디오 모션 다이내믹스, 일관성 및 공간 상호작용 품질을 평가하기 위해 Gemini-3.1을 사용하는 자동화된 평가 지표입니다.

자주 묻는 질문

왜 희소 어텐션이 비디오 셀프 어텐션에만 적용되나요?

비디오 셀프 어텐션은 2K에서 연산 비용의 대부분을 차지합니다(10초 클립 기준 87만 개 이상의 토큰). 반면 교차 모달 어텐션 모듈과 오디오 셀프 어텐션은 훨씬 짧은 토큰 시퀀스(오디오는 일반적으로 1,000개 토큰 미만)를 다루므로 연산 오버헤드가 미미하여 희소 근사가 불필요합니다.

오디오 정보는 시각적 어텐션 블록의 형태에 어떻게 영향을 미치나요?

오디오-비디오 크로스 어텐션 은닉 상태의 $L_{2}$ 노름을 매크로 영역별로 측정합니다. 오디오 결합도가 높은 소리 발생 영역에서는 오디오 결합 게이트가 블록 분할을 유도하여 움직이는 입술 주변의 시간적 변화와 같이 오디오 분산이 큰 축을 따라 더 짧은 모서리(더 미세한 해상도)를 할당하도록 합니다.

Prism이 토큰별이 아닌 매크로 영역 수준에서 블록 형태를 선택하는 이유는 무엇인가요?

토큰별 가변 블록 형태는 불규칙한 클러스터링을 유발하고 상당한 메모리 패딩을 요구하여 커스텀 Triton GPU 커널에서 결합된 메모리 접근(coalesced memory access)을 저해합니다. $8 \times 8 \times 8$ 크기의 매크로 영역은 블록 크기가 항상 64개 토큰의 배수가 되도록 보장하여 하드웨어에 정렬된 연산 타일을 가능하게 합니다.

블록 선택이 미분 불가능함에도 Prism은 오차 전파를 어떻게 방지하나요?

학습 가능한 블록 희소 어텐션의 표준 방식을 따라, 블록 형태 선택을 결정하는 통계량(밀도 $ρ$ , 변동 지표 $g_{m}$ , 블록 관련성 $P_{i}$ )은 역전파 중에 분리된(detached) 상수로 취급됩니다. 그래디언트는 오직 선택된 키-밸류 블록들에 대한 희소 어텐션 연산을 통해서만 흐릅니다.

이 페이지의 해설은 AI가 논문을 바탕으로 작성했으며 오류가 있을 수 있습니다. 자세한 내용은 원문을 확인하세요.