Prism: ネイティブ2K映像・音声同時生成モデルの学習に向けた動的スパースアテンション

論文解説

課題と動機

2K解像度で映像・音声拡散モデルをネイティブに学習することで、豊かな空間ディテール、シャープな運動ダイナミクス、同期したサウンドの合成が可能になります。しかし、VAE圧縮後であっても、2Kクリップは数十万から100万トークン以上を生成します。標準的なフルアテンションには2つの致命的な問題があります。

1. 二次関数の計算量：計算量とメモリフットプリントにより、学習が極めて困難になります。
2. アテンション重みの希釈（Attention Weight Dilution）：膨大な繰り返しの背景トークンがトークンシーケンスを支配し、情報量の多い局所的なコンテンツ（動く顔、手、発音物体など）に割り当てられるアテンションのバジェットが希釈され、事前学習済みのマルチモーダル事前分布が破壊されます。

従来のスパースアテンション手法は、学習不要の近似を適用しているか、低解像度（480p/720p）の無音映像のみを対象としているか、あるいは硬直的で一様なブロック形状を強制しています。映像と音声の同期はコンパクトな発音領域に厳密に集中しているため、固定されたブロック形状では異なるトークンが混ざり合い、平均プーリングされたブロック表現が劣化し、クロスモーダルな相互作用パターンに適応できません。

主なアイデア

• マクロゾーン分割（Macro-Zone Partitioning）: 時空間トークンボリュームを $Z_T\times Z_H\times Z_W=8\times 8\times 8$ のマクロゾーンに分割し、Tritonに最適化されたブロック構成を可能にします。
• 二重誘導変動指標（Dual-Guidance Variation Indicator）: 各ゾーンは、映像チャンネルごとの分散と音声から映像へのクロスアテンションノルムを組み合わせて、方向ごとのコンテンツ変動を動的に測定します。
• コンテンツ適応型3Dブロック形状: 各ゾーンは、総ボリューム $B\in \{64,128,256\}$ を持つ16種類の候補形状セットから選択し、急激な変化や強い音声結合を持つ軸に沿って細かく分割します。
• ハイブリッドTop-$k$ / Top-$p$選択: ブロック単位のスパースアテンションでは、最小限のコンテキストを保証するTop-$k$と、アテンション分布が分散しているクエリ向けに適応的に拡張するTop-$p$を組み合わせます。

手法

PrismはMOVA-720pから初期化されたデュアルブランチDiffusion Transformer (DiT)上で動作し、クロスアテンションと音声セルフアテンションは変更せず、映像セルフアテンションのみを動的スパースアテンションに置き換えます。

1. 変動指標の定式化

各マクロゾーン $m$ について、軸 $d\in \{T,H,W\}$ に沿った方向ごとの映像変動比率は、平均プーリングされたValue特徴量 ${\bar{\mathbf{V}}}_{m,i}^{(d)}$ から導出されます。 $${\sigma }_{v,d}^2(m)=\frac{1}{D}\sum _{c=1}^D\frac{1}{Z_d}\sum _{i=1}^{Z_d}{\left({\bar{V}}_{m,i,c}^{(d)}-{\mu }_{m,c}^{(d)}\right)}^2,r_{v,d}(m)=\frac{{\sigma }_{v,d}^2(m)}{{\sum }_{d^{\prime }}{\sigma }_{v,d^{\prime }}^2(m)}$$

前層からキャッシュされた音声から映像へのクロスアテンションノルム $a_{t,h,w}^m=\Vert {\hat{\mathbf{h}}}_{t,h,w}^m{\Vert }_2$ から、音声結合強度 $\bar{a}(m)\in [0,1]$ と正規化された方向分散 ${\hat{v}}_{a,d}(m)$ を計算します。複合変動指標は次の通りです。 $$g_d(m)=r_{v,d}(m)+\bar{a}(m)\cdot {\hat{v}}_{a,d}(m)+ϵ$$

2. ブロックボリュームと形状の量子化

総ブロックボリューム $B(m)\in \{64,128,256\}$ は、正規化された時空間情報密度 $\rho (m)$ をしきい値 ${\tau }_{128}=0.5$ および ${\tau }_{256}=0.25$ と比較して割り当てられます。${\prod }_d{b}_d=B(m)$ という制約のもとでブロック内情報損失 ${\sum }_d{g}_d(b_d^2-1)$ を最小化すると、最適な連続エッジ長 $b_d^{\ast }\propto g_d^{-1/2}$ が得られます。${\log }_2$ 空間（$S={\log }_{2}B(m)$）では以下のようになります。 $${\ell }_d^{\ast }=-\frac{1}{2}{\log }_2{g}_d+\frac{1}{3}\left(S+\frac{1}{2}{\log }_2{g}_T+\frac{1}{2}{\log }_2{g}_H+\frac{1}{2}{\log }_2{g}_W\right)$$ ブロック形状 $s^{\ast }=(b_T,b_H,b_W)$ は、候補セット ${\mathcal{C}}_{B(m)}$ から ${\ell }_d^{\ast }$ へのユークリッド距離を最小化することで選択されます。

3. ハイブリッドTop-$k$ / Top-$p$アテンション

Keyブロックは代表値 ${\bar{\mathbf{K}}}_j$ に平均プーリングされ、Queryブロック ${\mathbf{Q}}_i$ とスコアリングされてブロック確率 ${\mathbf{P}}_i$ を算出します。アテンション対象セット ${\mathcal{S}}_i$ は、固定しきい値と累積確率しきい値を統合します。 $${\mathcal{S}}_i=\text{Top-}k({\mathbf{P}}_i,k)\cup \text{Top-}p({\mathbf{P}}_i,p)$$ オンラインSoftmax Tritonカーネルが、${\mathcal{S}}_i$ に対してのみスパースアテンションを実行します。

結果

• ベンチマークにおける優位性: 2K-Bench（300本の未見ネイティブ2Kテスト動画）において、PrismはAesthetic Quality (AQ)で$0.61$、Temporal Flickering (TF)で$0.982$、DeSyncで$0.63$、MotionQで$0.89$を達成し、MOVA（Full Attn: AQ $0.42$、DeSync $1.05$、MotionQ $0.53$）や超解像を用いたLTX-2.3（AQ $0.48$、DeSync $0.95$、MotionQ $0.66$）を大幅に上回りました。
• 効率の向上: 2Kにおける学習速度はフルアテンションの$2.5\times$高速です（ステップあたり$10.6\text{ 分}$ vs. $26.5\text{ 分}$）。4-GPU推論では、PrismはGPUあたり$38.0\text{ GB}$のVRAMを使用して$331\text{ 秒}$で完了するのに対し、MOVAは$72.8\text{ GB}$を使用し$1091\text{ 秒}$かかります。
• 解像度のスケーリング: 480pから2Kにスケールアップした際、フルアテンションや固定ブロックスパースのベースラインは背景トークンの飽和により2Kで劣化するのに対し、Prismはテストされたフレームワークの中で唯一、すべての品質およびクロスモーダル同期指標で単調な改善を示しました。
• ユーザー評価: 30本の2Kクリップを用いた200名の参加者による2AFC主観評価において、Prismはテキスト整合性、音質、視覚的ディテール、動きのリアルさ、リップシンクのすべてにおいて、すべてのオープンソースベースラインに対して$>87\%$の支持を獲得しました。

限界点と今後の課題

• 固定された時間マクロゾーン: マクロゾーンは $Z_T=8$ という静的な時間ウィンドウを持ちます。このウィンドウ内での急激なカット割りやズーム遷移は急激な特徴の不連続性を生み出し、単一のブロック形状では表現できず、一時的な歪みアーティファクトが発生します。
• 解像度とモデルのスケーリング: Prismは16Bパラメータのバックボーン上で最大2K解像度まで評価されています。トークン数が4倍になるネイティブ4Kへのスケーリングや、より大規模な30B以上のDiTアーキテクチャの探索は未着手です。
• 映像・音声の依存順序: DiTブロック内でセルフアテンションがクロスアテンションの前にあるため、音声クロスアテンションによる誘導は前層でキャッシュされたノルムに依存しており、誘導シグナルの伝播に1層分の遅延が生じます。