Prism: Dynamische Sparse Attention für das Training nativer 2K-Modelle zur gemeinsamen Video-Audio-Generierung

Leseleitfaden

Problem und Motivation

Das native Training gemeinsamer Video-Audio-Diffusionsmodelle bei 2K-Auflösung ermöglicht die Synthese reichhaltiger räumlicher Details, scharfer Bewegungsdynamiken und synchronisierten Tons. Nach der VAE-Kompression erzeugt ein 2K-Clip jedoch Hunderttausende bis über eine Million Tokens. Standardmäßige Full Attention leidet unter zwei gravierenden Problemen:

1. Quadratische Komplexität: Der Rechen- und Speicheraufwand macht das Training unerschwinglich teuer.
2. Verwässerung der Aufmerksamkeitsgewichte (Attention Weight Dilution): Enorme Mengen repetitiver Hintergrund-Tokens dominieren die Token-Sequenz, wodurch das Aufmerksamkeitsbudget für informative, lokalisierte Inhalte (wie bewegte Gesichter, Hände und tonerzeugende Objekte) verwässert wird und vortrainierte multimodale Priors gestört werden.

Bisherige Sparse-Attention-Ansätze nutzen entweder trainingsfreie Approximationen, konzentrieren sich nur auf stumme Videos bei niedrigeren Auflösungen (480p/720p) oder erzwingen starre, einheitliche Blockformen. Da audiovisuelle Synchronisation strikt auf kompakte tonerzeugende Regionen konzentriert ist, vermischen feste Blockformen uneinheitliche Tokens miteinander, verfälschen per Mean-Pooling berechnete Blockrepräsentationen und können sich nicht an cross-modale Interaktionsmuster anpassen.

Kernideen

• Makro-Zonen-Partitionierung (Macro-Zone Partitioning): Das raumzeitliche Token-Volumen wird in Makro-Zonen der Größe $Z_T\times Z_H\times Z_W=8\times 8\times 8$ unterteilt, um Triton-ausgerichtete Blockkonfigurationen zu ermöglichen.
• Duale Variationsindikatoren (Dual-Guidance Variation Indicator): Jede Zone misst richtungsabhängige Inhaltsvariationen dynamisch unter Verwendung der kanalweisen Video-Varianz zusammen mit Audio-zu-Video-Cross-Attention-Normen.
• Inhaltsadaptive 3D-Blockformen (Content-Adaptive 3D Block Shapes): Zonen wählen aus einer Kandidatenmenge von 16 Formen mit Gesamtvolumina $B\in \{64,128,256\}$, wobei entlang von Achsen schneller Veränderungen und starker Audio-Kopplung feiner partitioniert wird.
• Hybride Top-$k$- / Top-$p$-Auswahl: Sparse Attention auf Blockebene verwendet Top-$k$, um einen garantierten Basiskontext zu sichern, der für Queries mit breit gestreuten Aufmerksamkeitsverteilungen adaptiv über Top-$p$ erweitert wird.

Methode

Prism arbeitet auf einem Dual-Branch Diffusion Transformer (DiT), der von MOVA-720p initialisiert wurde. Dabei wird die Video-Self-Attention durch dynamische Sparse Attention ersetzt, während Cross-Attention und Audio-Self-Attention unverändert bleiben.

1. Formulierung des Variationsindikators

Für jede Makro-Zone $m$ wird das Richtungsverhältnis der Video-Variation entlang der Achse $d\in \{T,H,W\}$ aus den Mean-gepoolten Value-Features ${\bar{\mathbf{V}}}_{m,i}^{(d)}$ abgeleitet: $${\sigma }_{v,d}^2(m)=\frac{1}{D}\sum _{c=1}^D\frac{1}{Z_d}\sum _{i=1}^{Z_d}{\left({\bar{V}}_{m,i,c}^{(d)}-{\mu }_{m,c}^{(d)}\right)}^2,r_{v,d}(m)=\frac{{\sigma }_{v,d}^2(m)}{{\sum }_{d^{\prime }}{\sigma }_{v,d^{\prime }}^2(m)}$$

Aus den in der vorhergehenden Schicht zwischengespeicherten Audio-zu-Video-Cross-Attention-Normen $a_{t,h,w}^m=\Vert {\hat{\mathbf{h}}}_{t,h,w}^m{\Vert }_2$ werden die Audio-Kopplungsstärke $\bar{a}(m)\in [0,1]$ und die normalisierte Richtungs-Varianz ${\hat{v}}_{a,d}(m)$ berechnet. Der zusammengesetzte Variationsindikator lautet: $$g_d(m)=r_{v,d}(m)+\bar{a}(m)\cdot {\hat{v}}_{a,d}(m)+ϵ$$

2. Blockvolumen- und Formquantisierung

Das Gesamtblockvolumen $B(m)\in \{64,128,256\}$ wird zugewiesen, indem die normalisierte raumzeitliche Informationsdichte $\rho (m)$ mit den Schwellenwerten ${\tau }_{128}=0.5$ und ${\tau }_{256}=0.25$ verglichen wird. Die Minimierung des Informationsverlusts innerhalb eines Blocks ${\sum }_d{g}_d(b_d^2-1)$ unter der Nebenbedingung ${\prod }_d{b}_d=B(m)$ liefert die optimale kontinuierliche Kantenlänge $b_d^{\ast }\propto g_d^{-1/2}$. Im ${\log }_2$-Raum ($S={\log }_{2}B(m)$): $${\ell }_d^{\ast }=-\frac{1}{2}{\log }_2{g}_d+\frac{1}{3}\left(S+\frac{1}{2}{\log }_2{g}_T+\frac{1}{2}{\log }_2{g}_H+\frac{1}{2}{\log }_2{g}_W\right)$$ Die Blockform $s^{\ast }=(b_T,b_H,b_W)$ wird aus der Kandidatenmenge ${\mathcal{C}}_{B(m)}$ durch Minimierung der euklidischen Distanz zu ${\ell }_d^{\ast }$ ausgewählt.

3. Hybride Top-$k$- / Top-$p$-Attention

Key-Blöcke werden zu Repräsentanten ${\bar{\mathbf{K}}}_j$ gemittelt und mit Query-Blöcken ${\mathbf{Q}}_i$ abgeglichen, um Block-Wahrscheinlichkeiten ${\mathbf{P}}_i$ zu erhalten. Die Menge der beachteten Blöcke ${\mathcal{S}}_i$ kombiniert feste und kumulative Wahrscheinlichkeitsschwellenwerte: $${\mathcal{S}}_i=\text{Top-}k({\mathbf{P}}_i,k)\cup \text{Top-}p({\mathbf{P}}_i,p)$$ Ein Triton-Kernel mit Online-Softmax führt die Sparse Attention ausschließlich über ${\mathcal{S}}_i$ aus.

Ergebnisse

• Überlegenheit in Benchmarks: Auf dem 2K-Bench (300 native 2K-Testvideos) erreicht Prism $0.61$ Aesthetic Quality (AQ), $0.982$ Temporal Flickering (TF), $0.63$ DeSync und $0.89$ MotionQ, womit es MOVA (Full Attn: $0.42$ AQ, $1.05$ DeSync, $0.53$ MotionQ) sowie LTX-2.3 mit Super-Resolution ($0.48$ AQ, $0.95$ DeSync, $0.66$ MotionQ) deutlich übertrifft.
• Effizienzgewinne: Die Trainingsgeschwindigkeit ist bei 2K um das $2,5\times$ schneller als bei Full Attention ($10.6\text{ min}$ vs. $26.5\text{ min}$ pro Schritt). Bei der Inferenz auf 4 GPUs benötigt Prism $331\text{ s}$ bei $38.0\text{ GB}$ VRAM pro GPU, verglichen mit $1091\text{ s}$ und $72.8\text{ GB}$ bei MOVA.
• Auflösungsskalierung: Prism ist das einzige getestete Framework, das bei der Skalierung von 480p auf 2K monotone Verbesserungen über alle Qualitäts- und cross-modalen Synchronisationsmetriken hinweg zeigt, während Full Attention und Sparse-Baselines mit festen Blöcken bei 2K aufgrund der Sättigung durch Hintergrund-Tokens degradieren.
• Nutzerstudie: In einer 2AFC-Wahrnehmungsstudie mit 200 Teilnehmern über 30 2K-Clips hinweg erzielte Prism eine Präferenz von $>87\%$ gegenüber allen Open-Source-Baselines bezüglich Textausrichtung, Audioqualität, visueller Details, Bewegungsrealismus und Lippensynchronisation.

Einschränkungen und offene Fragen

• Feste zeitliche Makro-Zonen: Makro-Zonen besitzen ein statisches Zeitfenster von $Z_T=8$. Schnelle Schnitte oder Zoom-Übergänge innerhalb dieses Fensters führen zu abrupten Feature-Disparitäten, die eine einzelne Blockform nicht abbilden kann, was zu transienten Verzerrungsartefakten führt.
• Auflösungs- und Modellskalierung: Prism wurde bis zu einer 2K-Auflösung auf einem Backbone mit 16B Parametern evaluiert; die Skalierung auf natives 4K (was die Token-Zahl vervierfacht) und die Untersuchung größerer DiT-Architekturen mit 30B+ Parametern stehen noch aus.
• Audio-visuelle Abhängigkeitsreihenfolge: Da Self-Attention im DiT-Block vor der Cross-Attention ausgeführt wird, stützt sich die Steuerung durch die Audio-Cross-Attention auf Normen, die aus der vorherigen Schicht zwischengespeichert wurden, was eine Verzögerung von einer Schicht bei der Signalausbreitung verursacht.