Prism: Doğal 2K Birleşik Video-Ses Üretim Modeli Eğitimi için Dinamik Seyrek Dikkat

Okuma rehberi

Problem ve motivasyon

Birleşik video-ses difüzyon modellerini 2K çözünürlükte doğal olarak eğitmek; zengin uzamsal ayrıntıların, keskin hareket dinamiklerinin ve senkronize sesin sentezlenmesini sağlar. Ancak, VAE sıkıştırmasından sonra 2K'lık bir video klibi yüz binlerce ila bir milyonun üzerinde belirteç (token) üretir. Standart tam dikkat (full attention) iki ölümcül sorunla karşılaşır:

1. Karesel karmaşıklık: Hesaplama ve bellek ayak izleri eğitimi fahiş derecede pahalı hale getirir.
2. Dikkat ağırlığı seyrelmesi: Çok sayıda tekrarlayan arka plan belirteci, belirteç dizisine hâkim olarak bilgilendirici ve yerelleştirilmiş içeriğe (hareket eden yüzler, eller ve ses üreten nesneler gibi) ayrılan dikkat bütçesini seyreltir ve önceden eğitilmiş çok modlu öncülleri bozar.

Önceki seyrek dikkat (sparse attention) yaklaşımları ya eğitim gerektirmeyen yaklaşımları uygular, yalnızca daha düşük çözünürlüklerdeki (480p/720p) sessiz videolara odaklanır ya da katı ve tek tip blok şekillerini zorunlu kılar. İşitsel-görsel senkronizasyon kesinlikle kompakt ses üreten bölgelerde yoğunlaştığından, sabit blok şekilleri farklı belirteçleri birbirine karıştırır, ortalama havuzlanmış blok temsillerini bozar ve modlar arası etkileşim modellerine uyum sağlayamaz.

Temel fikirler

• Makro Bölge Bölütleme (Macro-Zone Partitioning): Uzay-zamansal belirteç hacmi, Triton uyumlu blok konfigürasyonlarına izin vermek için $Z_T\times Z_H\times Z_W=8\times 8\times 8$ boyutunda makro bölgelere ayrılır.
• Çift Rehberlikli Değişim Göstergesi (Dual-Guidance Variation Indicator): Her bölge, sesten videoya çapraz dikkat normlarının yanı sıra video kanal bazlı varyansı kullanarak yönsel içerik değişimini dinamik olarak ölçer.
• İçeriğe Uyarlanabilir 3B Blok Şekilleri: Bölgeler, toplam hacimleri $B\in \{64,128,256\}$ olan 16 şekilli bir aday kümesinden seçim yapar; hızlı değişim ve yoğun ses eşleşmesi olan eksenler boyunca ince bölütleme uygulanır.
• Hibrit Top-$k$ / Top-$p$ Seçimi: Blok düzeyinde seyrek dikkat, garantili bir temel bağlam sağlamak için Top-$k$ kullanır ve bu bağlam, dağılmış dikkat dağılımlarına sahip sorgular için Top-$p$ aracılığıyla uyarlanabilir biçimde genişletilir.

Yöntem

Prism, MOVA-720p modelinden başlatılan çift dallı bir Diffusion Transformer (DiT) üzerinde çalışır; çapraz dikkat ve ses özdikkatini değiştirmeden tam video özdikkatini dinamik seyrek dikkat ile değiştirir.

1. Değişim Göstergesi Formülasyonu

Her $m$ makro bölgesi için, $d\in \{T,H,W\}$ ekseni boyunca yönsel video değişim oranı, ortalama havuzlanmış değer özniteliklerinden (value features) ${\bar{\mathbf{V}}}_{m,i}^{(d)}$ türetilir: $${\sigma }_{v,d}^2(m)=\frac{1}{D}\sum _{c=1}^D\frac{1}{Z_d}\sum _{i=1}^{Z_d}{\left({\bar{V}}_{m,i,c}^{(d)}-{\mu }_{m,c}^{(d)}\right)}^2,r_{v,d}(m)=\frac{{\sigma }_{v,d}^2(m)}{{\sum }_{d^{\prime }}{\sigma }_{v,d^{\prime }}^2(m)}$$

Önceki katmandan önbelleğe alınan sesten videoya çapraz dikkat normlarından $a_{t,h,w}^m=\Vert {\hat{\mathbf{h}}}_{t,h,w}^m{\Vert }_2$, ses eşleşme gücü $\bar{a}(m)\in [0,1]$ ve normalleştirilmiş yönsel varyans ${\hat{v}}_{a,d}(m)$ hesaplanır. Bileşik değişim göstergesi şöyledir: $$g_d(m)=r_{v,d}(m)+\bar{a}(m)\cdot {\hat{v}}_{a,d}(m)+ϵ$$

2. Blok Hacmi ve Şekil Nicemleme

Toplam blok hacmi $B(m)\in \{64,128,256\}$, normalleştirilmiş uzay-zamansal bilgi yoğunluğu $\rho (m)$'nin ${\tau }_{128}=0.5$ ve ${\tau }_{256}=0.25$ eşiklerine göre değerlendirilmesiyle atanır. ${\prod }_d{b}_d=B(m)$ kısıtına tabi olarak blok içi bilgi kaybı ${\sum }_d{g}_d(b_d^2-1)$'nin minimize edilmesi, optimal sürekli kenar uzunluğunu $b_d^{\ast }\propto g_d^{-1/2}$ verir. ${\log }_2$ uzayında ($S={\log }_{2}B(m)$): $${\ell }_d^{\ast }=-\frac{1}{2}{\log }_2{g}_d+\frac{1}{3}\left(S+\frac{1}{2}{\log }_2{g}_T+\frac{1}{2}{\log }_2{g}_H+\frac{1}{2}{\log }_2{g}_W\right)$$ Blok şekli $s^{\ast }=(b_T,b_H,b_W)$, ${\ell }_d^{\ast }$'ye olan Öklid mesafesini en aza indirerek ${\mathcal{C}}_{B(m)}$ aday kümesinden seçilir.

3. Hibrit Top-$k$ / Top-$p$ Dikkati

Anahtar (key) blokları, temsilciler ${\bar{\mathbf{K}}}_j$ haline getirilmek üzere ortalama havuzlamaya tabi tutulur, blok olasılıklarını ${\mathbf{P}}_i$ elde etmek için sorgu blokları ${\mathbf{Q}}_i$ ile puanlanır. Dikkate alınan ${\mathcal{S}}_i$ kümesi, sabit ve kümülatif olasılık eşiklerini birleştirir: $${\mathcal{S}}_i=\text{Top-}k({\mathbf{P}}_i,k)\cup \text{Top-}p({\mathbf{P}}_i,p)$$ Çevrim içi bir softmax Triton çekirdeği, seyrek dikkati yalnızca ${\mathcal{S}}_i$ üzerinde yürütür.

Sonuçlar

• Kıyaslama Üstünlüğü: 2K-Bench (300 doğal 2K test videosu) üzerinde Prism; $0,61$ Estetik Kalite (AQ), $0,982$ Zamansal Titreme (TF), $0,63$ DeSync ve $0,89$ MotionQ değerlerine ulaşarak MOVA'yı (Tam Dikkat: $0,42$ AQ, $1,05$ DeSync, $0,53$ MotionQ) ve süper çözünürlüklü LTX-2.3'ü ($0,48$ AQ, $0,95$ DeSync, $0,66$ MotionQ) önemli ölçüde geride bırakır.
• Verimlilik Kazanımları: Eğitim hızı, 2K'da tam dikkate göre $2,5\times$ daha hızlıdır (adım başına $26,5\text{ dak.}$ yerine $10,6\text{ dak.}$). 4 GPU'lu çıkarımda Prism, MOVA'nın $1091\text{ sn}$ ve GPU başına $72,8\text{ GB}$ değerlerine kıyasla $38,0\text{ GB}$ VRAM kullanarak $331\text{ sn}$ içinde çalışır.
• Çözünürlük Ölçekleme: Prism, 480p'den 2K'ya ölçeklenirken tüm kalite ve modlar arası senkronizasyon metriklerinde monotonik iyileşmeler gösteren tek test edilmiş çerçevedir; buna karşılık tam dikkat ve sabit bloklu seyrek taban çizgileri arka plan belirteç doygunluğu nedeniyle 2K'da bozulur.
• Kullanıcı Çalışması: 30 adet 2K klip üzerinde gerçekleştirilen 200 katılımcılı 2AFC algısal çalışmasında Prism; metin hizalaması, ses kalitesi, görsel ayrıntı, hareket gerçekçiliği ve dudak senkronizasyonu genelinde tüm açık kaynaklı taban çizgilerine karşı $>\%87$ oranında tercih edilmiştir.

Kısıtlamalar ve açık sorular

• Sabit Zamansal Makro Bölgeler: Makro bölgeler $Z_T=8$ değerinde statik bir zamansal pencereye sahiptir. Bu pencere içindeki hızlı çekim kesintileri veya yakınlaştırma geçişleri, tek bir blok şeklinin temsil edemeyeceği ani öznitelik uyumsuzlukları doğurarak geçici bozulma kusurlarına yol açar.
• Çözünürlük ve Model Ölçekleme: Prism, 16B parametreli bir omurga üzerinde 2K çözünürlüğe kadar değerlendirilmiştir; doğal 4K'ya ölçekleme (bu belirteç sayılarını dört katına çıkarır) ve daha büyük 30B+ DiT mimarilerini keşfetme konusu henüz araştırılmamıştır.
• İşitsel-Görsel Bağımlılık Sırası: DiT bloğunda özdikkat, çapraz dikkatten önce geldiği için sesten videoya çapraz dikkat rehberliği, önceki katmandan önbelleğe alınan normlara dayanır ve bu da rehberlik sinyali yayılımında tek katmanlık bir gecikmeye yol açar.