Prism: Dynamic Sparse Attention for Native 2K Joint Video-Audio Generation Model Training

Shuyuan Tu; Qi Tian; Yinming Huang; Yue Wu; Xintong Han; Kaihang Pan; Weijie Kong; Jiangfeng Xiong; Jian-Wei Zhang; Zuxuan Wu; Yu-Gang Jiang

Prism: انتباه متفرق ديناميكي لتدريب نماذج التوليد المشترك للفيديو والصوت بدقة 2K أصلية

Shuyuan Tu, Qi Tian, Yinming Huang, Yue Wu, Xintong Han, Kaihang Pan, Weijie Kong, Jiangfeng Xiong, Jian-Wei Zhang, Zuxuan Wu, Yu-Gang Jiang

تاريخ النشر 2026-10-04cs.CV arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 يؤدي الانتباه الكامل بالدقة الأصلية 2K إلى تخفيف الانتباه عبر رموز خلفية زائدة ضخمة وتدمير المعارف السابقة للوسائط المتعددة المدربة مسبقاً، بينما يفشل الانتباه المتفرق ثابت الشكل في التقاط التزامن السمعي البصري الموضعي.
🔧 يجمع Prism الرموز المميزة في مناطق كبرى مكانية-زمانية ويختار ديناميكياً أشكال كتل ثلاثية الأبعاد بتوجيه مشترك من تباين ميزات الفيديو عبر القنوات ومعايير الانتباه التبادلي من الصوت إلى الفيديو، مقترناً باستراتيجية اختيار كتل هجينة Top-k/Top-p.
📈 يحقق تسريعاً في التدريب بمقدار 2.5× وتسريعاً في الاستدلال بمقدار 3× مقارنة بالانتباه الكامل، مع تقليل ذاكرة GPU أثناء الاستدلال بنسبة 47% والتفوق على الأساليب مفتوحة المصدر السابقة عبر مقاييس الفيديو والصوت والتزامن.

الملخص

يُمكّن التدريب الأصلي لنماذج التوليد المشترك للفيديو والصوت بدقات أعلى من تعلّم تفاصيل بصرية أكثر ثراءً وديناميكيات حركة أكثر دقة. ومع ذلك، يفرض الانتباه الكامل تكلفة تربيعية، ومع زيادة الدقة، يُوزّع الانتباه على رموز مميزة (tokens) زائدة عن الحاجة على نحو متزايد، مما يُضعف إشارات التعلّم للمحتوى الغني بالمعلومات ويُخل بالمعارف السابقة المسبقة التدريب. تستهدف أساليب الانتباه المتفرق الحالية إما التسريع الخالي من التدريب أو تتجاهل البنية الفريدة للبيانات المشتركة للفيديو والصوت، حيث تتركز التفاعلات بين الوسائط بطبيعتها حول المناطق المصدرة للصوت. لمعالجة هذا، نقترح Prism، وهو إطار عمل للانتباه المتفرق الديناميكي لتدريب نماذج التوليد المشترك للفيديو والصوت بدقة 2K أصلية. على وجه الخصوص، ينظم Prism تسلسل الرموز المميزة في مناطق مكانية-زمانية كبرى (macro-zones)، مما يتيح لبنية الانتباه التكيف مع المحتوى المحلي. ولكل منطقة، يقدّر بنية المعلومات المحلية عبر تباين ميزات الفيديو على طول القناة ومعايير الميزات من الانتباه التبادلي من الصوت إلى الفيديو، مما يلتقط بالاشتراك كيفية تغير المحتوى البصري اتجاهياً ومدى قوة تأثير الصوت على كل منطقة بصرية. استناداً إلى هذه الإشارات، يخصص Prism ديناميكياً شكل كتلة مخصصاً لكل منطقة، مطبقاً تقسيماً أدق على طول محاور التغير البصري السريع والاقتران السمعي البصري القوي. يشجع هذا الرموز داخل كل كتلة على البقاء متماسكة دلالياً، مما يسمح لميزات مستوى الكتلة بالتقاط كل من المحتوى البصري وأنماط التفاعل المشترك للفيديو والصوت. علاوة على ذلك، يتبنى Prism استراتيجية هجينة لاختيار الكتل لتحديد التفرق ديناميكياً لكل استعلام. تُظهر التجارب أن Prism يحقق تسريعاً في التدريب بمقدار 2.5 $\times$ مقارنة بالانتباه الكامل، مع تجاوزه في جودة التوليد.

الملخص الأصلي (بالإنجليزية)

Natively training joint video-audio generation models at higher resolutions empowers them to learn richer visual details and sharper motion dynamics. However, full attention incurs quadratic cost and, as resolution increases, spreads attention over increasingly redundant tokens, diluting learning signals for informative content and disrupting pretrained priors. Existing sparse attention methods either target training-free acceleration or overlook the unique structure of joint video-audio data, where cross-modal interactions are inherently concentrated around sound-producing regions. To address this, we propose Prism, a dynamic sparse attention framework for natively training joint video-audio generation models at 2K. In particular, Prism organizes the token sequence into spatiotemporal macro-zones, enabling the attention structure to adapt to local content. For each zone, it estimates local information structure via video feature variance along the channel and feature norms from the audio-to-video cross-attention, jointly capturing how visual content varies directionally and how strongly audio influences each visual region. Based on these signals, Prism dynamically assigns a tailored block shape to each zone, applying finer partitioning along axes of rapid visual content variation and strong audio-visual coupling. This encourages tokens within each block to remain semantically coherent, allowing block-level features to capture both visual content and joint video-audio interaction patterns. Prism further adopts a hybrid block selection strategy to dynamically determine per-query sparsity. Experiments show that Prism achieves 2.5 $\times$ training speedup compared to full attention, while surpassing it in generation quality.

دليل القراءة

المشكلة والدافع

يتيح تدريب نماذج انتشار الفيديو والصوت المشتركة بصورة أصلية عند دقة 2K تركيب تفاصيل مكانية غنية، وديناميكيات حركة حادة، وصوت متزامن. ومع ذلك، بعد ضغط VAE، ينتج مقطع بدقة 2K مئات الآلاف إلى أكثر من مليون رمز مميز (token). يعاني الانتباه الكامل القياسي من مشكلتين قاتلتين:

تعقيد تربيعي: تجعل البصمة الحسابية وبصمة الذاكرة التدريب مكلفاً للغاية.
تخفيف وزن الانتباه: تهيمن رموز الخلفية المتكررة الهائلة على تسلسل الرموز، مما يخفف ميزانية الانتباه المخصصة للمحتوى الموضعي الغني بالمعلومات (مثل الوجوه المتحركة والأيدي والأجسام المصدرة للصوت) ويُفسد المعارف السابقة للوسائط المتعددة المدربة مسبقاً.

تطبق أساليب الانتباه المتفرق السابقة إما تقريبات خالية من التدريب، أو تركز فقط على الفيديو الصامت بدقات أقل (480p/720p)، أو تفرض أشكال كتل صلبة وموحدة. ونظراً لأن التزامن السمعي البصري يتركز بدقة في مناطق مدمجة مصدرة للصوت، فإن أشكال الكتل الثابتة تخلط رموزاً متباينة معاً، وتفسد تمثيلات الكتل المجمعة عبر المتوسط (mean-pooled)، وتفشل في التكيف مع أنماط التفاعل عبر الوسائط.

الأفكار الرئيسية

تقسيم المناطق الكبرى (Macro-Zone Partitioning): يتم تقسيم حجم الرموز المكانية-الزمانية إلى مناطق كبرى بحجم $Z_{T} \times Z_{H} \times Z_{W} = 8 \times 8 \times 8$ للسماح بتهيئة كتل متوافقة مع Triton.
مؤشر التباين ثنائي التوجيه: تقيس كل منطقة ديناميكياً التغير الاتجاهي للمحتوى باستخدام تباين قنوات الفيديو جنباً إلى جنب مع معايير الانتباه التبادلي من الصوت إلى الفيديو.
أشكال كتل ثلاثية الأبعاد متكيفة مع المحتوى: تختار المناطق من مجموعة مرشحة مكونة من 16 شكلاً بأحجام إجمالية $B \in {64, 128, 256}$ ، مع التقسيم بدقة على طول محاور التغير السريع والاقتران الصوتي الشديد.
اختيار هجين Top- $k$ / Top- $p$ : يستخدم الانتباه المتفرق على مستوى الكتل استراتيجية Top- $k$ لضمان سياق أساسي مضمون، يتوسع تكيفياً عبر Top- $p$ للاستعلامات ذات توزيعات الانتباه المشتتة.

الطريقة

يعمل Prism على Diffusion Transformer (DiT) ثنائي الفرع تمت تهيئته من MOVA-720p، مستبدلاً الانتباه الذاتي الكامل للفيديو بانتباه متفرق ديناميكي مع الحفاظ على الانتباه التبادلي والانتباه الذاتي للصوت دون تعديل.

1. صياغة مؤشر التباين

لكل منطقة كبرى $m$ ، تُشتق نسبة التباين الاتجاهي للفيديو على طول المحور $d \in {T, H, W}$ من ميزات القيمة المجمعة بالمتوسط $\overset{ˉ}{V}_{m, i}^{(d)}$ : $σ_{v, d}^{2} (m) = \frac{1}{D} c = 1 \sum D \frac{1}{Z _{d}} i = 1 \sum Z_{d} (\overset{ˉ}{V}_{m, i, c}^{(d)} - μ_{m, c}^{(d)})^{2}, r_{v, d} (m) = \frac{σ _{v, d}^{2} ( m )}{\sum _{d^{'}} σ _{v, d^{'}}^{2} ( m )}$

من معايير الانتباه التبادلي من الصوت إلى الفيديو $a_{t, h, w}^{m} = ∥ \hat{h}_{t, h, w}^{m} ∥_{2}$ المخزنة مؤقتاً من الطبقة السابقة، يتم حساب قوة الاقتران الصوتي $\overset{a}{ˉ} (m) \in [0, 1]$ والتباين الاتجاهي المعياري $\overset{v}{^}_{a, d} (m)$ . مؤشر التباين المركب هو: $g_{d} (m) = r_{v, d} (m) + \overset{a}{ˉ} (m) \cdot \overset{v}{^}_{a, d} (m) + ϵ$

2. حجم الكتلة وتكميم الشكل

يُحدد إجمالي حجم الكتلة $B (m) \in {64, 128, 256}$ عن طريق تقييم كثافة المعلومات المكانية-الزمانية المعيارية $ρ (m)$ مقابل العتبتين $τ_{128} = 0.5$ و $τ_{256} = 0.25$ . يؤدي تقليل فقدان المعلومات داخل الكتلة $\sum_{d} g_{d} (b_{d}^{2} - 1)$ الخاضع للقيد $\prod_{d} b_{d} = B (m)$ إلى طول الحافة المستمر الأمثل $b_{d}^{*} \propto g_{d}^{- 1/2}$ . في فضاء $lo g_{2}$ ( $S = lo g_{2} B (m)$ ): $ℓ_{d}^{*} = - \frac{1}{2} lo g_{2} g_{d} + \frac{1}{3} (S + \frac{1}{2} lo g_{2} g_{T} + \frac{1}{2} lo g_{2} g_{H} + \frac{1}{2} lo g_{2} g_{W})$ يتم اختيار شكل الكتلة $s^{*} = (b_{T}, b_{H}, b_{W})$ من المجموعة المرشحة $C_{B (m)}$ عبر تقليل المسافة الإقليدية إلى $ℓ_{d}^{*}$ .

3. انتباه هجين Top- $k$ / Top- $p$

يتم تجميع كتل المفاتيح بالمتوسط في ممثلين $\overset{ˉ}{K}_{j}$ ، وتُقيّم مقابل كتل الاستعلام $Q_{i}$ لإنتاج احتمالات الكتل $P_{i}$ . تجمع المجموعة التي يُلتفت إليها $S_{i}$ بين عتبات الاحتمال الثابتة والتراكمية: $S_{i} = Top- k (P_{i}, k) \cup Top- p (P_{i}, p)$ تنفذ نواة Triton لـ softmax المتصل بالإنترنت الانتباه المتفرق حصرياً عبر $S_{i}$ .

النتائج

التفوق في الاختبارات القياسية: في 2K-Bench (300 مقطع فيديو اختباري أصلي بدقة 2K)، يحقق Prism ما قيمته $0.61$ في الجودة الجمالية (AQ)، و $0.982$ في الوميض الزمني (TF)، و $0.63$ في عدم التزامن (DeSync)، و $0.89$ في MotionQ، متفوقاً بشكل جوهري على MOVA (الانتباه الكامل: $0.42$ AQ، و $1.05$ DeSync، و $0.53$ MotionQ) و LTX-2.3 مع الدقة الفائقة ( $0.48$ AQ، و $0.95$ DeSync، و $0.66$ MotionQ).
مكاسب الكفاءة: سرعة التدريب أسرع بمقدار $2.5 \times$ من الانتباه الكامل بدقة 2K ( $10.6 دقيقة$ مقابل $26.5 دقيقة$ لكل خطوة). في الاستدلال على 4 وحدات GPU، يعمل Prism في $331 ثانية$ باستخدام $38.0 جيجابايت$ من VRAM لكل GPU، مقارنة بـ $1091 ثانية$ و $72.8 جيجابايت$ لـ MOVA.
التحجيم مع الدقة: Prism هو إطار العمل الوحيد المختبر الذي يُظهر تحسينات مطردة عبر جميع مقاييس الجودة والتزامن متعدد الوسائط عند التحجيم من 480p إلى 2K، بينما يتدهور الانتباه الكامل والأساليب الأساسية المتفرقة ذات الكتل الثابتة عند 2K بسبب تشبع رموز الخلفية.
دراسة المستخدمين: في دراسة إدراكية 2AFC بمشاركة 200 شخص عبر 30 مقطعاً بدقة 2K، حقق Prism نسبة تفضيل بلغت $> 87%$ مقارنة بجميع خطوط الأساس مفتوحة المصدر عبر محاذاة النص، وجودة الصوت، والتفاصيل البصرية، وواقعية الحركة، وتزامن حركة الشفاه.

القيود والأسئلة المفتوحة

المناطق الكبرى الزمنية الثابتة: تمتلك المناطق الكبرى نافذة زمنية ثابتة تبلغ $Z_{T} = 8$ . تؤدي التبديلات السريعة للمشاهد أو انتقالات التقريب (zoom) داخل هذه النافذة إلى تباينات مفاجئة في الميزات لا يمكن لشكل كتلة واحد تمثيلها، مما يسبب تشوهات بصرية عابرة.
تحجيم الدقة والنموذج: تم تقييم Prism حتى دقة 2K على عمود فقري يحتوي على 16B معامل؛ ويبقى التحجيم إلى 4K الأصلية (التي تضاعف عدد الرموز أربع مرات) واستكشاف معماريات DiT أكبر بأكثر من 30B معامل أمراً غير مستكشف.
ترتيب الاعتمادية السمعية البصرية: نظراً لأن الانتباه الذاتي يسبق الانتباه التبادلي في كتلة DiT، يعتمد توجيه الانتباه التبادلي للصوت على المعايير المخزنة مؤقتاً من الطبقة السابقة، مما يُحدث تأخيراً بمقدار طبقة واحدة في انتشار إشارة التوجيه.

المصطلحات الرئيسية

Dynamic Sparse Attention: إطار عمل للانتباه حيث يتم الالتفات إلى كتل رموز المفاتيح والقيم انتقائياً لكل استعلام استناداً إلى درجات صلة محسوبة ديناميكياً وأشكال كتل متكيفة مع المحتوى.
Spatiotemporal Macro-Zones: تقسيمات غير متداخلة لرموز شبكة الفيديو الكامنة بحجم $8 \times 8 \times 8$ تُستخدم لحساب كثافة المعلومات محلياً وتعيين أشكال كتل ثلاثية الأبعاد موحدة.
Video Channel-Wise Variance Guidance: إحصائية اتجاهية تُحسب عبر أبعاد القنوات لميزات القيمة وتلتقط مدى سرعة تغير المحتوى البصري على طول محاور الزمن والارتفاع والعرض.
Audio-to-Video Cross-Attention Norm Guidance: مقياس توجيهي مشتق من معيار $L_{2}$ لميزات الفيديو المعدلة بالصوت، والذي يحدد كمياً شدة التأثير الصوتي وتباينه الاتجاهي عبر مناطق الفيديو.
Attention Weight Dilution: حالة فشل في التسلسلات فائقة الطول وعالية الدقة حيث تحتكر أعداد هائلة من رموز الخلفية الزائدة أوزان softmax للانتباه مجتمعة، مما يؤدي إلى ضعف الالتفات للمناطق الغنية بالمعلومات.
Hybrid Top-k / Top-p Selection: آلية لاختيار الكتل تجمع بين عتبة Top- $k$ ثابتة لسياق أدنى مضمون وعتبة Top- $p$ تراكمية تكيفية للاستعلامات ذات الانتباه المشتت.
2K-Bench: معيار تقييم جديد تم تقديمه يضم 300 مقطع فيديو وصوت أصلي بدقة 2K مدتها 10 ثوانٍ لم يسبق رؤيتها، وتتضمن حركات معقدة وتفاصيل بصرية عالية التردد وتفاعلات صوتية متنوعة.
MotionQ: مقياس تقييم آلي يستخدم Gemini-3.1 لتقييم ديناميكيات حركة الفيديو واتساقها وجودة التفاعل المكاني.

أسئلة شائعة

لماذا يتم تطبيق الانتباه المتفرق على الانتباه الذاتي للفيديو فقط؟

يمثل الانتباه الذاتي للفيديو الغالبية العظمى من التكلفة الحسابية عند دقة 2K (أكثر من 870 ألف رمز لمقطع مدته 10 ثوانٍ). تعمل وحدات الانتباه بين الوسائط والانتباه الذاتي للصوت على تسلسلات رموز أقصر بكثير (عادة ما يكون الصوت أقل من 1000 رمز)، مما يجعل العبء الحسابي الناتج عنها ضئيلاً والتقريب المتفرق غير ضروري.

كيف تؤثر المعلومات الصوتية على شكل كتل الانتباه البصري؟

يتم قياس معيار $L_{2}$ للحالات المخفية للانتباه التبادلي من الصوت إلى الفيديو لكل منطقة كبرى. في المناطق المصدرة للصوت ذات الاقتران الصوتي العالي، يوجه ممر الاقتران الصوتي تقسيم الكتل لتخصيص حواف أقصر (دقة أدق) على طول المحاور ذات التباين الصوتي العالي، مثل التغيرات الزمنية حول الشفاه المتحركة.

لماذا يختار Prism أشكال الكتل على مستوى المنطقة الكبرى بدلاً من مستوى الرمز؟

تتسبب أشكال الكتل المتغيرة لكل رمز في تجميع غير منتظم وتتطلب حشواً كبيراً للذاكرة، مما يعطل الوصول المندمج إلى الذاكرة في أنوية GPU المخصصة لـ Triton. تضمن المناطق الكبرى ذات الحجم $8 \times 8 \times 8$ بقاء أحجام الكتل مضاعفات للعدد 64 رمزاً، مما يتيح تجزئة حوسبة متوافقة مع العتاد.

كيف يتجنب Prism انتشار الخطأ بالنظر إلى أن اختيار الكتل غير قابل للتفاضل؟

اتباعاً لممارسات الانتباه المتفرق القائم على الكتل والقابل للتدريب القياسية، تُعامل الإحصائيات التي تدفع اختيار شكل الكتلة (الكثافة $ρ$ ، ومؤشر التباين $g_{m}$ ، وصلة الكتلة $P_{i}$ ) كثوابت منفصلة أثناء التمرير العكسي. تتدفق التدرجات حصرياً من خلال حساب الانتباه المتفرق عبر كتل المفاتيح والقيم المختارة.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.