Prism: Dynamic Sparse Attention for Native 2K Joint Video-Audio Generation Model Training

Shuyuan Tu; Qi Tian; Yinming Huang; Yue Wu; Xintong Han; Kaihang Pan; Weijie Kong; Jiangfeng Xiong; Jian-Wei Zhang; Zuxuan Wu; Yu-Gang Jiang

Prism: नेटिव 2K जॉइंट वीडियो-ऑडियो जेनरेशन मॉडल ट्रेनिंग के लिए डायनामिक स्पार्स अटेंशन

Shuyuan Tu, Qi Tian, Yinming Huang, Yue Wu, Xintong Han, Kaihang Pan, Weijie Kong, Jiangfeng Xiong, Jian-Wei Zhang, Zuxuan Wu, Yu-Gang Jiang

प्रकाशित 2026-10-04cs.CV arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 नेटिव 2K रिज़ॉल्यूशन पर फुल अटेंशन विशाल रिडंडेंट बैकग्राउंड टोकन पर अटेंशन को कमजोर कर देता है और प्री-ट्रेन्ड क्रॉस-मॉडल ऑडियो-विजुअल प्रायर्स को नष्ट कर देता है, जबकि फिक्स्ड-शेप स्पार्स अटेंशन स्थानीयकृत ऑडियो-विजुअल सिंक्रोनाइज़ेशन को कैप्चर करने में विफल रहता है।
🔧 Prism टोकनों को स्पैशियोटेंपोरल मैक्रो-ज़ोन में समूहित करता है और चैनल-वाइज़ वीडियो फीचर वेरियंस और ऑडियो-टू-वीडियो क्रॉस-अटेंशन नॉर्म्स द्वारा संयुक्त रूप से निर्देशित 3D ब्लॉक आकृतियों का गतिशील रूप से चयन करता है, जिसे हाइब्रिड Top-k/Top-p ब्लॉक चयन रणनीति के साथ जोड़ा गया है।
📈 फुल अटेंशन की तुलना में 2.5× ट्रेनिंग स्पीडअप और 3× इन्फरेंस स्पीडअप प्राप्त करता है, इन्फरेंस GPU मेमोरी को 47% कम करता है और वीडियो, ऑडियो और सिंक्रोनाइज़ेशन मेट्रिक्स में पूर्व ओपन-सोर्स विधियों से बेहतर प्रदर्शन करता है।

सार

उच्च रिज़ॉल्यूशन पर जॉइंट वीडियो-ऑडियो जेनरेशन मॉडल को नेटिव रूप से प्रशिक्षित करने से वे समृद्ध विजुअल विवरण और अधिक स्पष्ट मोशन डायनामिक्स सीखने में सक्षम होते हैं। हालांकि, फुल अटेंशन में द्विघाती (क्वाड्रेटिक) लागत आती है और, जैसे-जैसे रिज़ॉल्यूशन बढ़ता है, अटेंशन अत्यधिक रिडंडेंट टोकन पर फैल जाता है, जिससे जानकारीपूर्ण कंटेंट के लिए लर्निंग सिग्नल्स कमजोर हो जाते हैं और प्री-ट्रेन्ड प्रायर बाधित होते हैं। मौजूदा स्पार्स अटेंशन विधियां या तो ट्रेनिंग-फ्री एक्सेलेरेशन को लक्षित करती हैं या जॉइंट वीडियो-ऑडियो डेटा की अनूठी संरचना की अनदेखी करती हैं, जहां क्रॉस-मॉडल इंटरैक्शन स्वाभाविक रूप से ध्वनि उत्पन्न करने वाले क्षेत्रों के आसपास केंद्रित होते हैं। इसे संबोधित करने के लिए, हम 2K पर जॉइंट वीडियो-ऑडियो जेनरेशन मॉडल को नेटिव रूप से प्रशिक्षित करने के लिए एक डायनामिक स्पार्स अटेंशन फ्रेमवर्क Prism का प्रस्ताव करते हैं। विशेष रूप से, Prism टोकन अनुक्रम को स्पैशियोटेंपोरल मैक्रो-ज़ोन में व्यवस्थित करता है, जिससे अटेंशन संरचना स्थानीय कंटेंट के अनुकूल हो जाती है। प्रत्येक ज़ोन के लिए, यह चैनल के साथ वीडियो फीचर वेरियंस और ऑडियो-टू-वीडियो क्रॉस-अटेंशन से फीचर नॉर्म्स के माध्यम से स्थानीय सूचना संरचना का अनुमान लगाता है, जो संयुक्त रूप से यह कैप्चर करता है कि विजुअल कंटेंट दिशात्मक रूप से कैसे बदलता है और ऑडियो प्रत्येक विजुअल क्षेत्र को कितनी दृढ़ता से प्रभावित करता है। इन सिग्नलों के आधार पर, Prism गतिशील रूप से प्रत्येक ज़ोन को एक अनुकूलित ब्लॉक आकार प्रदान करता है, जो तीव्र विजुअल कंटेंट भिन्नता और मजबूत ऑडियो-विजुअल कपलिंग के अक्षों के साथ महीन विभाजन लागू करता है। यह प्रत्येक ब्लॉक के भीतर टोकन को सिमेंटिक रूप से सुसंगत रहने के लिए प्रोत्साहित करता है, जिससे ब्लॉक-स्तरीय फीचर्स विजुअल कंटेंट और जॉइंट वीडियो-ऑडियो इंटरैक्शन पैटर्न दोनों को कैप्चर करने में सक्षम होते हैं। Prism प्रत्येक क्वेरी के लिए स्पार्सिटी को गतिशील रूप से निर्धारित करने के लिए एक हाइब्रिड ब्लॉक चयन रणनीति भी अपनाता है। प्रयोगों से पता चलता है कि Prism फुल अटेंशन की तुलना में 2.5 $\times$ ट्रेनिंग स्पीडअप प्राप्त करता है, जबकि जेनरेशन क्वालिटी में उससे बेहतर प्रदर्शन करता है।

मूल सार (अंग्रेज़ी)

Natively training joint video-audio generation models at higher resolutions empowers them to learn richer visual details and sharper motion dynamics. However, full attention incurs quadratic cost and, as resolution increases, spreads attention over increasingly redundant tokens, diluting learning signals for informative content and disrupting pretrained priors. Existing sparse attention methods either target training-free acceleration or overlook the unique structure of joint video-audio data, where cross-modal interactions are inherently concentrated around sound-producing regions. To address this, we propose Prism, a dynamic sparse attention framework for natively training joint video-audio generation models at 2K. In particular, Prism organizes the token sequence into spatiotemporal macro-zones, enabling the attention structure to adapt to local content. For each zone, it estimates local information structure via video feature variance along the channel and feature norms from the audio-to-video cross-attention, jointly capturing how visual content varies directionally and how strongly audio influences each visual region. Based on these signals, Prism dynamically assigns a tailored block shape to each zone, applying finer partitioning along axes of rapid visual content variation and strong audio-visual coupling. This encourages tokens within each block to remain semantically coherent, allowing block-level features to capture both visual content and joint video-audio interaction patterns. Prism further adopts a hybrid block selection strategy to dynamically determine per-query sparsity. Experiments show that Prism achieves 2.5 $\times$ training speedup compared to full attention, while surpassing it in generation quality.

पढ़ने की गाइड

समस्या और प्रेरणा

2K रिज़ॉल्यूशन पर जॉइंट वीडियो-ऑडियो डिफ्यूजन मॉडल को नेटिव रूप से प्रशिक्षित करने से समृद्ध स्थानिक विवरण, स्पष्ट मोशन डायनामिक्स और सिंक्रोनाइज़्ड ध्वनि का संश्लेषण संभव होता है। हालाँकि, VAE कम्प्रेशन के बाद, 2K क्लिप से सैकड़ों हजारों से लेकर दस लाख से अधिक टोकन उत्पन्न होते हैं। मानक फुल अटेंशन दो घातक समस्याओं से ग्रस्त है:

द्विघाती जटिलता (Quadratic complexity): कम्प्यूटेशनल और मेमोरी आवश्यकताएं ट्रेनिंग को अत्यधिक महंगा बना देती हैं।
अटेंशन वेट का कमजोर होना (Attention weight dilution): अत्यधिक संख्या में बार-बार आने वाले बैकग्राउंड टोकन पूरे टोकन अनुक्रम पर हावी हो जाते हैं, जिससे जानकारीपूर्ण, स्थानीयकृत कंटेंट (जैसे गतिशील चेहरे, हाथ और ध्वनि उत्पन्न करने वाली वस्तुएं) को मिलने वाला अटेंशन बजट कम हो जाता है और प्री-ट्रेन्ड मल्टीमॉडल प्रायर्स बाधित होते हैं।

पूर्व स्पार्स अटेंशन दृष्टिकोण या तो ट्रेनिंग-फ्री अनुमान लागू करते हैं, कम रिज़ॉल्यूशन (480p/720p) पर केवल मूक वीडियो पर ध्यान केंद्रित करते हैं, या कठोर, एकसमान ब्लॉक आकृतियों को लागू करते हैं। चूंकि ऑडियो-विजुअल सिंक्रोनाइज़ेशन सख्ती से कॉम्पैक्ट ध्वनि-उत्पादक क्षेत्रों में केंद्रित होता है, इसलिए निश्चित ब्लॉक आकृतियाँ अलग-अलग टोकनों को एक साथ मिला देती हैं, मीन-पूल किए गए ब्लॉक अभ्यावेदन को दूषित करती हैं, और क्रॉस-मॉडल इंटरैक्शन पैटर्न के अनुकूल होने में विफल रहती हैं।

मुख्य विचार

मैक्रो-ज़ोन विभाजन (Macro-Zone Partitioning): Triton-अलाइन्ड ब्लॉक कॉन्फ़िगरेशन की अनुमति देने के लिए स्पैशियोटेंपोरल टोकन वॉल्यूम को $Z_{T} \times Z_{H} \times Z_{W} = 8 \times 8 \times 8$ आकार के मैक्रो-ज़ोन में विभाजित किया गया है।
दोहरे-मार्गदर्शन भिन्नता संकेतक (Dual-Guidance Variation Indicator): प्रत्येक ज़ोन गतिशील रूप से ऑडियो-टू-वीडियो क्रॉस-अटेंशन नॉर्म्स के साथ-साथ वीडियो चैनल-वाइज़ वेरियंस का उपयोग करके दिशात्मक कंटेंट भिन्नता को मापता है।
कंटेंट-अनुकूली 3D ब्लॉक आकार (Content-Adaptive 3D Block Shapes): ज़ोन कुल वॉल्यूम $B \in {64, 128, 256}$ के साथ 16-आकार के उम्मीदवार सेट में से चुनते हैं, जो तेजी से बदलाव और तीव्र ऑडियो कपलिंग के अक्षों के साथ बारीक विभाजन करते हैं।
हाइब्रिड Top- $k$ / Top- $p$ चयन (Hybrid Top- $k$ / Top- $p$ Selection): ब्लॉक-स्तरीय स्पार्स अटेंशन एक गारंटीकृत बेसलाइन संदर्भ सुनिश्चित करने के लिए Top- $k$ का उपयोग करता है, जिसे बिखरे हुए अटेंशन वितरण वाली क्वेरीज़ के लिए Top- $p$ के माध्यम से अनुकूलित रूप से विस्तारित किया जाता है।

विधि

Prism MOVA-720p से इनिशियलाइज़ किए गए एक डुअल-ब्रांच Diffusion Transformer (DiT) पर काम करता है, जो क्रॉस-अटेंशन और ऑडियो सेल्फ-अटेंशन को अपरिवर्तित रखते हुए फुल वीडियो सेल्फ-अटेंशन को डायनामिक स्पार्स अटेंशन से बदल देता है।

1. वेरिएशन इंडिकेटर फॉर्मूलेशन

प्रत्येक मैक्रो-ज़ोन $m$ के लिए, अक्ष $d \in {T, H, W}$ के साथ दिशात्मक वीडियो वेरिएशन अनुपात मीन-पूल किए गए वैल्यू फीचर्स $\overset{ˉ}{V}_{m, i}^{(d)}$ से प्राप्त किया जाता है: $σ_{v, d}^{2} (m) = \frac{1}{D} c = 1 \sum D \frac{1}{Z _{d}} i = 1 \sum Z_{d} (\overset{ˉ}{V}_{m, i, c}^{(d)} - μ_{m, c}^{(d)})^{2}, r_{v, d} (m) = \frac{σ _{v, d}^{2} ( m )}{\sum _{d^{'}} σ _{v, d^{'}}^{2} ( m )}$

पिछली लेयर से कैश्ड ऑडियो-टू-वीडियो क्रॉस-अटेंशन नॉर्म्स $a_{t, h, w}^{m} = ∥ \hat{h}_{t, h, w}^{m} ∥_{2}$ से, ऑडियो कपलिंग शक्ति $\overset{a}{ˉ} (m) \in [0, 1]$ और सामान्यीकृत दिशात्मक वेरियंस $\overset{v}{^}_{a, d} (m)$ की गणना की जाती है। समग्र वेरिएशन इंडिकेटर है: $g_{d} (m) = r_{v, d} (m) + \overset{a}{ˉ} (m) \cdot \overset{v}{^}_{a, d} (m) + ϵ$

2. ब्लॉक वॉल्यूम और शेप क्वांटाइजेशन

थ्रेशोल्ड $τ_{128} = 0.5$ और $τ_{256} = 0.25$ के विरुद्ध सामान्यीकृत स्पैशियोटेंपोरल सूचना घनत्व $ρ (m)$ का मूल्यांकन करके कुल ब्लॉक वॉल्यूम $B (m) \in {64, 128, 256}$ असाइन किया जाता है। $\prod_{d} b_{d} = B (m)$ के अधीन इंट्रा-ब्लॉक सूचना हानि $\sum_{d} g_{d} (b_{d}^{2} - 1)$ को न्यूनतम करने से इष्टतम निरंतर कोर लंबाई $b_{d}^{*} \propto g_{d}^{- 1/2}$ प्राप्त होती है। $lo g_{2}$ स्पेस ( $S = lo g_{2} B (m)$ ) में: $ℓ_{d}^{*} = - \frac{1}{2} lo g_{2} g_{d} + \frac{1}{3} (S + \frac{1}{2} lo g_{2} g_{T} + \frac{1}{2} lo g_{2} g_{H} + \frac{1}{2} lo g_{2} g_{W})$ ब्लॉक आकार $s^{*} = (b_{T}, b_{H}, b_{W})$ को उम्मीदवार सेट $C_{B (m)}$ से $ℓ_{d}^{*}$ की यूक्लिडियन दूरी को न्यूनतम करके चुना जाता है।

3. हाइब्रिड Top- $k$ / Top- $p$ अटेंशन

की (Key) ब्लॉक्स को प्रतिनिधियों $\overset{ˉ}{K}_{j}$ में मीन-पूल किया जाता है, जिन्हें ब्लॉक प्रायिकता $P_{i}$ प्राप्त करने के लिए क्वेरी ब्लॉक $Q_{i}$ के साथ स्कोर किया जाता है। अटेंडेड सेट $S_{i}$ निश्चित और संचयी प्रायिकता थ्रेशोल्ड को जोड़ता है: $S_{i} = Top- k (P_{i}, k) \cup Top- p (P_{i}, p)$ एक ऑनलाइन सॉफ्टमैक्स Triton कर्नेल पूरी तरह से $S_{i}$ पर स्पार्स अटेंशन निष्पादित करता है।

परिणाम

बेंचमार्क श्रेष्ठता: 2K-Bench (300 नेटिव 2K परीक्षण वीडियो) पर, Prism $0.61$ एस्थेटिक क्वालिटी (AQ), $0.982$ टेम्पोरल फ्लिकरिंग (TF), $0.63$ DeSync, और $0.89$ MotionQ प्राप्त करता है, जो काफी हद तक MOVA (Full Attn: $0.42$ AQ, $1.05$ DeSync, $0.53$ MotionQ) और सुपर-रिज़ॉल्यूशन के साथ LTX-2.3 ( $0.48$ AQ, $0.95$ DeSync, $0.66$ MotionQ) को पीछे छोड़ देता है।
दक्षता लाभ: 2K पर ट्रेनिंग की गति फुल अटेंशन की तुलना में $2.5 \times$ तेज है ( $10.6 मिनट$ बनाम $26.5 मिनट$ प्रति स्टेप)। 4-GPU इन्फरेंस में, Prism प्रति GPU $38.0 GB$ VRAM का उपयोग करके $331 सेकंड$ में चलता है, जबकि MOVA के लिए यह $1091 सेकंड$ और $72.8 GB$ है।
रिज़ॉल्यूशन स्केलिंग: 480p से 2K तक स्केल करने पर Prism एकमात्र ऐसा परीक्षित फ्रेमवर्क है जो सभी गुणवत्ता और क्रॉस-मॉडल सिंक मेट्रिक्स में निरंतर सुधार दिखाता है, जबकि बैकग्राउंड टोकन संतृप्ति के कारण फुल अटेंशन और फिक्स्ड-ब्लॉक स्पार्स बेसलाइन 2K पर खराब प्रदर्शन करते हैं।
उपयोगकर्ता अध्ययन: 30 2K क्लिप्स पर 200 प्रतिभागियों के 2AFC अवधारणात्मक अध्ययन में, Prism ने टेक्स्ट अलाइनमेंट, ऑडियो गुणवत्ता, विजुअल विवरण, मोशन रियलिज्म और लिप सिंक्रोनाइज़ेशन में सभी ओपन-सोर्स बेसलाइनों की तुलना में $> 87%$ प्राथमिकता हासिल की।

सीमाएं और खुले प्रश्न

निश्चित टेम्पोरल मैक्रो-ज़ोन: मैक्रो-ज़ोन में $Z_{T} = 8$ की एक स्थिर टेम्पोरल विंडो होती है। इस विंडो के भीतर तेजी से होने वाले शॉट कट्स या ज़ूम ट्रांज़िशन अचानक फीचर असमानताएँ लाते हैं जिन्हें एक ब्लॉक आकार द्वारा प्रदर्शित नहीं किया जा सकता, जिससे क्षणिक विरूपण कलाकृतियाँ (distortion artifacts) उत्पन्न होती हैं।
रिज़ॉल्यूशन और मॉडल स्केलिंग: Prism का मूल्यांकन 16B पैरामीटर बैकबोन पर 2K रिज़ॉल्यूशन तक किया गया है; नेटिव 4K (जो टोकन संख्या को चार गुना कर देता है) तक स्केलिंग और बड़े 30B+ DiT आर्किटेक्चर का अन्वेषण अभी बाकी है।
ऑडियो-विजुअल निर्भरता क्रम: चूँकि DiT ब्लॉक में सेल्फ-अटेंशन क्रॉस-अटेंशन से पहले आता है, इसलिए ऑडियो क्रॉस-अटेंशन मार्गदर्शन पिछली लेयर से कैश्ड नॉर्म्स पर निर्भर करता है, जिससे मार्गदर्शन सिग्नल प्रसार में एक-लेयर का विलंब होता है।

मुख्य शब्द

Dynamic Sparse Attention: एक अटेंशन फ्रेमवर्क जहां गतिशील रूप से गणना किए गए प्रासंगिकता स्कोर और कंटेंट-अनुकूली ब्लॉक आकृतियों के आधार पर प्रति क्वेरी की-वैल्यू टोकन ब्लॉक्स पर चुनिंदा रूप से अटेंशन दिया जाता है।
Spatiotemporal Macro-Zones: वीडियो लेटेंट ग्रिड के गैर-ओवरलैपिंग $8 \times 8 \times 8$ टोकन विभाजन जिनका उपयोग स्थानीय रूप से सूचना घनत्व की गणना करने और एकसमान 3D ब्लॉक आकृतियाँ निर्दिष्ट करने के लिए किया जाता है।
Video Channel-Wise Variance Guidance: वैल्यू फीचर्स के चैनल आयामों में गणना किया गया एक दिशात्मक सांख्यिकी जो यह कैप्चर करता है कि समय, ऊंचाई और चौड़ाई के अक्षों के साथ विजुअल कंटेंट कितनी तेजी से बदलता है।
Audio-to-Video Cross-Attention Norm Guidance: ऑडियो-मॉड्यूलेटेड वीडियो फीचर्स के $L_{2}$ नॉर्म से प्राप्त एक मार्गदर्शन मीट्रिक जो वीडियो क्षेत्रों में ऑडियो प्रभाव की तीव्रता और दिशात्मक भिन्नता को मापता है।
Attention Weight Dilution: अल्ट्रा-लॉन्ग हाई-रिज़ॉल्यूशन अनुक्रमों में एक विफलता मोड जहां बड़ी संख्या में अनावश्यक बैकग्राउंड टोकन सामूहिक रूप से अटेंशन सॉफ्टमैक्स वेट पर एकाधिकार कर लेते हैं, जिससे जानकारीपूर्ण क्षेत्रों पर कम ध्यान दिया जाता है।
Hybrid Top-k / Top-p Selection: गारंटीकृत न्यूनतम संदर्भ के लिए एक निश्चित Top- $k$ थ्रेशोल्ड को बिखरे हुए अटेंशन वाली क्वेरीज़ के लिए एक अनुकूली Top- $p$ संचयी थ्रेशोल्ड के साथ संयोजित करने वाला एक ब्लॉक चयन तंत्र।
2K-Bench: जटिल मोशन, उच्च-आवृत्ति वाले विजुअल विवरण और विविध ध्वनि इंटरैक्शन वाले 300 अनदेखे 10-सेकंड के नेटिव 2K वीडियो-ऑडियो क्लिप का एक नया मूल्यांकन बेंचमार्क।
MotionQ: वीडियो मोशन डायनामिक्स, स्थिरता और स्थानिक इंटरैक्शन गुणवत्ता का आकलन करने के लिए Gemini-3.1 का उपयोग करने वाला एक स्वचालित मूल्यांकन मीट्रिक।

प्रश्न

स्पार्स अटेंशन केवल वीडियो सेल्फ-अटेंशन पर ही क्यों लागू किया जाता है?

वीडियो सेल्फ-अटेंशन 2K पर कम्प्यूटेशनल लागत के विशाल बहुमत के लिए जिम्मेदार है (10 सेकंड के क्लिप के लिए 870K से अधिक टोकन)। क्रॉस-मॉडल अटेंशन मॉड्यूल और ऑडियो सेल्फ-अटेंशन बहुत छोटे टोकन अनुक्रमों पर काम करते हैं (ऑडियो आमतौर पर 1K टोकन से कम होता है), जिससे उनका कम्प्यूटेशनल ओवरहेड नगण्य हो जाता है और स्पार्स सन्निकटन अनावश्यक हो जाता है।

ऑडियो जानकारी विजुअल अटेंशन ब्लॉक्स के आकार को कैसे प्रभावित करती है?

ऑडियो-टू-वीडियो क्रॉस-अटेंशन हिडन स्टेट्स का $L_{2}$ नॉर्म प्रति मैक्रो-ज़ोन मापा जाता है। उच्च ऑडियो कपलिंग वाले ध्वनि-उत्पादक क्षेत्रों में, एक ऑडियो कपलिंग गेट ब्लॉक विभाजन को निर्देशित करता है ताकि उच्च ऑडियो वेरियंस वाले अक्षों (जैसे गतिशील होंठों के आसपास टेम्पोरल बदलाव) के साथ छोटे किनारों (महीन ग्रैन्युलैरिटी) को आवंटित किया जा सके।

Prism प्रति टोकन के बजाय मैक्रो-ज़ोन स्तर पर ब्लॉक आकृतियों का चयन क्यों करता है?

प्रति-टोकन परिवर्तनीय ब्लॉक आकृतियाँ अनियमित क्लस्टरिंग का कारण बनती हैं और पर्याप्त मेमोरी पैडिंग की आवश्यकता होती है, जो कस्टम Triton GPU कर्नेल में संकलित मेमोरी एक्सेस को बाधित करती है। $8 \times 8 \times 8$ आकार के मैक्रो-ज़ोन यह सुनिश्चित करते हैं कि ब्लॉक आकार 64 टोकन के गुणक बने रहें, जिससे हार्डवेयर-संरेखित कंप्यूट टाइल्स सक्षम होते हैं।

यह देखते हुए कि ब्लॉक चयन नॉन-डिफरेंशियल है, Prism त्रुटि प्रसार से कैसे बचता है?

मानक ट्रेनेबल ब्लॉक-स्पार्स अटेंशन प्रथाओं के अनुसार, ब्लॉक आकार चयन को संचालित करने वाले आँकड़ों (घनत्व $ρ$ , वेरिएशन इंडिकेटर $g_{m}$ , और ब्लॉक प्रासंगिकता $P_{i}$ ) को बैकप्रॉपैगेश्न के दौरान डिटेच्ड कॉन्स्टेंट माना जाता है। ग्रेडिएंट्स पूरी तरह से चयनित की-वैल्यू ब्लॉक्स पर स्पार्स अटेंशन गणना के माध्यम से प्रवाहित होते हैं।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।