Prism: Dynamic Sparse Attention for Native 2K Joint Video-Audio Generation Model Training

Shuyuan Tu; Qi Tian; Yinming Huang; Yue Wu; Xintong Han; Kaihang Pan; Weijie Kong; Jiangfeng Xiong; Jian-Wei Zhang; Zuxuan Wu; Yu-Gang Jiang

Prism: Dynamic Sparse Attention สำหรับการเทรนโมเดลสร้างวิดีโอพร้อมเสียงระดับ Native 2K

Shuyuan Tu, Qi Tian, Yinming Huang, Yue Wu, Xintong Han, Kaihang Pan, Weijie Kong, Jiangfeng Xiong, Jian-Wei Zhang, Zuxuan Wu, Yu-Gang Jiang

เผยแพร่ 2026-10-04cs.CV arXiv PDF

อ่านพร้อมคำแปลและ AI

สรุปสามบรรทัด

🎯 Full attention ที่ความละเอียดเนทีฟ 2K เจือจาง attention ไปยังโทเค็นพื้นหลังที่ซ้ำซ้อนจำนวนมหาศาลและทำลาย cross-modal audio-visual priors ที่เทรนไว้ล่วงหน้า ขณะที่ sparse attention แบบบล็อกคงที่ไม่สามารถจับการซิงค์ภาพและเสียงเฉพาะจุดได้
🔧 Prism จัดกลุ่มโทเค็นเป็น spatiotemporal macro-zones และเลือกรูปทรงบล็อก 3 มิติแบบไดนามิกโดยใช้ทั้งความแปรปรวนของฟีเจอร์วิดีโอตามแชนเนลและนอร์ม audio-to-video cross-attention ร่วมกับกลยุทธ์การเลือกบล็อกแบบไฮบริด Top-k/Top-p
📈 เร่งความเร็วในการเทรนขึ้น 2.5× และการอนุมานขึ้น 3× เมื่อเทียบกับ full attention ลดการใช้หน่วยความจำ GPU ขณะอนุมานลง 47% พร้อมทั้งให้ประสิทธิภาพเหนือกว่าวิธีโอเพนซอร์สเดิมในทุกตัวชี้วัดด้านวิดีโอ เสียง และการซิงโครไนซ์

บทคัดย่อ

การเทรนโมเดลสร้างวิดีโอพร้อมเสียงแบบร่วมกัน (joint video-audio) ที่ระดับความละเอียดสูงขึ้นโดยกำเนิด (natively) ช่วยให้โมเดลสามารถเรียนรู้รายละเอียดภาพที่สมบูรณ์ยิ่งขึ้นและการเคลื่อนไหวที่คมชัดยิ่งขึ้น อย่างไรก็ตาม full attention ก่อให้เกิดต้นทุนการคำนวณแบบกำลังสอง (quadratic cost) และเมื่อความละเอียดเพิ่มขึ้น attention จะกระจายไปยังโทเค็นพื้นหลังที่ซ้ำซ้อนมากขึ้นเรื่อยๆ ซึ่งเจือจางสัญญาณการเรียนรู้ของเนื้อหาที่มีข้อมูลสำคัญและทำลาย pretrained priors ที่มีอยู่เดิม วิธี sparse attention ในปัจจุบันมักมุ่งเน้นไปที่การเร่งความเร็วแบบ training-free หรือมองข้ามโครงสร้างเฉพาะของข้อมูลวิดีโอพร้อมเสียง ซึ่งการมีปฏิสัมพันธ์ข้ามโมดอลมีแนวโน้มกระจุกตัวอยู่เฉพาะบริเวณที่กำเนิดเสียง เพื่อแก้ปัญหานี้ เราขอนำเสนอ Prism ซึ่งเป็นเฟรมเวิร์ก dynamic sparse attention สำหรับการเทรนโมเดลสร้างวิดีโอพร้อมเสียงร่วมกันที่ระดับความละเอียด 2K โดยกำเนิด โดยเฉพาะอย่างยิ่ง Prism จัดลำดับโทเค็นเป็น macro-zones เชิงมิติพื้นที่และเวลา (spatiotemporal) ทำให้โครงสร้าง attention สามารถปรับให้เข้ากับเนื้อหาเฉพาะที่ได้ สำหรับแต่ละโซน ระบบจะประมาณโครงสร้างข้อมูลท้องถิ่นผ่านความแปรปรวนของฟีเจอร์วิดีโอตามแนวแชนเนลและค่านอร์มของฟีเจอร์จาก audio-to-video cross-attention ซึ่งร่วมกันจับทิศทางการเปลี่ยนแปลงของเนื้อหาภาพและระดับความแรงที่เสียงส่งอิทธิพลต่อแต่ละบริเวณของภาพ จากสัญญาณเหล่านี้ Prism จะกำหนดรูปทรงบล็อก (block shape) ที่ปรับแต่งให้เหมาะสมกับแต่ละโซนแบบไดนามิก โดยแบ่งย่อยอย่างละเอียดตามแกนที่มีการเปลี่ยนแปลงของเนื้อหาภาพอย่างรวดเร็วและมีการจับคู่ระหว่างภาพและเสียงที่เข้มข้น วิธีนี้ช่วยส่งเสริมให้โทเค็นภายในแต่ละบล็อกมีความสอดคล้องกันทางความหมาย (semantically coherent) ทำให้ฟีเจอร์ระดับบล็อกสามารถจับได้ทั้งเนื้อหาภาพและรูปแบบปฏิสัมพันธ์ร่วมระหว่างวิดีโอกับเสียง นอกจากนี้ Prism ยังใช้กลยุทธ์การเลือกบล็อกแบบผสม (hybrid block selection) เพื่อกำหนดความเบาบาง (sparsity) ของแต่ละ query แบบไดนามิก การทดลองแสดงให้เห็นว่า Prism สามารถเพิ่มความเร็วในการเทรนได้ถึง 2.5 $\times$ เมื่อเทียบกับ full attention พร้อมทั้งมอบคุณภาพการสร้างที่เหนือกว่า

บทคัดย่อต้นฉบับ (ภาษาอังกฤษ)

Natively training joint video-audio generation models at higher resolutions empowers them to learn richer visual details and sharper motion dynamics. However, full attention incurs quadratic cost and, as resolution increases, spreads attention over increasingly redundant tokens, diluting learning signals for informative content and disrupting pretrained priors. Existing sparse attention methods either target training-free acceleration or overlook the unique structure of joint video-audio data, where cross-modal interactions are inherently concentrated around sound-producing regions. To address this, we propose Prism, a dynamic sparse attention framework for natively training joint video-audio generation models at 2K. In particular, Prism organizes the token sequence into spatiotemporal macro-zones, enabling the attention structure to adapt to local content. For each zone, it estimates local information structure via video feature variance along the channel and feature norms from the audio-to-video cross-attention, jointly capturing how visual content varies directionally and how strongly audio influences each visual region. Based on these signals, Prism dynamically assigns a tailored block shape to each zone, applying finer partitioning along axes of rapid visual content variation and strong audio-visual coupling. This encourages tokens within each block to remain semantically coherent, allowing block-level features to capture both visual content and joint video-audio interaction patterns. Prism further adopts a hybrid block selection strategy to dynamically determine per-query sparsity. Experiments show that Prism achieves 2.5 $\times$ training speedup compared to full attention, while surpassing it in generation quality.

คู่มือการอ่าน

ปัญหาและแรงจูงใจ

การเทรนโมเดล diffusion สร้างวิดีโอพร้อมเสียงร่วมกันที่ความละเอียดระดับเนทีฟ 2K ช่วยให้สามารถสังเคราะห์รายละเอียดเชิงพื้นที่ที่สมบูรณ์ การเคลื่อนไหวที่คมชัด และเสียงที่ซิงโครไนซ์ได้อย่างสมบูรณ์แบบ อย่างไรก็ตาม หลังจากการบีบอัดด้วย VAE คลิปขนาด 2K จะสร้างโทเค็นตั้งแต่หลายแสนไปจนถึงมากกว่าหนึ่งล้านโทเค็น ซึ่ง standard full attention ต้องเผชิญกับปัญหาร้ายแรง 2 ประการ ได้แก่:

ความซับซ้อนระดับกำลังสอง (Quadratic complexity): ภาระการคำนวณและการใช้หน่วยความจำทำให้ต้นทุนการเทรนสูงเกินไปจนไม่สามารถทำได้จริง
การเจือจางค่าน้ำหนัก Attention (Attention weight dilution): โทเค็นพื้นหลังที่ซ้ำซ้อนจำนวนมหาศาลจะเข้ามาครอบงำลำดับโทเค็น ส่งผลให้งบประมาณ attention ที่จัดสรรให้กับเนื้อหาเฉพาะจุดที่มีสาระสำคัญ (เช่น ใบหน้าที่กำลังเคลื่อนไหว มือ และวัตถุที่ส่งเสียง) ถูกเจือจาง และทำลาย multimodal priors ที่ได้รับการพรีเทรนมา

แนวทาง sparse attention ก่อนหน้านี้มักใช้การประมาณค่าแบบไม่ต้องเทรนใหม่ (training-free), เน้นเฉพาะวิดีโอที่ไม่มีเสียงที่ความละเอียดต่ำกว่า (480p/720p) หรือบังคับใช้รูปทรงบล็อกที่ตายตัวและสม่ำเสมอ เนื่องจากการซิงโครไนซ์ระหว่างภาพและเสียงมักกระจุกตัวอยู่ในบริเวณกำเนิดเสียงที่มีขนาดกะทัดรัด รูปทรงบล็อกที่คงที่จึงนำโทเค็นที่ไม่เกี่ยวข้องกันมารวมกัน ทำให้ตัวแทนบล็อกที่ได้จากการเฉลี่ยแบบ mean-pooled เสียหาย และไม่สามารถปรับให้เข้ากับรูปแบบปฏิสัมพันธ์ข้ามโมดอลได้

แนวคิดหลัก

Macro-Zone Partitioning: ปริมาตรโทเค็นเชิงมิติพื้นที่และเวลาจะถูกแบ่งออกเป็น macro-zones ขนาด $Z_{T} \times Z_{H} \times Z_{W} = 8 \times 8 \times 8$ เพื่อให้สอดคล้องกับการจัดโครงสร้างบล็อกของ Triton
Dual-Guidance Variation Indicator: แต่ละโซนจะวัดการเปลี่ยนแปลงของเนื้อหาตามทิศทางแบบไดนามิก โดยใช้ความแปรปรวนตามแนวแชนเนลของวิดีโอควบคู่ไปกับนอร์มของ audio-to-video cross-attention
Content-Adaptive 3D Block Shapes: แต่ละโซนจะเลือกรูปทรงจากชุดตัวเลือก 16 รูปทรงที่มีขนาดปริมาตรรวม $B \in {64, 128, 256}$ โดยจะแบ่งอย่างละเอียดตามแกนที่มีการเปลี่ยนแปลงอย่างรวดเร็วและมีการเชื่อมโยงระหว่างภาพและเสียงที่เข้มข้น
Hybrid Top- $k$ / Top- $p$ Selection: Sparse attention ระดับบล็อกจะใช้ Top- $k$ เพื่อรับประกันบริบทพื้นฐาน และขยายขอบเขตอย่างยืดหยุ่นด้วย Top- $p$ สำหรับคำค้นหา (queries) ที่มีการกระจายตัวของ attention สูง

วิธีการ

Prism ทำงานบนโครงสร้าง Diffusion Transformer (DiT) แบบสองสาขา (dual-branch) ซึ่งเริ่มต้นน้ำหนักจาก MOVA-720p โดยแทนที่ video self-attention แบบเต็มด้วย dynamic sparse attention ในขณะที่คง cross-attention และ audio self-attention ไว้เช่นเดิม

1. การกำหนดตัวบ่งชี้ความแปรปรวน (Variation Indicator Formulation)

สำหรับแต่ละ macro-zone $m$ อัตราส่วนความแปรปรวนของวิดีโอตามทิศทางตามแกน $d \in {T, H, W}$ จะได้มาจากฟีเจอร์ value ที่ผ่านการทำ mean-pooling $\overset{ˉ}{V}_{m, i}^{(d)}$ : $σ_{v, d}^{2} (m) = \frac{1}{D} c = 1 \sum D \frac{1}{Z _{d}} i = 1 \sum Z_{d} (\overset{ˉ}{V}_{m, i, c}^{(d)} - μ_{m, c}^{(d)})^{2}, r_{v, d} (m) = \frac{σ _{v, d}^{2} ( m )}{\sum _{d^{'}} σ _{v, d^{'}}^{2} ( m )}$

จากค่านอร์มของ audio-to-video cross-attention $a_{t, h, w}^{m} = ∥ \hat{h}_{t, h, w}^{m} ∥_{2}$ ที่บันทึกไว้ชั่วคราวจากเลเยอร์ก่อนหน้า ความเข้มข้นของการเชื่อมโยงเสียง $\overset{a}{ˉ} (m) \in [0, 1]$ และความแปรปรวนตามทิศทางที่ปรับมาตรฐานแล้ว $\overset{v}{^}_{a, d} (m)$ จะถูกคำนวณออกมา ตัวบ่งชี้ความแปรปรวนแบบผสมจึงเป็น: $g_{d} (m) = r_{v, d} (m) + \overset{a}{ˉ} (m) \cdot \overset{v}{^}_{a, d} (m) + ϵ$

2. การกำหนดขนาดปริมาตรและรูปทรงของบล็อก (Block Volume and Shape Quantization)

ปริมาตรรวมของบล็อก $B (m) \in {64, 128, 256}$ จะถูกกำหนดโดยการประเมินความหนาแน่นของข้อมูลเชิงมิติพื้นที่และเวลาที่ปรับมาตรฐานแล้ว $ρ (m)$ เทียบกับค่าขีดแบ่ง $τ_{128} = 0.5$ และ $τ_{256} = 0.25$ การลดการสูญเสียข้อมูลภายในบล็อก $\sum_{d} g_{d} (b_{d}^{2} - 1)$ ภายใต้เงื่อนไข $\prod_{d} b_{d} = B (m)$ จะให้ความยาวขอบต่อเนื่องที่เหมาะสมที่สุด $b_{d}^{*} \propto g_{d}^{- 1/2}$ ในปริภูมิ $lo g_{2}$ ( $S = lo g_{2} B (m)$ ): $ℓ_{d}^{*} = - \frac{1}{2} lo g_{2} g_{d} + \frac{1}{3} (S + \frac{1}{2} lo g_{2} g_{T} + \frac{1}{2} lo g_{2} g_{H} + \frac{1}{2} lo g_{2} g_{W})$ รูปทรงของบล็อก $s^{*} = (b_{T}, b_{H}, b_{W})$ จะถูกเลือกจากชุดตัวเลือก $C_{B (m)}$ โดยการหาค่าระยะห่างแบบยุคลิดที่น้อยที่สุดไปยัง $ℓ_{d}^{*}$

3. Hybrid Top- $k$ / Top- $p$ Attention

บล็อกคีย์ (Key blocks) จะถูกรวบยอดแบบ mean-pooled ให้เป็นตัวแทน $\overset{ˉ}{K}_{j}$ และคำนวณคะแนนเทียบกับบล็อกคิวรี (query blocks) $Q_{i}$ เพื่อให้ได้ความน่าจะเป็นของบล็อก $P_{i}$ เซตที่ถูกเลือกมาสนใจ $S_{i}$ จะรวมเกณฑ์ความน่าจะเป็นแบบคงที่และแบบสะสมเข้าด้วยกัน: $S_{i} = Top- k (P_{i}, k) \cup Top- p (P_{i}, p)$ เคอร์เนล Triton ของ online softmax จะดำเนินการคำนวณ sparse attention เฉพาะบนเซต $S_{i}$ เท่านั้น

ผลลัพธ์

ความเป็นเลิศในเกณฑ์มาตรฐาน (Benchmark Superiority): บน 2K-Bench (วิดีโอทดสอบระดับเนทีฟ 2K จำนวน 300 รายการ) Prism ทำคะแนน Aesthetic Quality (AQ) ได้ $0.61$ , Temporal Flickering (TF) ได้ $0.982$ , DeSync ได้ $0.63$ และ MotionQ ได้ $0.89$ ซึ่งเหนือกว่า MOVA อย่างมาก (Full Attn: $0.42$ AQ, $1.05$ DeSync, $0.53$ MotionQ) รวมถึง LTX-2.3 ที่ใช้ super-resolution ( $0.48$ AQ, $0.95$ DeSync, $0.66$ MotionQ)
ประสิทธิภาพที่เพิ่มขึ้น: ความเร็วในการเทรนเร็วกว่า full attention ที่ความละเอียด 2K ถึง $2.5 \times$ ( $10.6 นาที$ เทียบกับ $26.5 นาที$ ต่อสเต็ป) ในการรัน inference บน 4 GPU นั้น Prism ใช้เวลา $331 วินาที$ และใช้ VRAM $38.0 GB$ ต่อ GPU เทียบกับ MOVA ที่ใช้เวลา $1091 วินาที$ และ $72.8 GB$
การขยายขนาดตามความละเอียด (Resolution Scaling): Prism เป็นเฟรมเวิร์กเดียวที่ทดสอบแล้วแสดงให้เห็นถึงการพัฒนาที่ดีขึ้นอย่างต่อเนื่องในทุกเมทริกซ์ด้านคุณภาพและการซิงค์ข้ามโมดอลเมื่อสเกลจาก 480p ไปยัง 2K ในขณะที่ full attention และ sparse baseline ที่ใช้บล็อกคงที่กลับมีประสิทธิภาพลดลงที่ระดับ 2K เนื่องจากปัญหาโทเค็นพื้นหลังอิ่มตัว
การทดลองกับผู้ใช้ (User Study): ในการศึกษาการรับรู้แบบ 2AFC โดยมีผู้เข้าร่วม 200 คนบนคลิป 2K จำนวน 30 คลิป Prism ได้รับความพึงพอใจมากกว่า $> 87%$ เมื่อเทียบกับโอเพนซอร์สเบสไลน์ทั้งหมด ทั้งในด้านความสอดคล้องกับข้อความ คุณภาพเสียง รายละเอียดภาพ ความสมจริงของการเคลื่อนไหว และการซิงค์ริมฝีปาก

ข้อจำกัดและประเด็นเปิด

ขนาด Temporal Macro-Zones แบบตายตัว: Macro-zones มีหน้าต่างเวลาแบบคงที่อยู่ที่ $Z_{T} = 8$ การตัดสลับฉากอย่างรวดเร็วหรือการซูมในหน้าต่างเวลานี้จะทำให้เกิดความแตกต่างของฟีเจอร์อย่างฉับพลัน ซึ่งรูปทรงบล็อกเดียวไม่สามารถครอบคลุมได้ ส่งผลให้เกิดความผิดเพี้ยนของภาพชั่วขณะ
การขยายความละเอียดและขนาดโมเดล: Prism ได้รับการประเมินที่ความละเอียดสูงสุด 2K บนโครงสร้างหลักขนาด 16B พารามิเตอร์ ซึ่งการขยายไปยังระดับเนทีฟ 4K (ซึ่งมีจำนวนโทเค็นเพิ่มขึ้นเป็น 4 เท่า) และการสำรวจสถาปัตยกรรม DiT ขนาดใหญ่ขึ้นระดับ 30B+ ยังคงเป็นเรื่องที่ต้องศึกษาต่อไป
ลำดับการพึ่งพากันระหว่างภาพและเสียง: เนื่องจาก self-attention ทำงานก่อน cross-attention ในบล็อกของ DiT การชี้นำด้วย cross-attention ของเสียงจึงต้องพึ่งพานอร์มที่บันทึกไว้จากเลเยอร์ก่อนหน้า ซึ่งส่งผลให้เกิดความล่าช้าไปหนึ่งเลเยอร์ในการส่งสัญญาณชี้นำ

คำศัพท์สำคัญ

Dynamic Sparse Attention: เฟรมเวิร์ก attention ที่เลือกคำนวณเฉพาะบล็อกโทเค็น key-value สำหรับแต่ละ query ตามคะแนนความเกี่ยวข้องที่คำนวณแบบไดนามิกและรูปทรงบล็อกที่ปรับตามเนื้อหา
Spatiotemporal Macro-Zones: การแบ่งส่วนกริด latent ของวิดีโอเป็นบล็อกขนาด $8 \times 8 \times 8$ โทเค็นที่ไม่ทับซ้อนกัน ซึ่งใช้คำนวณความหนาแน่นของข้อมูลเฉพาะที่และกำหนดรูปทรงบล็อก 3 มิติที่สม่ำเสมอ
Video Channel-Wise Variance Guidance: ค่าสถิติเชิงทิศทางที่คำนวณตามมิติแชนเนลของฟีเจอร์ value ซึ่งช่วยจับความเร็วในการเปลี่ยนแปลงของเนื้อหาภาพตามแกนเวลา ความสูง และความกว้าง
Audio-to-Video Cross-Attention Norm Guidance: เมทริกซ์ชี้นำที่คำนวณจาก $L_{2}$ norm ของฟีเจอร์วิดีโอที่ถูกปรับเปลี่ยนด้วยเสียง ซึ่งใช้ประเมินความเข้มข้นและความแปรปรวนเชิงทิศทางของอิทธิพลจากเสียงในแต่ละบริเวณของวิดีโอ
Attention Weight Dilution: รูปแบบความล้มเหลวในลำดับข้อมูลความละเอียดสูงที่มีความยาวมาก ซึ่งโทเค็นพื้นหลังที่ซ้ำซ้อนจำนวนมหาศาลจะแย่งค่าน้ำหนัก softmax ของ attention ไปจนหมด ทำให้บริเวณที่มีข้อมูลสำคัญได้รับ attention น้อยเกินไป
Hybrid Top-k / Top-p Selection: กลไกการเลือกบล็อกที่รวมค่าขีดแบ่ง Top- $k$ แบบคงที่เพื่อรับประกันบริบทขั้นต่ำ เข้ากับเกณฑ์ความน่าจะเป็นสะสมของ Top- $p$ แบบปรับตัวสำหรับ query ที่มีการกระจายของ attention สูง
2K-Bench: ชุดข้อมูลทดสอบมาตรฐานที่นำเสนอขึ้นมาใหม่ ประกอบด้วยคลิปวิดีโอพร้อมเสียงระดับเนทีฟ 2K ความยาว 10 วินาทีที่ไม่เคยเห็นมาก่อนจำนวน 300 คลิป ซึ่งมีการเคลื่อนไหวที่ซับซ้อน รายละเอียดภาพความถี่สูง และปฏิสัมพันธ์ของเสียงที่หลากหลาย
MotionQ: เมทริกซ์การประเมินอัตโนมัติที่ใช้ Gemini-3.1 เพื่อประเมินพลวัตของการเคลื่อนไหว ความสอดคล้อง และคุณภาพของปฏิสัมพันธ์เชิงพื้นที่ในวิดีโอ

คำถามที่พบบ่อย

ทำไม sparse attention จึงถูกนำมาใช้เฉพาะกับ self-attention ของวิดีโอเท่านั้น?

Video self-attention คิดเป็นสัดส่วนการคำนวณส่วนใหญ่ที่ความละเอียด 2K (มากกว่า 870K โทเค็นสำหรับคลิป 10 วินาที) ส่วนโมดูล cross-modal attention และ audio self-attention จะประมวลผลบนลำดับโทเค็นที่สั้นกว่ามาก (เสียงมักมีโทเค็นน้อยกว่า 1K) ทำให้ภาระการคำนวณส่วนนี้น้อยมากจนไม่จำเป็นต้องใช้ sparse approximation

ข้อมูลเสียงส่งอิทธิพลต่อรูปทรงของบล็อก visual attention อย่างไร?

ระบบจะวัดค่า $L_{2}$ norm ของ hidden states ใน audio-to-video cross-attention ในแต่ละ macro-zone โดยในบริเวณกำเนิดเสียงที่มีการเชื่อมโยงกับเสียงระดับสูง กลไก audio coupling gate จะควบคุมการแบ่งบล็อกให้มีขอบที่สั้นลง (ความละเอียดละเอียดยิ่งขึ้น) ตามแกนที่มีความแปรปรวนของเสียงสูง เช่น การเปลี่ยนแปลงตามเวลาบริเวณริมฝีปากที่กำลังขยับ

ทำไม Prism ถึงเลือกรูปทรงของบล็อกในระดับ macro-zone แทนที่จะเป็นระดับรายโทเค็น?

รูปทรงบล็อกที่แปรผันตามรายโทเค็นจะทำให้เกิดการรวมกลุ่มที่กระจัดกระจายและจำเป็นต้องใช้ memory padding จำนวนมาก ซึ่งส่งผลเสียต่อ coalesced memory access ในเคอร์เนล GPU แบบกำหนดเองของ Triton การใช้ macro-zones ขนาด $8 \times 8 \times 8$ จะช่วยรับประกันว่าขนาดของบล็อกจะเป็นพหุคูณของ 64 โทเค็นเสมอ ทำให้ประมวลผลบนไทล์ฮาร์ดแวร์ได้อย่างมีประสิทธิภาพสูงสุด

Prism ป้องกันการแพร่กระจายของความคลาดเคลื่อน (error propagation) ได้อย่างไร ในเมื่อการเลือกบล็อกเป็นกระบวนการที่ไม่สามารถหาอนุพันธ์ได้ (non-differentiable)?

ตามแนวทางปฏิบัติมาตรฐานของ trainable block-sparse attention สถิติที่ใช้ขับเคลื่อนการเลือกรูปทรงบล็อก (ความหนาแน่น $ρ$ , ตัวบ่งชี้ความแปรปรวน $g_{m}$ , และความเกี่ยวข้องของบล็อก $P_{i}$ ) จะถูกตัดการเชื่อมโยง (detached) ให้เป็นค่าคงที่ในระหว่างการทำ backpropagation เกรเดียนต์จะไหลผ่านเฉพาะการคำนวณ sparse attention บนบล็อก key-value ที่ได้รับเลือกเท่านั้น

คำอธิบายในหน้านี้เขียนโดย AI จากงานวิจัยและอาจมีข้อผิดพลาด โปรดอ่านต้นฉบับเพื่อดูรายละเอียด