3D Gaussian Splatting for Real-Time Radiance Field Rendering

पढ़ने की गाइड

समस्या और प्रेरणा

Neural Radiance Fields (NeRFs) ने Multi-Layer Perceptrons (MLPs) के माध्यम से निरंतर अंतर्निहित दृश्य अभ्यावेदन को अनुकूलित करके नोवेल व्यू सिंथेसिस को बदल दिया है। हालाँकि, इन निरंतर फ़ील्ड्स को रेंडर करना स्टोकेस्टिक वॉल्यूमेट्रिक रे-मार्चिंग पर निर्भर करता है, जिसके लिए प्रति किरण दसियों या सैकड़ों नमूनों का मूल्यांकन करना पड़ता है। यह भारी कम्प्यूटेशनल बोझ, लंबे प्रशिक्षण समय (उदा. Mip-NeRF360 के लिए 48 घंटे तक), और बहुत धीमी इनफ़रेंस गति (प्रति फ़्रेम कई सेकंड) की ओर ले जाता है, जो 1080p जैसे उच्च रिज़ॉल्यूशन पर रीयल-टाइम नेविगेशन को रोकता है।

जबकि तेज़ रेडिएंस फ़ील्ड वेरिएंट (जैसे Plenoxels और InstantNGP) प्रशिक्षण में तेजी लाने के लिए वोक्सेल या हैश ग्रिड पर निर्भर करते हैं, वे अक्सर दृश्य निष्ठा से समझौता करते हैं और खाली स्थान या उच्च-आवृत्ति विवरणों के साथ संघर्ष करते हैं। इसके विपरीत, बिंदु-आधारित दृष्टिकोण स्पष्ट ज्यामिति प्रदान करते हैं जो GPU-अनुकूल है, लेकिन पारंपरिक बिंदु रैस्टराइज़ेशन को छिद्रों से बचने के लिए सघन Multi-View Stereo (MVS) ज्यामिति की आवश्यकता होती है, या यह CNN पोस्ट-प्रोसेसिंग पर निर्भर करता है जो टेम्पोरल फ़्लिकरिंग उत्पन्न करता है।

यह शोधपत्र एक तेज़ टाइल-आधारित रैस्टराइज़र के साथ संयुक्त 3D Gaussians का उपयोग करके एक असंरचित, स्पष्ट दृश्य प्रतिनिधित्व का प्रस्ताव करता है, जो रीयल-टाइम फ़्रेम दरों और प्रतिस्पर्धी अनुकूलन समय के साथ शीर्ष-स्तरीय अंतर्निहित रेडिएंस फ़ील्ड्स की रेंडरिंग निष्ठा प्राप्त करता है।

मुख्य विचार

1. असंरचित 3D Gaussian प्रतिनिधित्व: निरंतर समन्वय नेटवर्क या सघन ग्रिड के बजाय, रेडिएंस फ़ील्ड को पूर्ण एनिसोट्रोपिक कोवेरिएंस मैट्रिस के साथ असतत 3D Gaussians द्वारा पैरामीटरयुक्त किया जाता है, जिसे बिना सामान्य (normals) या सघन MVS की आवश्यकता के विरल Structure-from-Motion (SfM) बिंदु बादलों से इनिशियलाइज़ किया जाता है।
2. स्केल और रोटेशन के माध्यम से पैरामीटरीकरण: यह सुनिश्चित करने के लिए कि कोवेरिएंस मैट्रिक्स ग्रेडिएंट डिसेंट के दौरान सकारात्मक अर्ध-निश्चित (positive semi-definite) बना रहे, इसे 3D स्केलिंग वेक्टर और एक यूनिट क्वाटरनियन में डिकपल किया गया है।
3. अनुकूली घनत्व नियंत्रण (Adaptive Density Control): अनुकूलन व्यू-स्पेस पोज़िशन ग्रेडिएंट्स को ट्रैक करके गतिशील रूप से दृश्य घनत्व का प्रबंधन करता है: अंडर-रिकंस्ट्रक्टेड Gaussians की क्लोनिंग और ओवर-रिकंस्ट्रक्टेड Gaussians को विभाजित करना, जबकि पारदर्शी या अत्यधिक बड़े स्प्लैट्स को प्रून करना।
4. दृश्यता-जागरूक टाइल-आधारित रैस्टराइज़ेशन: एक कस्टम GPU रैस्टराइज़र स्क्रीन पिक्सेल को $16\times 16$ टाइलों में व्यवस्थित करता है, एक तेज़ Radix sort का उपयोग करके प्रति फ़्रेम स्प्लैट्स को गहराई से क्रमबद्ध करता है, और ग्रेडिएंट अपडेट प्राप्त करने वाले स्प्लैट्स की संख्या को सीमित किए बिना आगे-से-पीछे एनिसोट्रोपिक अनुमानों को अल्फा-ब्लेंड करता है।

विधि

1. 3D Gaussian दृश्य प्रतिनिधित्व

माध्य $\mu$ पर केंद्रित एक 3D Gaussian को विश्व स्पेस में इसके कोवेरिएंस मैट्रिक्स $\Sigma$ द्वारा परिभाषित किया गया है: $$G(x)=e^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$$

यह गारंटी देने के लिए कि अनुकूलन के दौरान $\Sigma$ सकारात्मक अर्ध-निश्चित बना रहे, इसे एक रोटेशन मैट्रिक्स $R$ और एक स्केलिंग मैट्रिक्स $S$ में फ़ैक्टराइज़ किया जाता है: $$\Sigma =RS{S}^T{R}^T$$ यहाँ, $S$ को एक घातीय सक्रियण (exponential activation) के साथ मूल्यांकित 3D वेक्टर $s$ के रूप में संग्रहीत किया जाता है, और $R$ को एक सामान्यीकृत यूनिट क्वाटरनियन $q$ द्वारा पैरामीटरयुक्त किया जाता है।

रेंडरिंग के लिए, 3D Gaussians को EWA स्प्लैटिंग फ़्रेमवर्क के बाद 2D छवि निर्देशांकों पर प्रक्षेपित किया जाता है। एक व्यूइंग रूपांतरण $W$ और प्रोजेक्टिव रूपांतरण के एफाइन सन्निकटन के जैकोबियन $J$ को देखते हुए, स्क्रीन स्पेस में 2D कोवेरिएंस मैट्रिक्स ${\Sigma }^{\prime }$ है: $${\Sigma }^{\prime }=JW\Sigma W^T{J}^T$$ तीसरी पंक्ति और स्तंभ को छोड़ दिया जाता है, जिससे प्लानर स्प्लैटिंग के लिए $2\times 2$ कोवेरिएंस मैट्रिक्स प्राप्त होता है।

2. रेंडरिंग और छवि निर्माण

प्रत्येक Gaussian में एक अपारदर्शिता (opacity) $\alpha$ (एक सिग्मॉइड सक्रियण के माध्यम से $[0,1)$ तक सीमित) और गोलाकार हार्मोनिक्स (SH) गुणांक होते हैं जो व्यू-निर्भर रंग $\mathbf{c}$ का वर्णन करते हैं। एक पिक्सेल पर $N$ क्रमबद्ध ओवरलैपिंग Gaussians का सम्मिश्रण मानक वॉल्यूमेट्रिक फॉर्मूलेशन का अनुसरण करता है: $$C=\sum _{i\in \mathcal{N}}{\mathbf{c}}_i{\alpha }_i\prod _{j=1}^{i-1}(1-{\alpha }_j)$$ जहाँ ${\alpha }_i$ निर्धारित बिंदु-वार अपारदर्शिता से गुणा किए गए 2D प्रक्षेपित Gaussian का मूल्यांकन करके निर्धारित किया जाता है।

3. अनुकूलन और अनुकूली नियंत्रण

हानि फलन (loss function) एक ${\mathcal{L}}_1$ हानि को एक D-SSIM हानि ($\lambda =0.2$ के साथ) के साथ जोड़ता है: $$\mathcal{L}=(1-\lambda ){\mathcal{L}}_1+\lambda {\mathcal{L}}_{\text{D-SSIM}}$$

अनुकूली घनत्व नियंत्रण प्रत्येक 100 पुनरावृत्तियों में उन Gaussians पर चलता है जिनका औसत व्यू-स्पेस पोज़िशनल ग्रेडिएंट ${\tau }_{\text{pos}}=0.0002$ से अधिक है:

• क्लोन (अंडर-रिकंस्ट्रक्शन): छोटे Gaussians के लिए, एक डुप्लिकेट बनाया जाता है और पोज़िशनल ग्रेडिएंट दिशा के साथ स्थानांतरित किया जाता है।
• विभाजित करें (ओवर-रिकंस्ट्रक्शन): बड़े Gaussians के लिए, प्रिमिटिव को दो छोटे Gaussians द्वारा प्रतिस्थापित किया जाता है जिनका पैमाना $\varphi =1.6$ के कारक से कम हो जाता है, उनके प्रारंभिक पदों को मूल Gaussian से सैंपल किया जाता है।
• प्रूनिंग: उन Gaussians को प्रून करता है जहाँ $\alpha <{ϵ}_{\alpha }$ या वे विश्व/व्यू स्पेस में अत्यधिक बड़े हैं। प्रत्येक $N=3000$ पुनरावृत्तियों में, फ़्लोटिंग आर्टिफ़ैक्ट्स को फ़िल्टर करने के लिए अपारदर्शिता को शून्य के करीब रीसेट किया जाता है।

4. तेज़ डिफ़रेंशियल टाइल-आधारित रैस्टराइज़र

• स्क्रीन को $16\times 16$ पिक्सेल टाइलों में विभाजित किया गया है।
• 99% विश्वास अंतराल फ्रस्टम कलिंग पास करने वाले Gaussians को टाइल आईडी और व्यू-स्पेस गहराई को एन्कोड करने वाली 64-बिट कुंजियाँ सौंपी जाती हैं।
• एक एकल GPU Radix sort पूरे फ़्रेम में सभी इंस्टेंस को क्रमबद्ध करता है।
• थ्रेड ब्लॉक प्रति टाइल आगे-से-पीछे रंग जमा करते हैं जब तक कि $\alpha$ संतृप्ति तक नहीं पहुँच जाता ($0.9999$ से अधिक होने से पहले रुक जाता है)।
• बैकवर्ड पास टाइलों को पीछे-से-आगे पार करता है, अंतिम संचित अपारदर्शिता को प्रत्येक प्रिमिटिव के $\alpha$ से विभाजित करके मध्यवर्ती अपारदर्शिता को पुनर्प्राप्त करता है, जिससे महंगे गतिशील प्रति-पिक्सेल मेमोरी बफ़र्स से बचा जाता है।

परिणाम

• Mip-NeRF360 डेटासेट: 30K पुनरावृत्तियों (41m 33s औसत प्रशिक्षण समय) के बाद, 3D Gaussian Splatting एक औसत 0.815 का SSIM, 27.21 dB का PSNR, और 0.214 का LPIPS प्राप्त करता है, जो Mip-NeRF360 (SSIM 0.792, PSNR 27.69 dB, LPIPS 0.237, 48 घंटे प्रशिक्षण) से मेल खाता है या उससे बेहतर है, जबकि Mip-NeRF360 के 0.06 FPS की तुलना में 134 FPS पर रेंडरिंग करता है।
• फास्ट कॉन्फ़िगरेशन (7K पुनरावृत्तियाँ): केवल 6m 25s में 160 FPS पर 0.770 का SSIM और 25.60 dB का PSNR प्रदान करता है, जो तुलनीय प्रशिक्षण समय के भीतर InstantNGP-Base (SSIM 0.671, 11.7 FPS) और Plenoxels (SSIM 0.626, 6.79 FPS) से बेहतर प्रदर्शन करता है।
• Tanks&Temples और Deep Blending: Tanks&Temples पर, 30K पुनरावृत्तियाँ 154 FPS पर 0.841 के SSIM और 23.14 dB के PSNR तक पहुँचती हैं। Deep Blending पर, यह 137 FPS पर 0.903 का SSIM और 29.41 dB का PSNR प्राप्त करता है।
• सिंथेटिक Blender: 100K बिंदुओं के पूरी तरह से यादृच्छिक इनिशियलाइज़ेशन से औसतन 33.32 dB का PSNR प्राप्त करता है, जो 180–300 FPS पर रेंडर होता है।

सीमाएँ और खुले प्रश्न

• अनदेखे व्यू और आउटलायर्स: विरल कवरेज या प्रशिक्षण प्रक्षेपवक्र से दूर के दृश्य दृश्यमान कलाकृतियों (artifacts) को उत्पन्न कर सकते हैं, जैसे कि लम्बे या "धब्बेदार" Gaussians।
• पॉपिंग आर्टिफ़ैक्ट्स: गहराई क्रमबद्धता में अचानक बदलाव या आक्रामक गार्ड-बैंड कलिंग नेविगेशन के दौरान पॉपिंग ला सकता है, जो बेहतर एंटी-अलियासिंग की आवश्यकता की ओर इशारा करता है।
• मेमोरी की खपत: क्लासिक सघन बिंदु बादलों की तुलना में कॉम्पैक्ट होने के बावजूद, स्पष्ट प्रतिनिधित्व के लिए सैकड़ों मेगाबाइट की आवश्यकता होती है (उदा., 1–5 मिलियन Gaussians वाले दृश्यों के लिए 400–750 MB), और गैर-अनुकूलित प्रोटोटाइप प्रशिक्षण GPU मेमोरी को 20 GB से ऊपर बढ़ा सकता है।
• नियमितीकरण (Regularization) की कमी: फ़्रेमवर्क में स्पष्ट ज्यामितीय सहजता या घनत्व नियमितीकरण शामिल नहीं है, जिससे कैमरा किरणों द्वारा खराब रूप से विवश क्षेत्रों में बैकग्राउंड फ़्लोटर्स के लिए जगह रह जाती है।