NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

Ben Mildenhall; Pratul P. Srinivasan; Matthew Tancik; Jonathan T. Barron; Ravi Ramamoorthi; Ren Ng

शोध पत्र · arXiv 2003.08934

NeRF: व्यू सिंथेसिस के लिए न्यूरल रेडिएंस फील्ड्स के रूप में दृश्यों का निरूपण

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren Ng

प्रकाशित 2020-03-19cs.CVcs.GR arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 बिना असतत वोक्सेल ग्रिड या प्रॉक्सी मेश ज्यामिति के जटिल 3D दृश्यों के उच्च-रिज़ॉल्यूशन फ़ोटोरेअलिस्टिक नए व्यूज़ को संश्लेषित करना।
🔧 स्थितिगत एन्कोडिंग (positional encoding), डिफरेंशियल वॉल्यूम रेंडरिंग और पदानुक्रमित नमूनाकरण (hierarchical sampling) का उपयोग करके एक MLP द्वारा मैप किए गए निरंतर 5D फ़ंक्शन के रूप में स्थिर दृश्यों का निरूपण।
📈 अत्याधुनिक व्यू सिंथेसिस हासिल किया, यथार्थवादी सिंथेटिक दृश्यों पर 31.01 dB PSNR तक पहुँच गया और दृश्य निरूपण को ~5 MB तक संपीड़ित किया।

सार

हम इनपुट व्यूज़ के एक विरल सेट का उपयोग करके एक अंतर्निहित निरंतर वॉल्यूमेट्रिक दृश्य फ़ंक्शन को अनुकूलित करके जटिल दृश्यों के नए व्यूज़ को संश्लेषित करने के लिए अत्याधुनिक परिणाम प्राप्त करने वाली एक विधि प्रस्तुत करते हैं। हमारा एल्गोरिदम पूरी तरह से जुड़े (गैर-कनवल्शनल) डीप नेटवर्क का उपयोग करके एक दृश्य का निरूपण करता है, जिसका इनपुट एक एकल निरंतर 5D निर्देशांक (स्थानिक स्थिति $(x, y, z)$ और देखने की दिशा $(θ, φ)$ ) है और जिसका आउटपुट उस स्थानिक स्थिति पर वॉल्यूम घनत्व और व्यू-निर्भर उत्सर्जित रेडिएंस है। हम कैमरा किरणों के साथ 5D निर्देशांकों को क्वेरी करके व्यूज़ को संश्लेषित करते हैं और आउटपुट रंगों और घनत्वों को एक छवि में प्रोजेक्ट करने के लिए क्लासिक वॉल्यूम रेंडरिंग तकनीकों का उपयोग करते हैं। चूँकि वॉल्यूम रेंडरिंग स्वाभाविक रूप से अवकलनीय (differentiable) है, हमारे निरूपण को अनुकूलित करने के लिए आवश्यक एकमात्र इनपुट ज्ञात कैमरा पोज़ वाली छवियों का एक सेट है। हम वर्णन करते हैं कि जटिल ज्यामिति और उपस्थिति वाले दृश्यों के फ़ोटोरेअलिस्टिक नए व्यूज़ को रेंडर करने के लिए न्यूरल रेडिएंस फील्ड्स को प्रभावी ढंग से कैसे अनुकूलित किया जाए, और ऐसे परिणाम प्रदर्शित करते हैं जो न्यूरल रेंडरिंग और व्यू सिंथेसिस पर पिछले कार्यों से बेहतर प्रदर्शन करते हैं। व्यू सिंथेसिस परिणामों को वीडियो के रूप में सबसे अच्छी तरह देखा जाता है, इसलिए हम पाठकों से ठोस तुलना के लिए हमारे पूरक वीडियो को देखने का आग्रह करते हैं।

मूल सार (अंग्रेज़ी)

We present a method that achieves state-of-the-art results for synthesizing novel views of complex scenes by optimizing an underlying continuous volumetric scene function using a sparse set of input views. Our algorithm represents a scene using a fully-connected (non-convolutional) deep network, whose input is a single continuous 5D coordinate (spatial location $(x, y, z)$ and viewing direction $(θ, φ)$ ) and whose output is the volume density and view-dependent emitted radiance at that spatial location. We synthesize views by querying 5D coordinates along camera rays and use classic volume rendering techniques to project the output colors and densities into an image. Because volume rendering is naturally differentiable, the only input required to optimize our representation is a set of images with known camera poses. We describe how to effectively optimize neural radiance fields to render photorealistic novel views of scenes with complicated geometry and appearance, and demonstrate results that outperform prior work on neural rendering and view synthesis. View synthesis results are best viewed as videos, so we urge readers to view our supplementary video for convincing comparisons.

पढ़ने की गाइड

समस्या और प्रेरणा

कैप्चर की गई छवियों से नए व्यूज़ का सिंथेसिस पारंपरिक रूप से असतत वॉल्यूमेट्रिक निरूपण (जैसे वोक्सेल ग्रिड या मल्टीप्लेन इमेज) या सतह मेश पर निर्भर रहा है। हालाँकि, असतत वोक्सेल ग्रिड अत्यधिक मेमोरी और कंप्यूटिंग लागत पैदा करते हैं जो रिज़ॉल्यूशन के साथ घनीय (cubically) रूप से बढ़ते हैं, जबकि मेश-आधारित डिफरेंशियल अनुकूलन खराब अनुकूलन परिदृश्यों (optimization landscapes) से ग्रस्त होता है और इसके लिए अच्छी प्रारंभिक टोपोलॉजी की आवश्यकता होती है। पूर्व अंतर्निहित न्यूरल दृश्य निरूपण निर्देशांकों को सीधे हस्ताक्षरित दूरी फ़ंक्शन (signed distance functions) या एकल-सतह बिंदुओं पर मैप करते थे, जिससे जटिल ज्यामिति, व्यू-निर्भर प्रभावों (जैसे स्पेक्युलर हाइलाइट्स) और उच्च-आवृत्ति विवरणों को संभालना कठिन हो जाता था और अत्यधिक चिकने (oversmoothed) परिणाम मिलते थे।

मुख्य विचार

निरंतर 5D दृश्य फ़ंक्शन: एक स्थिर दृश्य को एक अंतर्निहित निरंतर फ़ंक्शन $F_{Θ} : (x, d) \to (c, σ)$ के रूप में निरूपित करना, जो 3D स्थान $x = (x, y, z)$ और 2D देखने की दिशा $d = (θ, ϕ)$ को उत्सर्जित RGB रेडिएंस $c$ और वॉल्यूम घनत्व $σ$ में मैप करता है।
असममित भविष्यवाणी के माध्यम से मल्टीव्यू निरंतरता: घनत्व $σ$ की भविष्यवाणी पूरी तरह से स्थिति $x$ से की जाती है (ज्यामिति व्यू-अपरिवर्तनीय है), जबकि उत्सर्जित रंग $c$ स्थिति $x$ और देखने की दिशा $d$ दोनों पर निर्भर करता है (जो स्पेक्युलर और गैर-लैम्बर्टियन हाइलाइट्स को सक्षम बनाता है)।
उच्च-आवृत्ति स्थितिगत एन्कोडिंग: साइनुसॉइडल आधार फ़ंक्शनों का उपयोग करके निम्न-आयामी इनपुट निर्देशांकों को उच्च-आयामी स्थानों पर मैप करके कम आवृत्तियों के प्रति MLP के वर्णक्रमीय पूर्वाग्रह (spectral bias) को दूर करना।
डिफरेंशियल वॉल्यूम रेंडरिंग और पदानुक्रमित नमूनाकरण: किरणों के साथ निरंतर नमूनों को 2D पिक्सेल रंगों में संचित करने के लिए संख्यात्मक वर्गगणन (numerical quadrature) का उपयोग करना, जिसे इनपुट तस्वीरों के विरुद्ध एंड-टू-एंड अनुकूलित किया जाता है और मोटे-से-महीन (coarse-to-fine) पदानुक्रमित नमूनाकरण द्वारा त्वरित किया जाता है।

विधि (मुख्य समीकरणों के साथ)

निकट और दूर तलों $t_{n}$ और $t_{f}$ द्वारा बंधी एक कैमरा किरण $r (t) = o + t d$ के लिए, निरंतर अपेक्षित रंग $C (r)$ है: $C (r) = \int_{t_{n}}^{t_{f}} T (t) σ (r (t)) c (r (t), d) d t, T (t) = exp (- \int_{t_{n}}^{t} σ (r (s)) d s)$ जहाँ $T (t)$ संचित संप्रेषणीयता (accumulated transmittance) है।

इसकी संख्यात्मक गणना करने के लिए, निरंतर अंतराल को $N$ डिब्बे (bins) में विभाजित किया जाता है और स्तरीकृत नमूनाकरण (stratified sampling) के साथ मूल्यांकन किया जाता है, जिससे अल्फा कंपोज़िटिंग के समकक्ष असतत वर्गगणन प्राप्त होता है: $\hat{C} (r) = i = 1 \sum N T_{i} (1 - exp (- σ_{i} δ_{i})) c_{i}, T_{i} = exp (- j = 1 \sum i - 1 σ_{j} δ_{j})$ जहाँ $δ_{i} = t_{i + 1} - t_{i}$ है।

उच्च-आवृत्ति ज्यामिति और बनावट (texture) को कैप्चर करने के लिए, इनपुट को स्थितिगत एन्कोडिंग $γ (p)$ के माध्यम से मैप किया जाता है: $γ (p) = (sin (2^{0} π p), cos (2^{0} π p), \dots, sin (2^{L - 1} π p), cos (2^{L - 1} π p))$ $x$ के लिए $L = 10$ और $d$ के लिए $L = 4$ के साथ।

कुशलतापूर्वक नमूना लेने के लिए, NeRF एक साथ दो नेटवर्कों को अनुकूलित करता है (मोटा नेटवर्क $N_{c} = 64$ नमूनों के साथ और महीन नेटवर्क $N_{f} = 128$ अतिरिक्त नमूनों के साथ)। मोटे नमूने के भार $w_{i} = T_{i} (1 - exp (- σ_{i} δ_{i}))$ किरण के साथ एक खंडशः-स्थिर प्रायिकता घनत्व फ़ंक्शन (piecewise-constant PDF) को परिभाषित करते हैं, जहाँ से महीन नमूनों को व्युत्क्रम रूपांतरण नमूनाकरण (inverse transform sampling) के माध्यम से निकाला जाता है।

पूरे मॉडल को किरण बैच $R$ पर कुल वर्ग त्रुटि को न्यूनतम करके प्रशिक्षित किया जाता है: $L = r \in R \sum [\hat{C}_{c} (r) - C (r)_{2}^{2} + \hat{C}_{f} (r) - C (r)_{2}^{2}]$

परिणाम (सबसे महत्वपूर्ण संख्याओं के साथ)

यथार्थवादी सिंथेटिक $36 0^{\circ}$ : NeRF ने 31.01 dB PSNR, 0.947 SSIM, और 0.081 LPIPS हासिल किया, जो NV (26.05 dB), LLFF (24.88 dB), और SRN (22.26 dB) जैसे बेसलाइन मॉडलों से काफी बेहतर था।
डिफ्यूज़ सिंथेटिक $36 0^{\circ}$ : NeRF ने 40.15 dB PSNR और 0.991 SSIM प्राप्त किया, जबकि DeepVoxels को 30.55 dB (प्रति-दृश्य स्कोर द्वारा निहित औसत) और LLFF को 34.38 dB प्राप्त हुआ।
वास्तविक आगे की ओर मुख वाले दृश्य (Forward-Facing Scenes): 26.50 dB PSNR हासिल किया, जो LLFF (24.13 dB) और SRN (22.84 dB) से बेहतर था।
भंडारण दक्षता: पूरी तरह से प्रशिक्षित NeRF मॉडल को MLP भारों में लगभग 5 MB की आवश्यकता होती है—जो LLFF वोक्सेल निरूपण (>15 GB प्रति दृश्य) की तुलना में लगभग $3000 \times$ कम भंडारण है।

सीमाएं और खुले प्रश्न

प्रशिक्षण और रेंडरिंग समय: एक दृश्य को अनुकूलित करने में 100k-300k पुनरावृत्तियाँ (iterations) लगती हैं (एकल NVIDIA V100 GPU पर लगभग 1-2 दिन)। एक फ्रेम को रेंडर करने के लिए 150-200 मिलियन MLP प्रश्नों की आवश्यकता होती है, जिसमें लगभग 30 सेकंड का समय लगता है।
मॉडल की व्याख्यात्मकता: वोक्सेल ग्रिड या बहुभुज मेश के विपरीत, दृश्य MLP के भारों के भीतर बंद होता है, जिससे सीधा संपादन, निरीक्षण और त्रुटि सुधार (debugging) कठिन हो जाता है।
नियंत्रित कैप्चर आवश्यकताएं: यह विधि ज्ञात कैमरा पोज़ (जैसे, COLMAP से), स्थिर दृश्य, सुसंगत प्रकाश व्यवस्था और साफ दृश्य सीमांत वॉल्यूम मानती है।

मुख्य शब्द

Neural Radiance Field (NeRF): एक निरंतर 5D वॉल्यूमेट्रिक दृश्य निरूपण जो एक डीप पूरी तरह से जुड़े न्यूरल नेटवर्क द्वारा मानकीकृत होता है, जो स्थानिक निर्देशांकों और देखने की दिशाओं को वॉल्यूम घनत्व और उत्सर्जित रेडिएंस में मैप करता है।
Positional Encoding: एक नियतात्मक साइनुसॉइडल मैपिंग $γ (p)$ जो निरंतर इनपुट निर्देशांकों को उच्च-आयामी आवृत्ति स्थानों में प्रोजेक्ट करती है, जिससे नेटवर्क उच्च-आवृत्ति विवरण सीखने में सक्षम होता है।
Volume Density: एक व्यू-स्वतंत्र अवकल अपारदर्शिता $σ (x)$ जो 3D स्पेस में एक अत्यंत सूक्ष्म बिंदु पर कैमरा किरण के समाप्त होने की प्रायिकता को मॉडल करती है।
Transmittance: वह प्रायिकता $T (t)$ कि एक कैमरा किरण निकट क्लिपिंग तल से किरण के साथ एक विशिष्ट दूरी तक बिना किसी दृश्य कण पर समाप्त हुए यात्रा करती है।
Hierarchical Volume Sampling: एक मोटे-से-महीन नमूनाकरण विधि जो महीन नेटवर्क के लिए किरण के साथ अतिरिक्त बिंदुओं का नमूना लेने हेतु एक गैर-समान प्रायिकता वितरण बनाने के लिए मोटे नेटवर्क द्वारा अनुमानित किरण घनत्व का उपयोग करती है।
Stratified Sampling: एक नमूनाकरण प्रक्रिया जो किरण की गहराई सीमा को समान दूरी वाले डिब्बे (bins) में विभाजित करती है और अनुकूलन के दौरान निरंतर मूल्यांकन को सक्षम करने के लिए प्रति डिब्बे एक यादृच्छिक निरंतर नमूना निकालती है।
Normalized Device Coordinates (NDC): एक समन्वय स्थान जो आगे की ओर कैप्चर किए गए दृश्यों के परिप्रेक्ष्य व्यूइंग फ्रस्टम को $[- 1, 1]^{3}$ में मैप करता है, जिससे कैमरा अक्ष विषमता (disparity) में रैखिक हो जाता है।

प्रश्न

घनत्व केवल स्थिति पर क्यों निर्भर करता है, जबकि रंग स्थिति और देखने की दिशा दोनों पर निर्भर करता है?

घनत्व $σ$ को केवल स्थानिक स्थिति $x$ पर निर्भर करने के लिए प्रतिबंधित करने से विभिन्न दृष्टिकोणों में मल्टीव्यू ज्यामितीय स्थिरता बनी रहती है, जबकि रंग $c$ को देखने की दिशा $d$ को इनपुट के रूप में लेने की अनुमति देने से MLP व्यू-निर्भर गैर-लैम्बर्टियन घटनाओं, जैसे स्पेक्युलर परावर्तन का निरूपण करने में सक्षम होता है।

NeRF में स्थितिगत एन्कोडिंग Transformers में स्थितिगत एन्कोडिंग से किस प्रकार भिन्न है?

Transformers क्रमपरिवर्तन-अपरिवर्तनीय (permutation-invariant) अटेंशन ब्लॉक्स में असतत टोकन क्रम डालने के लिए स्थितिगत एन्कोडिंग का उपयोग करते हैं, जबकि NeRF कम आवृत्तियों के प्रति MLP के वर्णक्रमीय पूर्वाग्रह को दूर करने के लिए निरंतर निम्न-आयामी निर्देशांकों को उच्च-आयामी स्थान में मैप करने हेतु साइनुसॉइडल एन्कोडिंग का उपयोग करता है।

NeRF को शुरुआत से अनुकूलित करने के लिए किन इनपुट की आवश्यकता होती है?

NeRF को ज्ञात कैमरा आंतरिक मापदंडों (intrinsics), कैमरा पोज़ और निकट/दूर दृश्य सीमाओं के साथ एक स्थिर दृश्य की कैलिब्रेटेड 2D RGB छवियों के सेट की आवश्यकता होती है (जो वास्तविक डेटा के लिए COLMAP का उपयोग करके या सिंथेटिक डेटा के लिए ग्राउंड-ट्रुथ पोज़ से प्राप्त किए जाते हैं)।

NeRF को प्रशिक्षित करने और रेंडर करने में कितना समय लगता है?

NVIDIA V100 GPU पर एक एकल दृश्य को प्रशिक्षित करने में 100k से 300k पुनरावृत्तियाँ (लगभग 1 से 2 दिन) लगती हैं। नए व्यूज़ को रेंडर करने के लिए प्रति छवि 150 से 200 मिलियन निर्देशांक प्रश्नों का मूल्यांकन करना पड़ता है, जिसमें प्रति फ्रेम लगभग 30 सेकंड का समय लगता है।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें