NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

Ben Mildenhall; Pratul P. Srinivasan; Matthew Tancik; Jonathan T. Barron; Ravi Ramamoorthi; Ren Ng

الأوراق البحثية · arXiv 2003.08934

NeRF: تمثيل المشاهد كحقول إشعاع عصبية لتوليف المشاهد الجديدة

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren Ng

تاريخ النشر 2020-03-19cs.CVcs.GR arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 توليف مناظر جديدة واقعية وعالية الدقة لمشاهد ثلاثية الأبعاد معقدة دون شبكات فوكسل منفصلة أو هياكل شبكية تقريبية.
🔧 تمثيل المشاهد الثابتة كدوال خماسية الأبعاد مستمرة تُعين عبر MLP باستخدام الترميز الموضعي، والتصيير الحجمي القابل للاشتقاق، وأخذ العينات الهرمي.
📈 تحقيق أحدث النتائج في توليف المشاهد، مسجلًا 31.01 dB PSNR في المشاهد الاصطناعية الواقعية وضغط تمثيلات المشهد إلى ما يقارب 5 ميجابايت.

الملخص

نقدم طريقة تحقق نتائج هي الأحدث في مجال توليف مناظر جديدة لمشاهد معقدة، وذلك من خلال تحسين دالة مشهد حجمية مستمرة باستخدام مجموعة متفرقة من المشاهد المدخلة. تمثل خوارزميتنا المشهد باستخدام شبكة عميقة متصلة بالكامل (غير تلافيفية)، حيث يكون مدخلها إحداثيًا خماسي الأبعاد مستمرًا واحدًا (الموقع المكاني $(x, y, z)$ واتجاه الرؤية $(θ, φ)$ ) ومخرجها الكثافة الحجمية والإشعاع المنبعث المعتمد على زاوية الرؤية عند ذلك الموقع المكاني. نقوم بتوليف المناظر عبر الاستعلام عن إحداثيات خماسية الأبعاد على امتداد أشعة الكاميرا، ونستخدم تقنيات التصيير الحجمي الكلاسيكية لإسقاط الألوان والكثافات الناتجة في صورة. ولأن التصيير الحجمي قابل للاشتقاق بطبيعته، فإن المدخل الوحيد المطلوب لتحسين تمثيلنا هو مجموعة من الصور ذات وضعيات كاميرا معلومة. نصف كيفية تحسين حقول الإشعاع العصبية بفعالية لتصيير مناظر جديدة واقعية للغاية لمشاهد ذات هندسة ومظهر معقدين، ونبرهن على نتائج تتفوق على الأعمال السابقة في التصيير العصبي وتوليف المناظر. تظهر نتائج توليف المناظر بصورة أفضل كمقاطع فيديو، لذا نحث القراء على مشاهدة الفيديو التكميلي للحصول على مقارنات مقنعة.

الملخص الأصلي (بالإنجليزية)

We present a method that achieves state-of-the-art results for synthesizing novel views of complex scenes by optimizing an underlying continuous volumetric scene function using a sparse set of input views. Our algorithm represents a scene using a fully-connected (non-convolutional) deep network, whose input is a single continuous 5D coordinate (spatial location $(x, y, z)$ and viewing direction $(θ, φ)$ ) and whose output is the volume density and view-dependent emitted radiance at that spatial location. We synthesize views by querying 5D coordinates along camera rays and use classic volume rendering techniques to project the output colors and densities into an image. Because volume rendering is naturally differentiable, the only input required to optimize our representation is a set of images with known camera poses. We describe how to effectively optimize neural radiance fields to render photorealistic novel views of scenes with complicated geometry and appearance, and demonstrate results that outperform prior work on neural rendering and view synthesis. View synthesis results are best viewed as videos, so we urge readers to view our supplementary video for convincing comparisons.

دليل القراءة

المشكلة والدافع

اعتمد توليف المناظر الجديدة من الصور الملتقطة تقليديًا على التمثيلات الحجمية المنفصلة (مثل شبكات الفوكسل أو الصور متعددة المستويات) أو الشبكات السطحية. ومع ذلك، تؤدي شبكات الفوكسل المنفصلة إلى متطلبات ذاكرة وحوسبة هائلة تتزايد تكعيبيًا مع الدقة، بينما يعاني التحسين القابل للاشتقاق المعتمد على الشبكات السطحية من صعوبات في فضاء التحسين ويتطلب طوبولوجيا أولية جيدة. أما التمثيلات العصبية الضمنية السابقة للمشاهد، فكانت تعين الإحداثيات مباشرة إلى دوال المسافة ذات الإشارة أو نقاط سطحية مفردة، مما جعلها تعاني مع الهندسة المعقدة، والتأثيرات المعتمدة على زاوية الرؤية (مثل الانعكاسات المرآوية)، والتفاصيل عالية التردد، مما أدى إلى نتائج مفرطة التنعيم.

الأفكار الرئيسية

دالة مشهد خماسية الأبعاد مستمرة: تمثيل المشهد الثابت كدالة مستمرة ضمنية $F_{Θ} : (x, d) \to (c, σ)$ ، تعين الموقع ثلاثي الأبعاد $x = (x, y, z)$ واتجاه الرؤية ثنائي الأبعاد $d = (θ, ϕ)$ إلى إشعاع RGB المنبعث $c$ والكثافة الحجمية $σ$ .
الاتساق متعدد الرؤى عبر التنبؤ غير المتماثل: يُتنبأ بالكثافة $σ$ بالاعتماد فقط على الموضع $x$ (الهندسة ثابتة بغض النظر عن زاوية الرؤية)، بينما يعتمد اللون المنبعث $c$ على كل من الموضع $x$ واتجاه الرؤية $d$ (مما يتيح تمثيل الانعكاسات اللامعة وغير اللامبرتية).
الترميز الموضعي عالي التردد: التغلب على التحيز الطيفي لشبكات MLP نحو الترددات المنخفضة من خلال تعيين إحداثيات المدخلات منخفضة الأبعاد إلى فضاءات عالية الأبعاد باستخدام دوال الأساس الجيبية.
التصيير الحجمي القابل للاشتقاق وأخذ العينات الهرمي: استخدام التربيع العددي لتجميع العينات المستمرة على طول الأشعة وتحويلها إلى ألوان بكسل ثنائية الأبعاد، والتي تُحسَّن من البداية إلى النهاية بالاستناد إلى الصور المدخلة، مع تسريعها بواسطة أخذ عينات هرمي يبدأ من الخشن إلى الدقيق.

الطريقة (مع المعادلات الرئيسية)

لشعاع الكاميرا $r (t) = o + t d$ المحصور بين المستويين القريب والبعيد $t_{n}$ و $t_{f}$ ، فإن اللون المتوقع المستمر $C (r)$ هو: $C (r) = \int_{t_{n}}^{t_{f}} T (t) σ (r (t)) c (r (t), d) d t, T (t) = exp (- \int_{t_{n}}^{t} σ (r (s)) d s)$ حيث يمثل $T (t)$ النفاذية المتراكمة.

ولحساب ذلك عدديًا، يتم تقسيم النطاق المستمر إلى $N$ جزء ويُقيَّم باستخدام أخذ العينات الطبقي، مما ينتج تربيعًا منفصلاً مكافئًا للتركيب اللوني الشفاف (alpha compositing): $\hat{C} (r) = i = 1 \sum N T_{i} (1 - exp (- σ_{i} δ_{i})) c_{i}, T_{i} = exp (- j = 1 \sum i - 1 σ_{j} δ_{j})$ حيث $δ_{i} = t_{i + 1} - t_{i}$ .

ولالتقاط الهندسة والإكساءات عالية التردد، يتم تعيين المدخلات عبر ترميز موضعي $γ (p)$ : $γ (p) = (sin (2^{0} π p), cos (2^{0} π p), \dots, sin (2^{L - 1} π p), cos (2^{L - 1} π p))$ مع $L = 10$ لـ $x$ و $L = 4$ لـ $d$ .

لأخذ العينات بكفاءة، يقوم NeRF بتحسين شبكتين بالتزامن (شبكة تقريبية خشنة بعدد عينات $N_{c} = 64$ وشبكة دقيقة بعدد $N_{f} = 128$ عينة إضافية). تحدد أوزان العينات الخشنة $w_{i} = T_{i} (1 - exp (- σ_{i} δ_{i}))$ دالة كثافة احتمالية ثابتة تدريجيًا على امتداد الشعاع، والتي تُسحب منها العينات الدقيقة عبر أخذ العينات بالتحويل العكسي.

يتم تدريب النموذج بالكامل عن طريق تقليل إجمالي الخطأ التربيعي عبر حزمة من الأشعة $R$ : $L = r \in R \sum [\hat{C}_{c} (r) - C (r)_{2}^{2} + \hat{C}_{f} (r) - C (r)_{2}^{2}]$

النتائج (مع أهم الأرقام)

مشاهد اصطناعية واقعية بزاوية $36 0^{\circ}$ : حقق NeRF نتائج بلغت 31.01 dB في PSNR، و0.947 في SSIM، و0.081 في LPIPS، متفوقًا بشكل ملحوظ على النماذج المقارنة مثل NV (26.05 dB)، وLLFF (24.88 dB)، وSRN (22.26 dB).
مشاهد اصطناعية عاكسة للضوء (Diffuse) بزاوية $36 0^{\circ}$ : حصل NeRF على 40.15 dB في PSNR و0.991 في SSIM، مقارنة بـ DeepVoxels (متوسط 30.55 dB مستنتج من نتائج المشاهد الفردية) وLLFF (34.38 dB).
مشاهد حقيقية موجهة للأمام: حقق 26.50 dB في PSNR، متفوقًا على LLFF (24.13 dB) وSRN (22.84 dB).
كفاءة التخزين: يتطلب نموذج NeRF المدرب بالكامل حوالي 5 ميجابايت فقط لأوزان الـ MLP—وهو ما يمثل تقليلًا في التخزين بنحو $3000 \times$ مقارنة بتمثيلات الفوكسل لـ LLFF (أكثر من 15 جيجابايت لكل مشهد).

القيود والأسئلة المفتوحة

وقت التدريب والتصيير: يستغرق تحسين المشهد من 100 ألف إلى 300 ألف تكرار (حوالي يوم إلى يومين على وحدة معالجة رسوميات واحدة من طراز NVIDIA V100). ويتطلب تصيير إطار واحد من 150 إلى 200 مليون استعلام لشبكة الـ MLP، مستغرقًا ما يقارب 30 ثانية.
قابلية تفسير النموذج: على عكس شبكات الفوكسل أو الشبكات المضلعية، يكون المشهد محبوسًا داخل أوزان MLP، مما يجعل التعديل المباشر، والفحص، وتصحيح الأخطاء أمرًا صعبًا.
متطلبات الالتقاط المحكوم: تفترض الطريقة معرفة أوضاع الكاميرا بدقة (باستخدام COLMAP مثلًا)، ومشاهد ثابتة، وإضاءة متسقة، ومجالات إحاطة واضحة للمشهد.

المصطلحات الرئيسية

Neural Radiance Field (NeRF): تمثيل حجمي مستمر خماسي الأبعاد للمشهد يتم تعريفه بواسطة شبكة عصبية عميقة متصلة بالكامل تعين الإحداثيات المكانية واتجاهات الرؤية إلى كثافة حجمية وإشعاع منبعث.
Positional Encoding: تعيين جيبي حتمي $γ (p)$ يسقط إحداثيات المدخلات المستمرة في فضاءات ترددية ذات أبعاد أعلى، مما يمكّن الشبكة من تعلم التفاصيل عالية التردد.
Volume Density: عتمة تفاضلية غير معتمدة على زاوية الرؤية $σ (x)$ تمثل احتمالية توقف شعاع الكاميرا عند نقطة متناهية الصغر في الفضاء ثلاثي الأبعاد.
Transmittance: احتمالية $T (t)$ انتقال شعاع الكاميرا من مستوى القطع القريب إلى مسافة معينة على طول الشعاع دون أن يصطدم بأي جسيمات في المشهد.
Hierarchical Volume Sampling: طريقة لأخذ العينات من الخشن إلى الدقيق تستخدم كثافات الأشعة المقدرة بواسطة شبكة تقريبية لبناء توزيع احتمالي غير منتظم لأخذ عينات إضافية على طول الشعاع للشبكة الدقيقة.
Stratified Sampling: إجراء لأخذ العينات يقسم نطاق عمق الشعاع إلى خانات متساوية المسافات ويسحب عشوائيًا عينة مستمرة واحدة لكل خانة لتمكين التقييم المستمر أثناء التحسين.
Normalized Device Coordinates (NDC): فضاء إحداثيات يُعين منظور الرؤية للملتقطات الموجهة للأمام إلى $[- 1, 1]^{3}$ ، مما يجعل محور الكاميرا خطيًا في التفاوت (disparity).

أسئلة شائعة

لماذا تعتمد الكثافة على الموضع فقط، بينما يعتمد اللون على الموضع واتجاه الرؤية معًا؟

يضمن حصر الكثافة $σ$ بالاعتماد على الموقع المكاني $x$ فقط تحقيق الاتساق الهندسي عبر وجهات النظر المتعددة، بينما يتيح السماح للون $c$ باستقبال اتجاه الرؤية $d$ كمدخل للـ MLP تمثيل الظواهر غير اللامبرتية المعتمدة على زاوية النظر، مثل الانعكاسات المرآوية اللامعة.

كيف يختلف الترميز الموضعي في NeRF عن الترميز الموضعي في نماذج Transformers؟

تستخدم نماذج Transformers الترميز الموضعي لإدخال الترتيب المنفصل للرموز داخل وحدات الانتباه غير المتأثرة بالترتيب، بينما يستخدم NeRF الترميز الجيبي لتعيين الإحداثيات المستمرة منخفضة الأبعاد إلى فضاء عالي الأبعاد لتجاوز التحيز الطيفي لشبكات MLP نحو الترددات المنخفضة.

ما هي المدخلات المطلوبة لتحسين NeRF من البداية؟

يتطلب NeRF فقط مجموعة من صور RGB ثنائية الأبعاد المعايرة لمشهد ثابت مع معرفة المعلمات الداخلية للكاميرا، ووضعيات الكاميرا، والحدود القريبة والبعيدة للمشهد (المستخرجة باستخدام COLMAP للبيانات الحقيقية أو الوضعيات الدقيقة للبيانات الاصطناعية).

كم من الوقت يستغرقه NeRF في التدريب والتصيير؟

يستغرق تدريب مشهد واحد ما بين 100 ألف و300 ألف تكرار (حوالي يوم إلى يومين) على وحدة معالجة رسوميات NVIDIA V100. ويتطلب تصيير مناظر جديدة تقييم 150 إلى 200 مليون استعلام إحداثي لكل صورة، وهو ما يستغرق نحو 30 ثانية لكل إطار.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي