NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

Ben Mildenhall; Pratul P. Srinivasan; Matthew Tancik; Jonathan T. Barron; Ravi Ramamoorthi; Ren Ng

Makalah · arXiv 2003.08934

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren Ng

Terbit 2020-03-19cs.CVcs.GR arXiv PDF

Baca dengan terjemahan dan AI

Ringkasan tiga baris

🎯 Menyintesis sudut pandang baru yang fotorealistis beresolusi tinggi dari pemandangan 3D kompleks tanpa discrete voxel grid atau geometri proxy mesh.
🔧 Merepresentasikan pemandangan statis sebagai fungsi 5D kontinu yang dipetakan oleh MLP menggunakan positional encoding, differentiable volume rendering, dan hierarchical sampling.
📈 Mencapai sintesis sudut pandang mutakhir, meraih PSNR 31,01 dB pada pemandangan sintetis realistis dan mengompresi representasi pemandangan hingga ~5 MB.

Abstrak

Kami menyajikan metode yang mencapai hasil mutakhir untuk sintesis sudut pandang baru (novel view synthesis) dari pemandangan kompleks dengan mengoptimalkan fungsi pemandangan volumetrik kontinu menggunakan sekumpulan sudut pandang masukan yang jarang. Algoritma kami merepresentasikan pemandangan menggunakan jaringan terhubung penuh (non-konvolusional), yang masukannya adalah koordinat 5D kontinu tunggal (lokasi spasial $(x, y, z)$ dan arah pandang $(θ, φ)$ ) dan keluarannya adalah densitas volume serta radiansi terpancar yang bergantung pada sudut pandang di lokasi spasial tersebut. Kami menyintesis sudut pandang dengan menanyakan koordinat 5D di sepanjang sinar kamera dan menggunakan teknik volume rendering klasik untuk memproyeksikan warna dan densitas keluaran menjadi sebuah citra. Karena volume rendering secara alami dapat diturunkan (differentiable), satu-satunya masukan yang diperlukan untuk mengoptimalkan representasi kami adalah sekumpulan citra dengan pose kamera yang diketahui. Kami menjelaskan cara mengoptimalkan neural radiance field secara efektif untuk merender sudut pandang baru yang fotorealistis dari pemandangan dengan geometri dan penampilan rumit, serta menunjukkan hasil yang mengungguli karya sebelumnya pada neural rendering dan sintesis sudut pandang. Hasil sintesis sudut pandang paling baik dilihat dalam bentuk video, sehingga kami menyarankan pembaca untuk melihat video pelengkap kami untuk perbandingan yang meyakinkan.

Abstrak asli (bahasa Inggris)

We present a method that achieves state-of-the-art results for synthesizing novel views of complex scenes by optimizing an underlying continuous volumetric scene function using a sparse set of input views. Our algorithm represents a scene using a fully-connected (non-convolutional) deep network, whose input is a single continuous 5D coordinate (spatial location $(x, y, z)$ and viewing direction $(θ, φ)$ ) and whose output is the volume density and view-dependent emitted radiance at that spatial location. We synthesize views by querying 5D coordinates along camera rays and use classic volume rendering techniques to project the output colors and densities into an image. Because volume rendering is naturally differentiable, the only input required to optimize our representation is a set of images with known camera poses. We describe how to effectively optimize neural radiance fields to render photorealistic novel views of scenes with complicated geometry and appearance, and demonstrate results that outperform prior work on neural rendering and view synthesis. View synthesis results are best viewed as videos, so we urge readers to view our supplementary video for convincing comparisons.

Panduan membaca

Masalah dan motivasi

Sintesis sudut pandang baru (novel view synthesis) dari citra yang ditangkap secara tradisional mengandalkan representasi volumetrik diskret (seperti voxel grid atau multiplane image) atau jerat permukaan (surface mesh). Namun, voxel grid diskret membutuhkan memori dan komputasi sangat besar yang berskala kubik terhadap resolusi, sementara optimasi diferensiabel berbasis mesh memiliki lanskap optimasi yang buruk dan memerlukan topologi awal yang baik. Representasi pemandangan saraf implisit sebelumnya memetakan koordinat secara langsung ke signed distance function atau titik permukaan tunggal, yang kesulitan menangani geometri kompleks, efek yang bergantung pada sudut pandang (seperti pantulan spekular), dan detail frekuensi tinggi, sehingga menghasilkan luaran yang terlalu halus (oversmoothed).

Ide utama

Continuous 5D Scene Function: Merepresentasikan pemandangan statis sebagai fungsi kontinu implisit $F_{Θ} : (x, d) \to (c, σ)$ , yang memetakan lokasi 3D $x = (x, y, z)$ dan arah pandang 2D $d = (θ, ϕ)$ ke radiansi RGB yang dipancarkan $c$ serta densitas volume $σ$ .
Multiview Consistency via Asymmetric Prediction: Densitas $σ$ hanya diprediksi dari posisi $x$ (geometri invarian terhadap sudut pandang), sedangkan warna yang dipancarkan $c$ bergantung pada posisi $x$ dan arah pandang $d$ (memungkinkan pantulan spekular dan non-Lambertian).
High-Frequency Positional Encoding: Mengatasi bias spektral MLP terhadap frekuensi rendah dengan memetakan koordinat masukan berdimensi rendah ke ruang berdimensi tinggi menggunakan fungsi basis sinusoidal.
Differentiable Volume Rendering & Hierarchical Sampling: Menerapkan kuadratur numerik untuk mengumpulkan sampel kontinu di sepanjang sinar menjadi warna piksel 2D, dioptimalkan secara end-to-end terhadap foto masukan, dipercepat oleh hierarchical sampling coarse-to-fine.

Metode (dengan persamaan utama)

Untuk sinar kamera $r (t) = o + t d$ yang dibatasi oleh bidang dekat dan jauh $t_{n}$ dan $t_{f}$ , warna kontinu yang diharapkan $C (r)$ adalah: $C (r) = \int_{t_{n}}^{t_{f}} T (t) σ (r (t)) c (r (t), d) d t, T (t) = exp (- \int_{t_{n}}^{t} σ (r (s)) d s)$ di mana $T (t)$ adalah transmitansi terakumulasi.

Untuk menghitung ini secara numerik, interval kontinu dipartisi menjadi $N$ bin dan dievaluasi dengan stratified sampling, menghasilkan kuadratur diskret yang setara dengan alpha compositing: $\hat{C} (r) = i = 1 \sum N T_{i} (1 - exp (- σ_{i} δ_{i})) c_{i}, T_{i} = exp (- j = 1 \sum i - 1 σ_{j} δ_{j})$ di mana $δ_{i} = t_{i + 1} - t_{i}$ .

Untuk menangkap geometri dan tekstur frekuensi tinggi, masukan dipetakan melalui positional encoding $γ (p)$ : $γ (p) = (sin (2^{0} π p), cos (2^{0} π p), \dots, sin (2^{L - 1} π p), cos (2^{L - 1} π p))$ dengan $L = 10$ untuk $x$ dan $L = 4$ untuk $d$ .

Untuk pengambilan sampel yang efisien, NeRF secara bersamaan mengoptimalkan dua jaringan (kasar/coarse dengan $N_{c} = 64$ sampel dan halus/fine dengan $N_{f} = 128$ sampel tambahan). Bobot sampel kasar $w_{i} = T_{i} (1 - exp (- σ_{i} δ_{i}))$ mendefinisikan fungsi kepadatan probabilitas piecewise-constant di sepanjang sinar, yang darinya sampel halus diambil melalui inverse transform sampling.

Seluruh model dilatih dengan meminimalkan total galat kuadrat pada batch sinar $R$ : $L = r \in R \sum [\hat{C}_{c} (r) - C (r)_{2}^{2} + \hat{C}_{f} (r) - C (r)_{2}^{2}]$

Hasil (dengan angka-angka terpenting)

Realistic Synthetic $36 0^{\circ}$ : NeRF mencapai PSNR 31,01 dB, SSIM 0,947, dan LPIPS 0,081, secara substansial mengungguli baseline seperti NV (26,05 dB), LLFF (24,88 dB), dan SRN (22,26 dB).
Diffuse Synthetic $36 0^{\circ}$ : NeRF memperoleh PSNR 40,15 dB dan SSIM 0,991, dibandingkan dengan DeepVoxels (rerata 30,55 dB tersirat dari skor per pemandangan) dan LLFF (34,38 dB).
Real Forward-Facing Scenes: Mencapai PSNR 26,50 dB, melampaui LLFF (24,13 dB) dan SRN (22,84 dB).
Storage Efficiency: Model NeRF yang terlatih penuh hanya membutuhkan sekitar 5 MB dalam bobot MLP—sekitar $3000 \times$ reduksi penyimpanan dibandingkan representasi voxel LLFF (>15 GB per pemandangan).

Keterbatasan dan pertanyaan terbuka

Waktu Pelatihan dan Rendering: Mengoptimalkan satu pemandangan membutuhkan 100 ribu–300 ribu iterasi (sekitar 1–2 hari pada satu GPU NVIDIA V100). Merender satu frame memerlukan 150–200 juta kueri MLP, memakan waktu ~30 detik.
Interpretabilitas Model: Tidak seperti voxel grid atau polygon mesh, pemandangan terkunci di dalam bobot MLP, membuat penyuntingan langsung, inspeksi, dan pelacakan kesalahan menjadi sulit.
Kebutuhan Pengambilan Gambar yang Terkontrol: Metode ini mengasumsikan pose kamera yang diketahui (misalnya, dari COLMAP), pemandangan statis, pencahayaan yang konsisten, dan volume pembatas pemandangan yang bersih.

Istilah kunci

Neural Radiance Field (NeRF): Representasi pemandangan volumetrik 5D kontinu yang diparametrisasi oleh jaringan saraf terhubung penuh mendalam yang memetakan koordinat spasial dan arah pandang ke densitas volume serta radiansi yang dipancarkan.
Positional Encoding: Pemetaan sinusoidal deterministik $γ (p)$ yang memproyeksikan koordinat masukan kontinu ke dalam ruang frekuensi berdimensi lebih tinggi, memungkinkan jaringan mempelajari detail frekuensi tinggi.
Volume Density: Opasitas diferensial invarian sudut pandang $σ (x)$ yang memodelkan probabilitas sinar kamera terhenti pada titik infinitesimal di ruang 3D.
Transmittance: Probabilitas $T (t)$ bahwa sinar kamera merambat dari bidang kliping dekat ke jarak tertentu di sepanjang sinar tanpa terhenti pada partikel pemandangan mana pun.
Hierarchical Volume Sampling: Metode pengambilan sampel coarse-to-fine yang menggunakan densitas sinar yang diestimasi oleh jaringan kasar untuk membangun distribusi probabilitas non-seragam guna mengambil sampel titik tambahan di sepanjang sinar untuk jaringan halus.
Stratified Sampling: Prosedur pengambilan sampel yang membagi rentang kedalaman sinar menjadi bin dengan jarak teratur dan mengambil satu sampel acak kontinu per bin secara seragam untuk memungkinkan evaluasi kontinu selama optimasi.
Normalized Device Coordinates (NDC): Ruang koordinat yang memetakan frustum pandang perspektif dari penangkapan arah depan (forward-facing) ke $[- 1, 1]^{3}$ , membuat sumbu kamera linier dalam disparitas.

Pertanyaan

Mengapa densitas hanya dikondisikan pada posisi, sedangkan warna dikondisikan pada posisi dan arah pandang?

Membatasi densitas $σ$ hanya bergantung pada lokasi spasial $x$ memaksakan konsistensi geometris multi-sudut pandang di berbagai sudut pandang, sementara mengizinkan warna $c$ menerima arah pandang $d$ sebagai masukan memungkinkan MLP merepresentasikan fenomena non-Lambertian yang bergantung pada sudut pandang, seperti pantulan spekular.

Bagaimana perbedaan positional encoding di NeRF dengan positional encoding di Transformer?

Transformer menggunakan positional encoding untuk memasukkan urutan token diskret ke dalam blok atensi yang invarian terhadap permutasi, sedangkan NeRF menggunakan penyandian sinusoidal untuk memetakan koordinat kontinu berdimensi rendah ke ruang berdimensi lebih tinggi guna melompati bias spektral MLP terhadap frekuensi rendah.

Masukan apa saja yang diperlukan untuk mengoptimalkan NeRF dari awal?

NeRF hanya membutuhkan sekumpulan citra RGB 2D terkalibrasi dari pemandangan statis dengan intrinsik kamera, pose kamera, dan batas dekat/jauh pemandangan yang diketahui (diperoleh menggunakan COLMAP untuk data nyata atau pose ground-truth untuk data sintetis).

Berapa lama waktu yang dibutuhkan NeRF untuk pelatihan dan rendering?

Melatih satu pemandangan membutuhkan antara 100 ribu dan 300 ribu iterasi (kira-kira 1 hingga 2 hari) pada GPU NVIDIA V100. Merender sudut pandang baru memerlukan evaluasi 150 hingga 200 juta kueri koordinat per citra, memakan waktu sekitar 30 detik per frame.

Ulasan di halaman ini ditulis oleh AI dari makalah dan mungkin mengandung kesalahan. Baca makalahnya untuk detail.

Baca dengan terjemahan dan AI