NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

Ben Mildenhall; Pratul P. Srinivasan; Matthew Tancik; Jonathan T. Barron; Ravi Ramamoorthi; Ren Ng

Makaleler · arXiv 2003.08934

NeRF: Görünüm Sentezi İçin Sahnelerin Nöral Işınım Alanları Olarak Temsil Edilmesi

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren Ng

Yayımlanma 2020-03-19cs.CVcs.GR arXiv PDF

Çeviri ve yapay zekâ ile oku

Üç satırda özet

🎯 Ayrık voksel ızgaraları veya vekil poligon ağ geometrisi olmadan karmaşık 3D sahnelerin yüksek çözünürlüklü fotogerçekçi yeni görünümlerini sentezleme.
🔧 Konumsal kodlama, türevlenebilir hacim işleme ve hiyerarşik örnekleme kullanan bir MLP tarafından eşlenen sürekli 5D fonksiyonlar olarak statik sahneleri temsil etme.
📈 Gerçekçi sentetik sahnelerde 31,01 dB PSNR değerine ulaşarak ve sahne temsillerini ~5 MB seviyesine sıkıştırarak en güncel görünüm sentezi başarımı sağlandı.

Özet

Karmaşık sahnelerin seyrek bir girdi görünüm kümesini kullanarak altta yatan sürekli hacimsel sahne fonksiyonunu optimize etmek suretiyle, yeni görünümlerin sentezlenmesinde en son teknolojiyi (state-of-the-art) yakalayan bir yöntem sunuyoruz. Algoritmamız bir sahneyi, girdisi tek bir sürekli 5D koordinat (uzamsal konum $(x, y, z)$ ve bakış doğrultusu $(θ, ϕ)$ ) ve çıktısı bu uzamsal konumdaki hacim yoğunluğu ile bakış açısına bağlı yayılan ışınım olan tam bağlantılı (konvolüsyonel olmayan) derin bir ağ kullanarak temsil eder. Görünümleri, kamera ışınları boyunca 5D koordinatları sorgulayarak sentezliyor ve çıktı renkleri ile yoğunluklarını bir görüntüye yansıtmak için klasik hacim işleme (volume rendering) tekniklerini kullanıyoruz. Hacim işleme doğal olarak türevlenebilir olduğundan, temsilimizi optimize etmek için gereken tek girdi, kamera pozları bilinen bir görüntü kümesidir. Karmaşık geometriye ve görünüme sahip sahnelerin fotogerçekçi yeni görünümlerini işlemek için nöral ışınım alanlarının nasıl etkili bir şekilde optimize edileceğini açıklıyor ve nöral işleme ile görünüm sentezi üzerine önceki çalışmaları geride bırakan sonuçlar ortaya koyuyoruz. Görünüm sentezi sonuçları en iyi video olarak izlenebilir; bu nedenle okuyucuları ikna edici karşılaştırmalar için ek videomuzu izlemeye davet ediyoruz.

Orijinal özet (İngilizce)

We present a method that achieves state-of-the-art results for synthesizing novel views of complex scenes by optimizing an underlying continuous volumetric scene function using a sparse set of input views. Our algorithm represents a scene using a fully-connected (non-convolutional) deep network, whose input is a single continuous 5D coordinate (spatial location $(x, y, z)$ and viewing direction $(θ, φ)$ ) and whose output is the volume density and view-dependent emitted radiance at that spatial location. We synthesize views by querying 5D coordinates along camera rays and use classic volume rendering techniques to project the output colors and densities into an image. Because volume rendering is naturally differentiable, the only input required to optimize our representation is a set of images with known camera poses. We describe how to effectively optimize neural radiance fields to render photorealistic novel views of scenes with complicated geometry and appearance, and demonstrate results that outperform prior work on neural rendering and view synthesis. View synthesis results are best viewed as videos, so we urge readers to view our supplementary video for convincing comparisons.

Okuma rehberi

Problem ve motivasyon

Yakalana görüntülerden yeni görünüm sentezi geleneksel olarak ayrık hacimsel temsillere (voksel ızgaraları veya çok düzlemli görüntüler gibi) ya da yüzey ağlarına (meshes) dayanıyordu. Bununla birlikte, ayrıklaştırılmış voksel ızgaraları, çözünürlükle kübik olarak ölçeklenen aşırı bellek ve hesaplama maliyetleri doğururken, ağ tabanlı türevlenebilir optimizasyon ise zayıf optimizasyon yüzeylerinden muzdariptir ve iyi bir başlangıç topolojisi gerektirir. Önceki örtük nöral sahne temsilleri, koordinatları doğrudan işaretli mesafe fonksiyonlarına veya tek yüzey noktalarına eşleyerek karmaşık geometri, bakış açısına bağlı etkiler (parlamalar gibi) ve yüksek frekanslı ayrıntılarla mücadele etmekte zorlanmış ve aşırı pürüzsüzleştirilmiş sonuçlar vermiştir.

Temel fikirler

Sürekli 5D Sahne Fonksiyonu: Statik bir sahneyi, bir 3D konumu $x = (x, y, z)$ ve 2D bakış doğrultusunu $d = (θ, ϕ)$ yayılan RGB ışınımına $c$ ve hacim yoğunluğuna $σ$ eşleyen örtük bir sürekli fonksiyon $F_{Θ} : (x, d) \to (c, σ)$ olarak temsil etmek.
Asimetrik Tahmin Yoluyla Çoklu Görünüm Tutarlılığı: Yoğunluk $σ$ yalnızca $x$ konumundan tahmin edilirken (geometri bakış açısından bağımsızdır), yayılan renk $c$ hem $x$ konumuna hem de bakış doğrultusuna $d$ bağlıdır (aynasal ve Lambertian olmayan yansımaları mümkün kılar).
Yüksek Frekanslı Konumsal Kodlama (Positional Encoding): MLP'lerin düşük frekanslara yönelik spektral yanlılığını (spectral bias), düşük boyutlu girdi koordinatlarını sinüzoidal taban fonksiyonları kullanarak yüksek boyutlu uzaylara eşleyerek aşmak.
Türevlenebilir Hacim İşleme ve Hiyerarşik Örnekleme: Işınlar boyunca alınan sürekli örnekleri 2D piksel renklerinde toplamak için sayısal kareleme (numerical quadrature) yöntemi kullanmak; bu işlem girdi fotoğraflarına karşı uçtan uca optimize edilir ve kabadan inceye hiyerarşik örnekleme ile hızlandırılır.

Yöntem (temel denklemlerle)

Yakın ve uzak düzlemler $t_{n}$ ve $t_{f}$ ile sınırlandırılmış bir kamera ışını $r (t) = o + t d$ için beklenen sürekli renk $C (r)$ şöyledir: $C (r) = \int_{t_{n}}^{t_{f}} T (t) σ (r (t)) c (r (t), d) d t, T (t) = exp (- \int_{t_{n}}^{t} σ (r (s)) d s)$ burada $T (t)$ birikimli geçirgenliktir (transmittance).

Bunu sayısal olarak hesaplamak için sürekli aralık $N$ adet bölmeye (bin) ayrılır ve tabakalı örnekleme (stratified sampling) ile değerlendirilir; bu da alfa kompozit işlemine eşdeğer ayrık bir kareleme sağlar: $\hat{C} (r) = i = 1 \sum N T_{i} (1 - exp (- σ_{i} δ_{i})) c_{i}, T_{i} = exp (- j = 1 \sum i - 1 σ_{j} δ_{j})$ burada $δ_{i} = t_{i + 1} - t_{i}$ şeklindedir.

Yüksek frekanslı geometriyi ve dokuyu yakalamak için girdiler $γ (p)$ konumsal kodlaması ile eşlenir: $γ (p) = (sin (2^{0} π p), cos (2^{0} π p), \dots, sin (2^{L - 1} π p), cos (2^{L - 1} π p))$ burada $x$ için $L = 10$ ve $d$ için $L = 4$ kullanılır.

Verimli örnekleme yapmak için NeRF eşzamanlı olarak iki ağı optimize eder (kaba ağ için $N_{c} = 64$ örnek ve ince ağ için $N_{f} = 128$ ek örnek). Kaba örnek ağırlıkları $w_{i} = T_{i} (1 - exp (- σ_{i} δ_{i}))$ , ışın boyunca parçalı-sabit bir olasılık yoğunluk fonksiyonu tanımlar ve ince örnekler bu fonksiyondan ters dönüşüm örneklemesi yoluyla çekilir.

Tüm model, bir ışın kümesi $R$ üzerindeki toplam kare hatayı en aza indirerek eğitilir: $L = r \in R \sum [\hat{C}_{c} (r) - C (r)_{2}^{2} + \hat{C}_{f} (r) - C (r)_{2}^{2}]$

Sonuçlar (en önemli sayılarla)

Gerçekçi Sentetik $36 0^{\circ}$ : NeRF; 31,01 dB PSNR, 0,947 SSIM ve 0,081 LPIPS değerlerine ulaşarak NV (26,05 dB), LLFF (24,88 dB) ve SRN (22,26 dB) gibi referans yöntemleri belirgin bir farkla geride bırakmıştır.
Yayınımlı (Diffuse) Sentetik $36 0^{\circ}$ : NeRF, DeepVoxels (sahne başına skorlardan elde edilen 30,55 dB ortalama) ve LLFF (34,38 dB) modellerine kıyasla 40,15 dB PSNR ve 0,991 SSIM elde etmiştir.
Gerçek İleriye Bakan Sahneler: 26,50 dB PSNR elde ederek LLFF (24,13 dB) ve SRN (22,84 dB) modellerini aşmıştır.
Depolama Verimliliği: Tam eğitilmiş bir NeRF modeli MLP ağırlıkları için yaklaşık 5 MB yer kaplar—bu, LLFF voksel temsillerine (>sahne başına 15 GB) kıyasla yaklaşık $3000 \times$ depolama kazancı demektir.

Kısıtlamalar ve açık sorular

Eğitim ve İşleme Süresi: Bir sahneyi optimize etmek 100 bin–300 bin yineleme sürer (tek bir NVIDIA V100 GPU üzerinde yaklaşık 1–2 gün). Tek bir kareyi işlemek 150–200 milyon MLP sorgusu gerektirir ve yaklaşık 30 saniye sürer.
Model Yorumlanabilirliği: Voksel ızgaraları veya poligon ağlarının aksine, sahne bir MLP'nin ağırlıkları içine kilitlenmiştir; bu da doğrudan düzenlemeyi, incelemeyi ve hata ayıklamayı zorlaştırır.
Kontrollü Çekim Gereksinimleri: Yöntem, bilinen kamera pozlarını (örneğin COLMAP ile elde edilen), statik sahneleri, tutarlı aydınlatmayı ve net sahne sınırlayıcı hacimlerini varsayar.

Temel terimler

Neural Radiance Field (NeRF): Uzamsal koordinatları ve bakış doğrultularını hacim yoğunluğuna ve yayılan ışınıma eşleyen derin ve tam bağlantılı bir yapay sinir ağı tarafından parametrelendirilen sürekli bir 5D hacimsel sahne temsili.
Positional Encoding: Sürekli girdi koordinatlarını daha yüksek boyutlu frekans uzaylarına yansıtan ve ağın yüksek frekanslı ayrıntıları öğrenmesini sağlayan deterministik bir sinüzoidal eşleme $γ (p)$ .
Volume Density: Bir kamera ışınının 3D uzaydaki sonsuz küçük bir noktada sonlanma olasılığını modelleyen, bakış açısından bağımsız bir diferansiyel opaklık $σ (x)$ .
Transmittance: Bir kamera ışınının yakın kırpma düzleminden ışın boyunca belirli bir mesafeye kadar herhangi bir sahne parçacığına çarpmadan ilerleme olasılığı $T (t)$ .
Hierarchical Volume Sampling: Kaba bir ağ tarafından tahmin edilen ışın yoğunluklarını kullanarak ince bir ağ için ışın boyunca ek noktalar örneklemek üzere tekdüze olmayan bir olasılık dağılımı oluşturan kabadan inceye bir örnekleme yöntemi.
Stratified Sampling: Optimizasyon sırasında sürekli değerlendirmeyi mümkün kılmak için ışının derinlik aralığını eşit aralıklı bölmelere ayıran ve bölme başına rastgele bir sürekli örnek çeken bir örnekleme prosedürü.
Normalized Device Coordinates (NDC): İleriye bakan çekimlerin perspektif bakış hacmini (frustum) $[- 1, 1]^{3}$ aralığına eşleyerek kamera eksenini disparite cinsinden doğrusal hale getiren bir koordinat uzayı.

Sorular

Yoğunluk neden yalnızca konuma bağlıyken, renk hem konuma hem de bakış doğrultusuna bağlıdır?

Yoğunluk $σ$ 'nın yalnızca uzamsal $x$ konumuna bağlı olarak kısıtlanması bakış açıları arasında çoklu görünüm geometrik tutarlılığını zorunlu kılar; renk $c$ 'nin bakış doğrultusunu $d$ girdi olarak almasına izin verilmesi ise MLP'nin aynasal yansımalar gibi bakış açısına bağımlı Lambertian olmayan olguları temsil etmesini sağlar.

NeRF'teki konumsal kodlama (positional encoding) Transformers modelindeki konumsal kodlamadan nasıl farklıdır?

Transformer modelleri permütasyondan bağımsız dikkat bloklarına ayrık belirteç (token) sırasını eklemek için konumsal kodlamaları kullanırken, NeRF sürekli düşük boyutlu koordinatları daha yüksek boyutlu bir uzaya eşleyerek MLP'lerin düşük frekanslara olan spektral yanlılığını (spectral bias) aşmak için sinüzoidal kodlamalar kullanır.

Sıfırdan bir NeRF optimize etmek için hangi girdiler gereklidir?

NeRF yalnızca, bilinen kamera iç parametrelerine, kamera pozlarına ve yakın/uzak sahne sınırlarına sahip statik bir sahnenin kalibre edilmiş 2D RGB görüntü kümesine ihtiyaç duyar (bu veriler gerçek görüntüler için COLMAP kullanılarak veya sentetik veriler için gerçek zemin pozları ile elde edilir).

NeRF modelini eğitmek ve görüntü işlemek ne kadar sürer?

Tek bir sahneyi eğitmek tek bir NVIDIA V100 GPU üzerinde 100 bin ile 300 bin yineleme (yaklaşık 1 ila 2 gün) sürer. Yeni görünümleri işlemek ise görüntü başına 150 ila 200 milyon koordinat sorgusunun değerlendirilmesini gerektirir ve kare başına yaklaşık 30 saniye alır.

Bu sayfadaki açıklama yapay zekâ tarafından makaleden yazılmıştır ve hata içerebilir. Ayrıntılar için makaleyi okuyun.

Çeviri ve yapay zekâ ile oku