NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

Ben Mildenhall; Pratul P. Srinivasan; Matthew Tancik; Jonathan T. Barron; Ravi Ramamoorthi; Ren Ng

Artigos · arXiv 2003.08934

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren Ng

Publicado em 2020-03-19cs.CVcs.GR arXiv PDF

Ler com tradução e IA

Resumo em três linhas

🎯 Síntese de novas visões fotorrealistas em alta resolução de cenas 3D complexas, sem grades de voxels discretas ou geometrias de malha intermediárias.
🔧 Representação de cenas estáticas como funções 5D contínuas mapeadas por uma MLP usando codificação posicional, renderização volumétrica diferenciável e amostragem hierárquica.
📈 Obteve estado da arte em síntese de visões, alcançando 31,01 dB de PSNR em cenas sintéticas realistas e comprimindo representações de cena para cerca de 5 MB.

Resumo

Apresentamos um método que atinge resultados de estado da arte na síntese de novas visões de cenas complexas por meio da otimização de uma função contínua volumétrica subjacente utilizando um conjunto esparso de visões de entrada. Nosso algoritmo representa uma cena usando uma rede neural profunda totalmente conectada (não convolucional), cuja entrada é uma única coordenada contínua 5D (localização espacial $(x, y, z)$ e direção de visualização $(θ, φ)$ ) e cuja saída é a densidade volumétrica e a radiância emitida dependente da visão naquele ponto espacial. Sintetizamos novas visões consultando coordenadas 5D ao longo de raios de câmera e usamos técnicas clássicas de renderização volumétrica para projetar as cores e densidades de saída em uma imagem. Como a renderização volumétrica é naturalmente diferenciável, a única entrada necessária para otimizar nossa representação é um conjunto de imagens com poses de câmera conhecidas. Descrevemos como otimizar efetivamente campos de radiância neurais para renderizar novas visões fotorrealistas de cenas com geometria e aparência intrincadas, demonstrando resultados que superam trabalhos anteriores em renderização neural e síntese de visões. Os resultados de síntese de visões são mais bem apreciados como vídeos, portanto recomendamos fortemente aos leitores que assistam ao nosso vídeo suplementar para comparações convincentes.

Resumo original (inglês)

We present a method that achieves state-of-the-art results for synthesizing novel views of complex scenes by optimizing an underlying continuous volumetric scene function using a sparse set of input views. Our algorithm represents a scene using a fully-connected (non-convolutional) deep network, whose input is a single continuous 5D coordinate (spatial location $(x, y, z)$ and viewing direction $(θ, φ)$ ) and whose output is the volume density and view-dependent emitted radiance at that spatial location. We synthesize views by querying 5D coordinates along camera rays and use classic volume rendering techniques to project the output colors and densities into an image. Because volume rendering is naturally differentiable, the only input required to optimize our representation is a set of images with known camera poses. We describe how to effectively optimize neural radiance fields to render photorealistic novel views of scenes with complicated geometry and appearance, and demonstrate results that outperform prior work on neural rendering and view synthesis. View synthesis results are best viewed as videos, so we urge readers to view our supplementary video for convincing comparisons.

Guia de leitura

Problema e motivação

A síntese de novas visões a partir de imagens capturadas tradicionalmente dependia de representações volumétricas discretas (como grades de voxels ou imagens multiplano) ou malhas de superfície. No entanto, grades de voxels discretizadas impõem custos proibitivos de memória e computação que escalam cubicamente com a resolução, enquanto a otimização diferenciável baseada em malhas sofre com paisagens de otimização ruins e exige uma topologia inicial adequada. Representações neurais implícitas de cena anteriores mapeavam coordenadas diretamente para funções de distância com sinal (signed distance functions) ou pontos de superfície única, enfrentando dificuldades com geometrias complexas, efeitos dependentes do ponto de vista (como especularidades) e detalhes de alta frequência, o que gerava resultados excessivamente suavizados.

Ideias centrais

Função de Cena Contínua 5D: Representa uma cena estática como uma função implícita contínua $F_{Θ} : (x, d) \to (c, σ)$ , mapeando uma localização 3D $x = (x, y, z)$ e uma direção de visualização 2D $d = (θ, ϕ)$ para a radiância RGB emitida $c$ e a densidade volumétrica $σ$ .
Consistência Multivisão via Predição Assimétrica: A densidade $σ$ é prevista unicamente a partir da posição $x$ (a geometria independe do ponto de vista), enquanto a cor emitida $c$ depende tanto da posição $x$ quanto da direção de visualização $d$ (permitindo realces especulares e não lambertianos).
Codificação Posicional de Alta Frequência: Supera o viés espectral das MLPs em direção a baixas frequências mapeando coordenadas de entrada de baixa dimensão para espaços de alta dimensão por meio de funções de base senoidais.
Renderização Volumétrica Diferenciável e Amostragem Hierárquica: Emprega quadratura numérica para acumular amostras contínuas ao longo dos raios em cores de pixels 2D, otimizada de ponta a ponta em relação às fotos de entrada e acelerada por amostragem hierárquica coarse-to-fine.

Método (com as equações principais)

Para um raio de câmera $r (t) = o + t d$ delimitado pelos planos próximo e distante $t_{n}$ e $t_{f}$ , a cor esperada contínua $C (r)$ é dada por: $C (r) = \int_{t_{n}}^{t_{f}} T (t) σ (r (t)) c (r (t), d) d t, T (t) = exp (- \int_{t_{n}}^{t} σ (r (s)) d s)$ onde $T (t)$ é a transmitância acumulada.

Para computar isso numericamente, o intervalo contínuo é particionado em $N$ compartimentos (bins) e avaliado com amostragem estratificada, resultando em uma quadratura discreta equivalente ao alpha compositing: $\hat{C} (r) = i = 1 \sum N T_{i} (1 - exp (- σ_{i} δ_{i})) c_{i}, T_{i} = exp (- j = 1 \sum i - 1 σ_{j} δ_{j})$ onde $δ_{i} = t_{i + 1} - t_{i}$ .

Para capturar geometria e textura de alta frequência, as entradas são mapeadas por meio da codificação posicional $γ (p)$ : $γ (p) = (sin (2^{0} π p), cos (2^{0} π p), \dots, sin (2^{L - 1} π p), cos (2^{L - 1} π p))$ com $L = 10$ para $x$ e $L = 4$ para $d$ .

Para realizar a amostragem com eficiência, o NeRF otimiza concomitantemente duas redes (coarse com $N_{c} = 64$ amostras e fine com $N_{f} = 128$ amostras adicionais). Os pesos das amostras da rede coarse $w_{i} = T_{i} (1 - exp (- σ_{i} δ_{i}))$ definem uma função de densidade de probabilidade constante por partes ao longo do raio, a partir da qual as amostras da rede fine são extraídas via amostragem por transformada inversa.

O modelo inteiro é treinado minimizando o erro quadrático total sobre um lote de raios $R$ : $L = r \in R \sum [\hat{C}_{c} (r) - C (r)_{2}^{2} + \hat{C}_{f} (r) - C (r)_{2}^{2}]$

Resultados (com os números mais importantes)

Sintético Realista $36 0^{\circ}$ : O NeRF alcançou 31,01 dB de PSNR, 0,947 de SSIM e 0,081 de LPIPS, superando substancialmente baselines como NV (26,05 dB), LLFF (24,88 dB) e SRN (22,26 dB).
Sintético Difuso $36 0^{\circ}$ : O NeRF obteve 40,15 dB de PSNR e 0,991 de SSIM, em comparação com DeepVoxels (média de 30,55 dB implícita pelas pontuações por cena) e LLFF (34,38 dB).
Cenas Reais Frontais (Forward-Facing): Atingiu 26,50 dB de PSNR, superando LLFF (24,13 dB) e SRN (22,84 dB).
Eficiência de Armazenamento: Um modelo NeRF totalmente treinado requer aproximadamente 5 MB em pesos de MLP — uma redução de armazenamento de cerca de $3000 \times$ em comparação com as representações em voxel do LLFF (>15 GB por cena).

Limitações e questões em aberto

Tempo de Treinamento e Renderização: Otimizar uma cena exige entre 100k e 300k iterações (aproximadamente 1 a 2 dias em uma única GPU NVIDIA V100). A renderização de um único quadro requer entre 150 e 200 milhões de consultas à MLP, levando cerca de 30 segundos.
Interpretabilidade do Modelo: Diferentemente de grades de voxels ou malhas poligonais, a cena fica retida nos pesos de uma MLP, dificultando a edição direta, inspeção e depuração de erros.
Requisitos de Captura Controlada: O método pressupõe poses de câmera conhecidas (por exemplo, obtidas via COLMAP), cenas estáticas, iluminação consistente e limites volumétricos bem definidos para a cena.

Termos-chave

Neural Radiance Field (NeRF): Uma representação volumétrica contínua 5D de cena parametrizada por uma rede neural profunda totalmente conectada que mapeia coordenadas espaciais e direções de visualização em densidade volumétrica e radiância emitida.
Positional Encoding (Codificação Posicional): Um mapeamento senoidal determinístico $γ (p)$ que projeta coordenadas de entrada contínuas em espaços de frequência de dimensão mais alta, permitindo que a rede aprenda detalhes de alta frequência.
Volume Density (Densidade Volumétrica): Uma opacidade diferencial independente do ponto de vista $σ (x)$ que modela a probabilidade de um raio de câmera terminar em um ponto infinitesimal no espaço 3D.
Transmittance (Transmitância): A probabilidade $T (t)$ de um raio de câmera percorrer a distância do plano de corte próximo até uma distância específica ao longo do raio sem colidir com nenhuma partícula da cena.
Hierarchical Volume Sampling (Amostragem Volumétrica Hierárquica): Um método de amostragem coarse-to-fine que utiliza as densidades de raio estimadas por uma rede coarse para construir uma distribuição de probabilidade não uniforme, visando amostrar pontos adicionais ao longo do raio para uma rede fine.
Stratified Sampling (Amostragem Estratificada): Um procedimento de amostragem que divide o intervalo de profundidade do raio em compartimentos uniformemente espaçados e extrai aleatoriamente uma amostra contínua por compartimento para permitir a avaliação contínua durante a otimização.
Normalized Device Coordinates (NDC): Um espaço de coordenadas que mapeia o frustum de visualização em perspectiva de capturas frontais (forward-facing) para $[- 1, 1]^{3}$ , tornando o eixo da câmera linear em disparidade.

Perguntas

Por que a densidade é condicionada apenas à posição, enquanto a cor é condicionada à posição e à direção de visualização?

Restringir a densidade $σ$ para depender exclusivamente da localização espacial $x$ impõe consistência geométrica multivisão entre diferentes ângulos, enquanto permitir que a cor $c$ receba a direção de visualização $d$ como entrada possibilita à MLP representar fenômenos não lambertianos dependentes da visão, como reflexos especulares.

Como a codificação posicional no NeRF difere da codificação posicional em Transformers?

Os Transformers utilizam codificações posicionais para injetar a ordem discreta dos tokens em blocos de atenção invariantes a permutações, enquanto o NeRF utiliza codificações senoidais para mapear coordenadas contínuas de baixa dimensão em um espaço de dimensão superior a fim de contornar o viés espectral das MLPs voltado a baixas frequências.

Quais entradas são necessárias para otimizar um NeRF do zero?

O NeRF requer apenas um conjunto de imagens RGB 2D calibradas de uma cena estática com parâmetros intrínsecos de câmera conhecidos, poses de câmera e limites de cena próximo/distante (obtidos com COLMAP para dados reais ou poses de ground-truth para dados sintéticos).

Quanto tempo o NeRF leva para treinar e renderizar?

O treinamento de uma única cena leva entre 100k e 300k iterações (cerca de 1 a 2 dias) em uma GPU NVIDIA V100. A renderização de novas visões exige a avaliação de 150 a 200 milhões de consultas de coordenadas por imagem, demandando aproximadamente 30 segundos por quadro.

A explicação desta página foi escrita por IA a partir do artigo e pode conter erros. Consulte o artigo para os detalhes.

Ler com tradução e IA