NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

Guía de lectura

Problema y motivación

La síntesis de vistas novedosas a partir de imágenes capturadas se ha basado tradicionalmente en representaciones volumétricas discretas (como cuadrículas de vóxeles o imágenes multiplano) o en mallas de superficies. Sin embargo, las cuadrículas de vóxeles discretizadas conllevan un consumo prohibitivo de memoria y computación que escala de forma cúbica con la resolución, mientras que la optimización diferenciable basada en mallas adolece de paisajes de optimización desfavorables y requiere una buena topología inicial. Las representaciones neuronales implícitas previas mapeaban coordenadas directamente a funciones de distancia con signo o a puntos sobre una única superficie, teniendo dificultades con geometrías complejas, efectos dependientes del punto de vista (como brillos especulares) y detalles de alta frecuencia, lo que resultaba en salidas excesivamente suavizadas.

Ideas clave

• Función de escena 5D continua: Representa una escena estática como una función continua implícita $F_{\Theta }:(\mathbf{x},\mathbf{d})\to (\mathbf{c},\sigma )$, mapeando una ubicación 3D $\mathbf{x}=(x,y,z)$ y una dirección de visión 2D $\mathbf{d}=(\theta ,\varphi )$ a la radiancia RGB emitida $\mathbf{c}$ y la densidad de volumen $\sigma$.
• Consistencia multivista mediante predicción asimétrica: La densidad $\sigma$ se predice únicamente a partir de la posición $\mathbf{x}$ (la geometría es invariante al punto de vista), mientras que el color emitido $\mathbf{c}$ depende tanto de la posición $\mathbf{x}$ como de la dirección de visión $\mathbf{d}$ (lo que permite reflejos especulares y no lambertianos).
• Codificación posicional de alta frecuencia: Supera el sesgo espectral de los MLP hacia las bajas frecuencias al mapear coordenadas de entrada de baja dimensión a espacios de alta dimensión mediante funciones de base sinusoidales.
• Renderizado volumétrico diferenciable y muestreo jerárquico: Emplea cuadratura numérica para acumular muestras continuas a lo largo de rayos y formar colores de píxeles 2D, optimizados de extremo a extremo contra las fotos de entrada, acelerados por un muestreo jerárquico de grueso a fino.

Método (con las ecuaciones clave)

Para un rayo de cámara $\mathbf{r}(t)=\mathbf{o}+t\mathbf{d}$ acotado por planos cercanos y lejanos $t_n$ y $t_f$, el color esperado continuo $C(\mathbf{r})$ es: $$C(\mathbf{r})={\int }_{t_n}^{t_f}T(t)\sigma (\mathbf{r}(t))\mathbf{c}(\mathbf{r}(t),\mathbf{d})dt,T(t)=\exp \left(-{\int }_{t_n}^t\sigma (\mathbf{r}(s))ds\right)$$ donde $T(t)$ es la transmitancia acumulada.

Para calcular esto numéricamente, el intervalo continuo se divide en $N$ intervalos y se evalúa con muestreo estratificado, dando como resultado una cuadratura discreta equivalente al alpha compositing: $$\hat{C}(\mathbf{r})=\sum _{i=1}^N{T}_i(1-\exp (-{\sigma }_i{\delta }_i)){\mathbf{c}}_i,T_i=\exp \left(-\sum _{j=1}^{i-1}{\sigma }_j{\delta }_j\right)$$ donde ${\delta }_i=t_{i+1}-t_i$.

Para capturar geometrías y texturas de alta frecuencia, las entradas se mapean mediante codificación posicional $\gamma (p)$: $$\gamma (p)=\left(\sin (2^0\pi p),\cos (2^0\pi p),\dots ,\sin (2^{L-1}\pi p),\cos (2^{L-1}\pi p)\right)$$ con $L=10$ para $\mathbf{x}$ y $L=4$ para $\mathbf{d}$.

Para muestrear eficientemente, NeRF optimiza simultáneamente dos redes (una gruesa con $N_c=64$ muestras y una fina con $N_f=128$ muestras adicionales). Los pesos de las muestras gruesas $w_i=T_i(1-\exp (-{\sigma }_i{\delta }_i))$ definen una función de densidad de probabilidad constante a trozos a lo largo del rayo, de la cual se extraen las muestras finas mediante muestreo por transformada inversa.

El modelo completo se entrena minimizando el error cuadrático total sobre un lote de rayos $\mathcal{R}$: $$\mathcal{L}=\sum _{\mathbf{r}\in \mathcal{R}}\left[{\Vert {\hat{C}}_c(\mathbf{r})-C(\mathbf{r})\Vert }_2^2+{\Vert {\hat{C}}_f(\mathbf{r})-C(\mathbf{r})\Vert }_2^2\right]$$

Resultados (con las cifras más importantes)

• Sintético realista $360^{\circ }$: NeRF logró 31,01 dB de PSNR, 0,947 de SSIM y 0,081 de LPIPS, superando sustancialmente a modelos de referencia como NV (26,05 dB), LLFF (24,88 dB) y SRN (22,26 dB).
• Sintético difuso $360^{\circ }$: NeRF obtuvo 40,15 dB de PSNR y 0,991 de SSIM, frente a DeepVoxels (30,55 dB de media derivada de puntuaciones individuales) y LLFF (34,38 dB).
• Escenas reales frontales (forward-facing): Logró 26,50 dB de PSNR, superando a LLFF (24,13 dB) y SRN (22,84 dB).
• Eficiencia de almacenamiento: Un modelo NeRF completamente entrenado requiere aproximadamente 5 MB en pesos de MLP, una reducción de almacenamiento de cerca de $3000\times$ en comparación con las representaciones de vóxeles de LLFF (>15 GB por escena).

Limitaciones y preguntas abiertas

• Tiempo de entrenamiento y renderizado: Optimizar una escena toma entre 100k y 300k iteraciones (aproximadamente 1–2 días en una sola GPU NVIDIA V100). Renderizar un único fotograma requiere de 150 a 200 millones de consultas al MLP, tardando ~30 segundos.
• Interpretabilidad del modelo: A diferencia de las cuadrículas de vóxeles o mallas poligonales, la escena está encerrada dentro de los pesos de un MLP, lo que dificulta la edición directa, la inspección y la depuración de errores.
• Requisitos de captura controlada: El método asume poses de cámara conocidas (por ejemplo, obtenidas con COLMAP), escenas estáticas, iluminación constante y límites limpios del volumen de la escena.