3D Gaussian Splatting for Real-Time Radiance Field Rendering

Guía de lectura

Problema y motivación

Los campos de radiancia neurales (NeRFs) han transformado la síntesis de nuevas vistas al optimizar representaciones de escenas implícitas continuas mediante perceptrones multicapa (MLPs). Sin embargo, el renderizado de estos campos continuos depende del ray-marching volumétrico estocástico, que requiere evaluar decenas o cientos de muestras por rayo. Esto genera pesadas cargas computacionales, tiempos de entrenamiento prolongados (p. ej., hasta 48 horas para Mip-NeRF360) y velocidades de inferencia muy lentas (segundos por fotograma), lo que impide la navegación en tiempo real a resoluciones altas como 1080p.

Aunque variantes más rápidas de radiance field (como Plenoxels e InstantNGP) se basan en cuadrículas de vóxeles o tablas hash para acelerar el entrenamiento, a menudo sacrifican la fidelidad visual y tienen dificultades con el espacio vacío o los detalles de alta frecuencia. Por el contrario, los enfoques basados en puntos ofrecen una geometría explícita adaptada a la GPU, pero la rasterización tradicional de puntos requiere una geometría densa obtenida por Multi-View Stereo (MVS) para evitar huecos, o depende de un posprocesamiento con CNN que introduce parpadeo temporal.

Este artículo propone una representación de escenas explícita y no estructurada mediante 3D Gaussians combinada con un rasterizador rápido basado en teselas, logrando la fidelidad de renderizado de los radiance fields implícitos de primer nivel junto con tasas de fotogramas en tiempo real y tiempos de optimización competitivos.

Ideas clave

1. Representación no estructurada con 3D Gaussians: En lugar de redes de coordenadas continuas o cuadrículas densas, el radiance field se parametriza mediante gaussianas 3D discretas con matrices de covarianza anisotrópicas completas, inicializadas a partir de nubes de puntos dispersas de Structure-from-Motion (SfM) sin requerir normales ni MVS denso.
2. Parametrización mediante escala y rotación: Para garantizar que la matriz de covarianza se mantenga semidefinida positiva durante el descenso de gradiente, se desacopla en un vector de escala 3D y un cuaternión unitario.
3. Control adaptativo de densidad: La optimización gestiona dinámicamente la densidad de la escena rastreando los gradientes de posición en el espacio de la vista: clonando las gaussianas sub-reconstruidas y dividiendo las sobre-reconstruidas, al tiempo que poda los splats transparentes o excesivamente grandes.
4. Rasterización basada en teselas y consciente de la visibilidad: Un rasterizador personalizado en GPU organiza los píxeles de la pantalla en teselas de $16\times 16$, ordena los splats por profundidad en cada fotograma mediante un Radix sort rápido y realiza una mezcla alfa de las proyecciones anisotrópicas de adelante hacia atrás sin limitar el número de splats que reciben actualizaciones de gradiente.

Método

1. Representación de la escena mediante 3D Gaussians

Una gaussiana 3D centrada en la media $\mu$ se define por su matriz de covarianza $\Sigma$ en el espacio del mundo: $$G(x)=e^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$$

Para garantizar que $\Sigma$ permanezca semidefinida positiva durante la optimización, se factoriza en una matriz de rotación $R$ y una matriz de escala $S$: $$\Sigma =RS{S}^T{R}^T$$ Aquí, $S$ se almacena como un vector 3D $s$ evaluado con una activación exponencial, y $R$ se parametriza mediante un cuaternión unitario normalizado $q$.

Para el renderizado, las gaussianas 3D se proyectan a coordenadas de imagen 2D siguiendo el marco de EWA splatting. Dada una transformación de vista $W$ y el jacobiano $J$ de la aproximación afín de la transformación proyectiva, la matriz de covarianza 2D ${\Sigma }^{\prime }$ en el espacio de la pantalla es: $${\Sigma }^{\prime }=JW\Sigma W^T{J}^T$$ La tercera fila y columna se descartan, produciendo una matriz de covarianza de $2\times 2$ para el splatting planar.

2. Renderizado y formación de imágenes

Cada gaussiana tiene una opacidad $\alpha$ (restringida a $[0,1)$ mediante una activación sigmoide) y coeficientes de armónicos esféricos (SH) que describen el color dependiente de la vista $\mathbf{c}$. La mezcla de $N$ gaussianas superpuestas y ordenadas en un píxel sigue la formulación volumétrica estándar: $$C=\sum _{i\in \mathcal{N}}{\mathbf{c}}_i{\alpha }_i\prod _{j=1}^{i-1}(1-{\alpha }_j)$$ donde ${\alpha }_i$ se determina evaluando la gaussiana 2D proyectada multiplicada por la opacidad por punto aprendida.

3. Optimización y control adaptativo

La función de pérdida combina una pérdida ${\mathcal{L}}_1$ con una pérdida D-SSIM (con $\lambda =0.2$): $$\mathcal{L}=(1-\lambda ){\mathcal{L}}_1+\lambda {\mathcal{L}}_{\text{D-SSIM}}$$

El control adaptativo de densidad se ejecuta cada 100 iteraciones en las gaussianas cuyo gradiente posicional promedio en el espacio de vista supera ${\tau }_{\text{pos}}=0.0002$:

• Clonar (Sub-reconstrucción): Para gaussianas pequeñas, se crea un duplicado y se desplaza a lo largo de la dirección del gradiente posicional.
• Dividir (Sobre-reconstrucción): Para gaussianas grandes, la primitiva se reemplaza por dos gaussianas más pequeñas cuyas escalas se reducen por un factor de $\varphi =1.6$, muestreando sus posiciones iniciales a partir de la gaussiana madre.
• Podado: Se podan las gaussianas donde $\alpha <{ϵ}_{\alpha }$ o aquellas excesivamente grandes en el espacio del mundo o de la vista. Cada $N=3000$ iteraciones, las opacidades se restablecen cerca de cero para filtrar artefactos flotantes.

4. Rasterizador diferenciable rápido basado en teselas

• La pantalla se divide en teselas de $16\times 16$ píxeles.
• Las gaussianas que superan el frustum culling con un intervalo de confianza del 99% reciben claves de 64 bits que codifican el identificador de tesela y la profundidad en el espacio de vista.
• Un único Radix sort en GPU ordena todas las instancias en todo el fotograma.
• Los bloques de hilos acumulan color por tesela de adelante hacia atrás hasta que $\alpha$ alcanza la saturación (deteniéndose antes de superar $0.9999$).
• El paso hacia atrás recorre las teselas de atrás hacia adelante, recuperando las opacidades intermedias al dividir la opacidad final acumulada por el $\alpha$ de cada primitiva, evitando costosos búferes dinámicos de memoria por píxel.

Resultados

• Dataset Mip-NeRF360: Tras 30K iteraciones (tiempo de entrenamiento promedio de 41m 33s), 3D Gaussian Splatting logra un promedio de SSIM de 0.815, PSNR de 27.21 dB y LPIPS de 0.214, igualando o superando a Mip-NeRF360 (SSIM 0.792, PSNR 27.69 dB, LPIPS 0.237, 48 horas de entrenamiento), mientras renderiza a 134 FPS en comparación con los 0.06 FPS de Mip-NeRF360.
• Configuración rápida (7K iteraciones): Ofrece un SSIM de 0.770 y un PSNR de 25.60 dB en solo 6m 25s a 160 FPS, superando a InstantNGP-Base (SSIM 0.671, 11.7 FPS) y Plenoxels (SSIM 0.626, 6.79 FPS) en tiempos de entrenamiento comparables.
• Tanks&Temples y Deep Blending: En Tanks&Temples, 30K iteraciones alcanzan un SSIM de 0.841 y un PSNR de 23.14 dB a 154 FPS. En Deep Blending, logra un SSIM de 0.903 y un PSNR de 29.41 dB a 137 FPS.
• Synthetic Blender: Obtiene un PSNR promedio de 33.32 dB a partir de una inicialización completamente aleatoria de 100K puntos, renderizando a 180–300 FPS.

Limitaciones y preguntas abiertas

• Vistas no observadas y valores atípicos: Una cobertura dispersa o vistas alejadas de las trayectorias de entrenamiento pueden producir artefactos visibles, como gaussianas alargadas o manchadas.
• Artefactos de popping: El cambio repentino en el orden de profundidad o un culling estricto en la banda de protección pueden introducir popping durante la navegación, lo que resalta la necesidad de un mejor antialiasing.
• Consumo de memoria: Aunque es compacta en comparación con las nubes de puntos densas clásicas, la representación explícita requiere cientos de megabytes (p. ej., 400–750 MB para escenas con 1–5 millones de gaussianas), y el entrenamiento en prototipos sin optimizar puede elevar el uso de memoria de la GPU por encima de los 20 GB.
• Falta de regularización: El marco no incluye regularizadores explícitos de suavidad geométrica o densidad, lo que da pie a la aparición de flotadores de fondo en regiones poco restringidas por los rayos de la cámara.