3D Gaussian Splatting for Real-Time Radiance Field Rendering

Guia de leitura

Problema e motivação

Os Neural Radiance Fields (NeRFs) transformaram a síntese de novas vistas ao otimizar representações contínuas e implícitas de cenas por meio de Multi-Layer Perceptrons (MLPs). Contudo, a renderização desses campos contínuos depende de ray-marching volumétrico estocástico, o que exige a avaliação de dezenas ou centenas de amostras por raio. Isso acarreta pesadas cargas computacionais, longos tempos de treinamento (por exemplo, até 48 horas para o Mip-NeRF360) e velocidades de inferência muito lentas (segundos por quadro), impedindo a navegação em tempo real em altas resoluções como 1080p.

Embora variantes mais rápidas de campos de radiância (como Plenoxels e InstantNGP) utilizem grades de voxels ou de hash para acelerar o treinamento, elas frequentemente abrem mão da fidelidade visual e enfrentam dificuldades em espaços vazios ou detalhes de alta frequência. Por outro lado, abordagens baseadas em pontos oferecem uma geometria explícita amigável para GPUs, mas a rasterização clássica de pontos exige uma geometria densa de Multi-View Stereo (MVS) para evitar buracos, ou depende de pós-processamento por CNNs que introduz cintilação temporal (flickering).

Este artigo propõe uma representação de cena explícita e não estruturada baseada em Gaussianas 3D combinada a um rasterizador rápido baseado em blocos (tiles), alcançando a fidelidade de renderização dos campos de radiância implícitos de ponta em conjunto com taxas de quadros em tempo real e tempos de otimização competitivos.

Ideias-chave

1. Representação Não Estruturada por Gaussianas 3D: Em vez de redes de coordenadas contínuas ou grades densas, o campo de radiância é parametrizado por gaussianas 3D discretas com matrizes de covariância anisotrópicas completas, inicializadas a partir de nuvens de pontos esparsas de Structure-from-Motion (SfM) sem necessitar de normais ou MVS denso.
2. Parametrização via Escala e Rotação: Para garantir que a matriz de covariância permaneça semidefinida positiva durante todo o gradiente descendente, ela é desacoplada em um vetor de escala 3D e um quatérnion unitário.
3. Controle Adaptativo de Densidade: A otimização gerencia dinamicamente a densidade da cena rastreando os gradientes de posição no espaço de visão: clonando gaussianas sub-reconstruídas e dividindo gaussianas sobrerreconstruídas, enquanto poda splats transparentes ou excessivamente grandes.
4. Rasterização por Blocos Ciente de Visibilidade: Um rasterizador customizado para GPU organiza os pixels da tela em blocos de $16\times 16$, ordena os splats por profundidade a cada quadro usando um Radix sort rápido e realiza o alpha-blending das projeções anisotrópicas de frente para trás (front-to-back), sem limitar a quantidade de splats que recebem atualizações de gradiente.

Método

1. Representação de Cena por Gaussianas 3D

Uma gaussiana 3D centrada na média $\mu$ é definida por sua matriz de covariância $\Sigma$ no espaço de mundo: $$G(x)=e^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$$

Para garantir que $\Sigma$ permaneça semidefinida positiva durante a otimização, ela é fatorada em uma matriz de rotação $R$ e uma matriz de escala $S$: $$\Sigma =RS{S}^T{R}^T$$ Aqui, $S$ é armazenada como um vetor 3D $s$ avaliado com uma ativação exponencial, e $R$ é parametrizada por um quatérnion unitário normalizado $q$.

Para a renderização, as gaussianas 3D são projetadas nas coordenadas de imagem 2D seguindo o framework de EWA splatting. Dada uma transformação de visão $W$ e o Jacobiano $J$ da aproximação afim da transformação projetiva, a matriz de covariância 2D ${\Sigma }^{\prime }$ no espaço de tela é: $${\Sigma }^{\prime }=JW\Sigma W^T{J}^T$$ A terceira linha e coluna são descartadas, resultando em uma matriz de covariância $2\times 2$ para o splatting planar.

2. Renderização e Formação da Imagem

Cada gaussiana possui uma opacidade $\alpha$ (restringida a $[0,1)$ via ativação sigmoide) e coeficientes de harmônicos esféricos (SH) que descrevem a cor dependente da vista $\mathbf{c}$. A composição de $N$ gaussianas sobrepostas e ordenadas em um pixel segue a formulação volumétrica padrão: $$C=\sum _{i\in \mathcal{N}}{\mathbf{c}}_i{\alpha }_i\prod _{j=1}^{i-1}(1-{\alpha }_j)$$ onde ${\alpha }_i$ é determinado pela avaliação da gaussiana 2D projetada multiplicada pela opacidade aprendida por ponto.

3. Otimização e Controle Adaptativo

A função de perda combina uma perda ${\mathcal{L}}_1$ com uma perda D-SSIM (com $\lambda =0.2$): $$\mathcal{L}=(1-\lambda ){\mathcal{L}}_1+\lambda {\mathcal{L}}_{\text{D-SSIM}}$$

O controle adaptativo de densidade é executado a cada 100 iterações nas gaussianas cujo gradiente médio de posição no espaço de visão excede ${\tau }_{\text{pos}}=0.0002$:

• Clonagem (Sub-reconstrução): Para gaussianas pequenas, um duplicata é criada e movida na direção do gradiente de posição.
• Divisão (Sobrerreconstrução): Para gaussianas grandes, a primitiva é substituída por duas gaussianas menores cujas escalas são reduzidas por um fator de $\varphi =1.6$, amostrando suas posições iniciais a partir da gaussiana-mãe.
• Poda (Pruning): Poda gaussianas em que $\alpha <{ϵ}_{\alpha }$ ou que sejam excessivamente grandes no espaço de mundo/visão. A cada $N=3000$ iterações, as opacidades são redefinidas para valores próximos de zero a fim de filtrar artefatos flutuantes (floaters).

4. Rasterizador Diferenciável Rápido Baseado em Blocos

• A tela é dividida em blocos de $16\times 16$ pixels.
• Gaussianas aprovadas no frustum culling com intervalo de confiança de 99% recebem chaves de 64 bits que codificam o ID do bloco e a profundidade no espaço de visão.
• Um único Radix sort na GPU ordena todas as instâncias em todo o quadro.
• Blocos de threads acumulam a cor por bloco de frente para trás até que $\alpha$ atinja a saturação (interrompendo antes de ultrapassar $0.9999$).
• A passagem retroativa (backward pass) percorre os blocos de trás para frente, recuperando as opacidades intermediárias ao dividir a opacidade acumulada final pelo $\alpha$ de cada primitiva, evitando buffers de memória dinâmica caros por pixel.

Resultados

• Dataset Mip-NeRF360: Após 30 mil iterações (tempo médio de treinamento de 41m 33s), o 3D Gaussian Splatting atinge uma média de SSIM de 0.815, PSNR de 27.21 dB e LPIPS de 0.214, igualando ou superando o Mip-NeRF360 (SSIM 0.792, PSNR 27.69 dB, LPIPS 0.237, 48 horas de treinamento), enquanto renderiza a 134 FPS em comparação com os 0.06 FPS do Mip-NeRF360.
• Configuração Rápida (7 mil iterações): Oferece SSIM de 0.770 e PSNR de 25.60 dB em apenas 6m 25s a 160 FPS, superando o InstantNGP-Base (SSIM 0.671, 11.7 FPS) e o Plenoxels (SSIM 0.626, 6.79 FPS) com tempos de treinamento comparáveis.
• Tanks&Temples e Deep Blending: No Tanks&Temples, 30 mil iterações atingem um SSIM de 0.841 e PSNR de 23.14 dB a 154 FPS. No Deep Blending, alcança SSIM de 0.903 e PSNR de 29.41 dB a 137 FPS.
• Synthetic Blender: Atinge PSNR médio de 33.32 dB a partir de uma inicialização completamente aleatória de 100 mil pontos, renderizando entre 180 e 300 FPS.

Limitações e questões em aberto

• Vistas Não Observadas e Outliers: Cobertura esparsa ou vistas distantes das trajetórias de treinamento podem produzir artefatos visíveis, como gaussianas alongadas ou manchadas.
• Artefatos de Transição Rápida (Popping): Mudanças bruscas na ordem de profundidade ou descarte agressivo por margens de guarda (guard-band culling) podem introduzir popping durante a navegação, apontando para a necessidade de um melhor antialiasing.
• Consumo de Memória: Embora compacta em comparação com nuvens de pontos densas clássicas, a representação explícita requer centenas de megabytes (por exemplo, 400–750 MB para cenas com 1 a 5 milhões de gaussianas), e o protótipo de treinamento não otimizado pode gerar picos de uso de memória de GPU acima de 20 GB.
• Falta de Regularização: O framework não inclui regularizadores explícitos de suavidade geométrica ou de densidade, abrindo margem para artefatos flutuantes no fundo em regiões pouco restringidas pelos raios das câmeras.