3D Gaussian Splatting for Real-Time Radiance Field Rendering

Leseleitfaden

Problem und Motivation

Neuronale Radiance Fields (NeRFs) haben die Synthese neuartiger Ansichten revolutioniert, indem sie kontinuierliche implizite Szenenrepräsentationen über Multi-Layer Perceptrons (MLPs) optimieren. Das Rendern dieser kontinuierlichen Felder stützt sich jedoch auf stochastisches volumetrisches Ray-Marching, welches die Auswertung von Dutzenden oder Hunderten von Abtastpunkten pro Strahl erfordert. Dies führt zu erheblicher Rechenlast, langen Trainingszeiten (z. B. bis zu 48 Stunden für Mip-NeRF360) und sehr langsamen Inferenzgeschwindigkeiten (Sekunden pro Frame), was eine Echtzeit-Navigation bei hohen Auflösungen wie 1080p verhindert.

Zwar greifen schnellere Radiance-Field-Varianten (wie Plenoxels und InstantNGP) auf Voxel- oder Hash-Gitter zurück, um das Training zu beschleunigen, doch büßen sie häufig visuelle Wiedergabetreue ein und haben Schwierigkeiten mit leerem Raum oder hochfrequenten Details. Umgekehrt bieten punktbasierte Ansätze eine explizite, GPU-freundliche Geometrie; die traditionelle Punktrasterisierung benötigt jedoch dichte Multi-View Stereo (MVS)-Geometrie, um Löcher zu vermeiden, oder verlässt sich auf CNN-Nachbearbeitung, die zeitliches Flackern verursacht.

Diese Arbeit schlägt eine unstrukturierte, explizite Szenenrepräsentation mittels 3D-Gauss-Funktionen (3D Gaussians) in Kombination mit einem schnellen kachelbasierten Rasterisierer vor, wodurch die Rendering-Qualität erstklassiger impliziter Radiance Fields mit Echtzeit-Bildraten und wettbewerbsfähigen Optimierungszeiten vereint wird.

Kernideen

1. Unstrukturierte 3D-Gauss-Repräsentation: Anstelle kontinuierlicher Koordinatennetzwerke oder dichter Gitter wird das Radiance Field durch diskrete 3D-Gauss-Funktionen mit vollen anisotropen Kovarianzmatrizen parametrisiert, die aus spärlichen Structure-from-Motion (SfM)-Punktwolken initialisiert werden – ohne Normalen oder dichtes MVS zu erfordern.
2. Parametrisierung über Skalierung und Rotation: Um sicherzustellen, dass die Kovarianzmatrix während des gesamten Gradientenabstiegs positiv semidefinit bleibt, wird sie in einen 3D-Skalierungsvektor und einen Einheitsquaternion entkoppelt.
3. Adaptive Dichtekontrolle (Adaptive Density Control): Die Optimierung steuert die Szenendichte dynamisch durch Verfolgung der Positionsgradienten im View-Space: Unterrepräsentierte Gauss-Funktionen werden geklont und überrepräsentierte geteilt, während transparente oder übermäßig große Splats bereinigt werden.
4. Sichtbarkeitsbewusste kachelbasierte Rasterisierung (Visibility-Aware Tile-Based Rasterization): Ein maßgeschneiderter GPU-Rasterisierer unterteilt die Bildschirmpixel in $16\times 16$-Kacheln, sortiert Splats pro Frame mittels eines schnellen Radix-Sorts nach Tiefe und führt ein Alpha-Blending anisotroper Projektionen von vorne nach hinten durch, ohne die Anzahl der Splats zu begrenzen, die Gradienten-Updates erhalten.

Methode

1. 3D-Gauss-Szenenrepräsentation

Eine 3D-Gauss-Funktion mit dem Mittelpunkt $\mu$ wird durch ihre Kovarianzmatrix $\Sigma$ im Weltkoordinatensystem definiert: $$G(x)=e^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$$

Um zu gewährleisten, dass $\Sigma$ während der Optimierung stets positiv semidefinit bleibt, wird sie in eine Rotationsmatrix $R$ und eine Skalierungsmatrix $S$ faktorisiert: $$\Sigma =RS{S}^T{R}^T$$ Hierbei wird $S$ als 3D-Vektor $s$ gespeichert und mit einer Exponential-Aktivierung ausgewertet; $R$ wird durch eine normalisierte Einheitsquaternion $q$ parametrisiert.

Für das Rendering werden die 3D-Gauss-Funktionen nach dem EWA-Splatting-Framework auf 2D-Bildkoordinaten projiziert. Gegeben eine Betrachtungstransformation $W$ und die Jacobi-Matrix $J$ der affinen Näherung der projektiven Transformation, lautet die 2D-Kovarianzmatrix ${\Sigma }^{\prime }$ im Screen-Space: $${\Sigma }^{\prime }=JW\Sigma W^T{J}^T$$ Die dritte Zeile und Spalte werden verworfen, was eine $2\times 2$-Kovarianzmatrix für das planare Splatting ergibt.

2. Rendering und Bildentstehung

Jede Gauss-Funktion besitzt eine Opazität $\alpha$ (über eine Sigmoid-Aktivierung auf $[0,1)$ beschränkt) sowie Koeffizienten sphärischer harmonischer Funktionen (Spherical Harmonics, SH), die die blickrichtungsabhängige Farbe $\mathbf{c}$ beschreiben. Das Mischen von $N$ sortierten, überlappenden Gauss-Funktionen an einem Pixel folgt der standardmäßigen volumetrischen Formulierung: $$C=\sum _{i\in \mathcal{N}}{\mathbf{c}}_i{\alpha }_i\prod _{j=1}^{i-1}(1-{\alpha }_j)$$ wobei ${\alpha }_i$ durch Auswertung der projizierten 2D-Gauss-Funktion, multipliziert mit der gelernten punktweisen Opazität, bestimmt wird.

3. Optimierung und adaptive Kontrolle

Die Verlustfunktion kombiniert einen ${\mathcal{L}}_1$-Verlust mit einem D-SSIM-Verlust (mit $\lambda =0,2$): $$\mathcal{L}=(1-\lambda ){\mathcal{L}}_1+\lambda {\mathcal{L}}_{\text{D-SSIM}}$$

Die adaptive Dichtekontrolle wird alle 100 Iterationen auf Gauss-Funktionen angewendet, deren durchschnittlicher Positionsgradient im View-Space ${\tau }_{\text{pos}}=0,0002$ übersteigt:

• Klonen (Unter-Rekonstruktion): Bei kleinen Gauss-Funktionen wird ein Duplikat erstellt und entlang der Richtung des Positionsgradienten verschoben.
• Teilen (Über-Rekonstruktion): Bei großen Gauss-Funktionen wird das Primitiv durch zwei kleinere Gauss-Funktionen ersetzt, deren Skalierung um den Faktor $\varphi =1,6$ reduziert wird, wobei ihre Ausgangspositionen aus der Eltern-Gauss-Funktion abgetastet werden.
• Pruning (Bereinigung): Entfernt Gauss-Funktionen mit $\alpha <{ϵ}_{\alpha }$ oder solche, die im Welt- bzw. View-Space übermäßig groß sind. Alle $N=3000$ Iterationen werden die Opazitäten nahe Null zurückgesetzt, um schwebende Artefakte auszufiltern.

4. Schneller differenzierbarer kachelbasierter Rasterisierer

• Der Bildschirm wird in Kacheln von $16\times 16$ Pixeln unterteilt.
• Gauss-Funktionen, die ein Frustum-Culling bei einem 99%-Konfidenzintervall passieren, erhalten 64-Bit-Schlüssel, die Kachel-ID und Tiefe im View-Space kodieren.
• Ein einziger GPU-Radix-Sort sortiert alle Instanzen über den gesamten Frame hinweg.
• Thread-Blöcke akkumulieren die Farbe pro Kachel von vorne nach hinten, bis $\alpha$ die Sättigung erreicht (Abbruch vor dem Überschreiten von $0,9999$).
• Der Backward-Pass durchläuft die Kacheln von hinten nach vorne und rekonstruiert Zwischen-Opazitäten, indem die final akkumulierte Opazität durch das $\alpha$ des jeweiligen Primitivs geteilt wird. Dies vermeidet speicherintensive dynamische Pixel-Puffer.

Ergebnisse

• Mip-NeRF360-Datensatz: Nach 30.000 Iterationen (durchschnittliche Trainingszeit von 41 Min. 33 Sek.) erzielt 3D Gaussian Splatting einen durchschnittlichen SSIM von 0,815, einen PSNR von 27,21 dB und einen LPIPS von 0,214. Damit erreicht oder übertrifft es Mip-NeRF360 (SSIM 0,792, PSNR 27,69 dB, LPIPS 0,237, 48 Stunden Training) und rendert mit 134 FPS gegenüber 0,06 FPS bei Mip-NeRF360.
• Schnelle Konfiguration (7.000 Iterationen): Liefert einen SSIM von 0,770 und einen PSNR von 25,60 dB in nur 6 Min. 25 Sek. bei 160 FPS und übertrifft damit InstantNGP-Base (SSIM 0,671, 11,7 FPS) und Plenoxels (SSIM 0,626, 6,79 FPS) bei vergleichbaren Trainingszeiten deutlich.
• Tanks&Temples & Deep Blending: Auf Tanks&Temples erreichen 30.000 Iterationen einen SSIM von 0,841 und einen PSNR von 23,14 dB bei 154 FPS. Auf Deep Blending wird ein SSIM von 0,903 und ein PSNR von 29,41 dB bei 137 FPS erzielt.
• Synthetic Blender: Erzielt ausgehend von einer rein zufälligen Initialisierung mit 100.000 Punkten einen durchschnittlichen PSNR von 33,32 dB und rendert mit 180–300 FPS.

Grenzen und offene Fragen

• Unbeobachtete Ansichten und Ausreißer: Eine lückenhafte Abdeckung oder Blickwinkel weit abseits der Trainingspfade können sichtbare Artefakte erzeugen, wie etwa langgezogene oder fleckenhafte Gauss-Projektionen.
• Popping-Artefakte: Abrupte Wechsel in der Tiefensortierung oder aggressives Guard-Band-Culling können während der Kamerabewegung Popping-Effekte hervorrufen, was den Bedarf an besserem Antialiasing unterstreicht.
• Speicherverbrauch: Obwohl kompakt im Vergleich zu klassischen dichten Punktwolken, benötigt die explizite Repräsentation Hunderte von Megabytes (z. B. 400–750 MB für Szenen mit 1–5 Millionen Gauss-Funktionen). Nicht optimierter Prototyp-Code kann beim Training zudem GPU-Speicherspitzen von über 20 GB verursachen.
• Fehlende Regularisierung: Das Framework enthält keine explizite geometrische Glättung oder Dichte-Regularisierer, wodurch in Regionen mit unzureichender Sichtstrahlabdeckung schwebende Hintergrundartefakte (Floaters) entstehen können.