3D Gaussian Splatting for Real-Time Radiance Field Rendering

Panduan membaca

Masalah dan motivasi

Neural Radiance Fields (NeRFs) telah mentransformasi sintesis pandangan baru (novel view synthesis) dengan mengoptimalkan representasi pemandangan implisit kontinu melalui Multi-Layer Perceptrons (MLPs). Namun, rendering medan kontinu ini bergantung pada volumetric ray-marching stokastik, yang memerlukan evaluasi puluhan atau ratusan sampel per sinar (ray). Hal ini menimbulkan beban komputasi yang berat, waktu pelatihan yang lama (misalnya, hingga 48 jam untuk Mip-NeRF360), dan kecepatan inferensi yang sangat lambat (hitungan detik per frame), sehingga menghambat navigasi real-time pada resolusi tinggi seperti 1080p.

Meskipun varian radiance field yang lebih cepat (seperti Plenoxels dan InstantNGP) mengandalkan voxel grid atau hash grid untuk mempercepat pelatihan, metode tersebut sering kali mengorbankan ketajaman visual serta kesulitan menangani ruang kosong atau detail berfrekuensi tinggi. Sebaliknya, pendekatan berbasis titik (point-based) menawarkan geometri eksplisit yang ramah GPU, tetapi rasterisasi titik tradisional memerlukan geometri Multi-View Stereo (MVS) yang padat untuk menghindari celah/lubang, atau bergantung pada pasca-pemrosesan CNN yang memperkenalkan kedipan temporal (temporal flickering).

Makalah ini mengusulkan representasi pemandangan eksplisit yang tidak terstruktur menggunakan 3D Gaussians yang dipadukan dengan rasterizer berbasis tile yang cepat, menghasilkan ketajaman rendering setara radiance field implisit papan atas bersamaan dengan frame rate real-time dan waktu pengoptimalan yang kompetitif.

Gagasan utama

1. Representasi 3D Gaussian Tak Terstruktur: Alih-alih jaringan koordinat kontinu atau grid padat, radiance field diparameterisasi oleh Gaussian 3D diskret dengan matriks kovariansi anisotropik penuh, yang diinisialisasi dari point cloud Structure-from-Motion (SfM) yang jarang tanpa memerlukan vektor normal atau MVS padat.
2. Parameterisasi melalui Skala dan Rotasi: Untuk memastikan matriks kovariansi tetap semi-definit positif sepanjang gradient descent, matriks tersebut didekopling menjadi vektor penskalaan 3D dan kuaternion satuan.
3. Kontrol Kepadatan Adaptif (Adaptive Density Control): Pengoptimalan mengelola kepadatan pemandangan secara dinamis dengan melacak gradien posisi view-space: mengkloning (cloning) Gaussian yang under-reconstructed dan memecah (splitting) Gaussian yang over-reconstructed, sembari memangkas (pruning) splat yang transparan atau berukuran terlalu besar.
4. Rasterisasi Berbasis Tile yang Sadar-Visibilitas: Rasterizer GPU kustom mengorganisir piksel layar ke dalam tile berukuran $16\times 16$, mengurutkan kedalaman splat per frame menggunakan Radix sort yang cepat, dan melakukan alpha-blending proyeksi anisotropik dari depan ke belakang tanpa membatasi jumlah splat yang menerima pembaruan gradien.

Metode

1. Representasi Pemandangan 3D Gaussian

Sebuah Gaussian 3D yang berpusat pada rata-rata $\mu$ didefinisikan oleh matriks kovariansinya $\Sigma$ dalam world space: $$G(x)=e^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$$

Untuk menjamin bahwa $\Sigma$ tetap semi-definit positif selama optimasi, matriks ini difaktorisasi menjadi matriks rotasi $R$ dan matriks skala $S$: $$\Sigma =RS{S}^T{R}^T$$ Di sini, $S$ disimpan sebagai vektor 3D $s$ yang dievaluasi dengan aktivasi eksponensial, dan $R$ diparameterisasi oleh kuaternion satuan yang dinormalisasi $q$.

Untuk perenderan, Gaussian 3D diproyeksikan ke koordinat gambar 2D mengikuti kerangka kerja EWA splatting. Dengan transformasi tampilan $W$ dan Jacobian $J$ dari aproksimasi afina transformasi proyektif, matriks kovariansi 2D ${\Sigma }^{\prime }$ dalam screen space adalah: $${\Sigma }^{\prime }=JW\Sigma W^T{J}^T$$ Baris dan kolom ketiga dibuang, menghasilkan matriks kovariansi $2\times 2$ untuk planar splatting.

2. Rendering dan Pembentukan Gambar

Setiap Gaussian memiliki opasitas $\alpha$ (dibatasi pada $[0,1)$ melalui aktivasi sigmoid) dan koefisien spherical harmonics (SH) yang mendeskripsikan warna yang bergantung pada sudut pandang $\mathbf{c}$. Pencampuran (blending) $N$ Gaussian bertumpuk yang terurut pada suatu piksel mengikuti formulasi volumetrik standar: $$C=\sum _{i\in \mathcal{N}}{\mathbf{c}}_i{\alpha }_i\prod _{j=1}^{i-1}(1-{\alpha }_j)$$ di mana ${\alpha }_i$ ditentukan dengan mengevaluasi Gaussian terproyeksi 2D yang dikalikan dengan opasitas per-titik yang dipelajari.

3. Pengoptimalan dan Kontrol Adaptif

Fungsi kerugian (loss function) menggabungkan loss ${\mathcal{L}}_1$ dengan loss D-SSIM (dengan $\lambda =0.2$): $$\mathcal{L}=(1-\lambda ){\mathcal{L}}_1+\lambda {\mathcal{L}}_{\text{D-SSIM}}$$

Kontrol kepadatan adaptif dijalankan setiap 100 iterasi pada Gaussian yang gradien posisi view-space rata-ratanya melebihi ${\tau }_{\text{pos}}=0.0002$:

• Clone (Under-reconstruction): Untuk Gaussian kecil, duplikatnya dibuat dan digeser di sepanjang arah gradien posisi.
• Split (Over-reconstruction): Untuk Gaussian besar, primitif tersebut digantikan oleh dua Gaussian yang lebih kecil dengan skala yang diperkecil dengan faktor $\varphi =1.6$, di mana posisi awalnya disampel dari Gaussian induk.
• Pruning: Memangkas Gaussian yang memiliki $\alpha <{ϵ}_{\alpha }$ atau yang berukuran terlalu besar di world/view space. Setiap $N=3000$ iterasi, opasitas direset mendekati nol untuk menyaring artefak mengambang (floating artifacts).

4. Rasterizer Berbasis Tile Terdiferensiasi Cepat

• Layar dibagi menjadi tile-tile berukuran $16\times 16$ piksel.
• Gaussian yang lolos dari frustum culling dengan interval kepercayaan 99% diberi kunci 64-bit yang mengodekan ID tile dan kedalaman view-space.
• Satu operasi Radix sort pada GPU mengurutkan semua instans di seluruh frame.
• Blok-blok thread mengakumulasi warna per tile dari depan ke belakang hingga $\alpha$ mencapai saturasi (berhenti sebelum melampaui $0.9999$).
• Pass mundur (backward pass) menelusuri tile dari belakang ke depan, memulihkan opasitas perantara dengan membagi opasitas terakumulasi akhir dengan nilai $\alpha$ masing-masing primitif, sehingga menghindari buffer memori per-piksel dinamis yang mahal.

Hasil

• Dataset Mip-NeRF360: Setelah 30 ribu iterasi (rata-rata waktu pelatihan 41m 33d), 3D Gaussian Splatting mencapai rata-rata SSIM 0.815, PSNR 27.21 dB, dan LPIPS 0.214, menyamai atau melampaui Mip-NeRF360 (SSIM 0.792, PSNR 27.69 dB, LPIPS 0.237, waktu pelatihan 48 jam), sambil merender pada 134 FPS dibandingkan dengan Mip-NeRF360 yang hanya 0.06 FPS.
• Konfigurasi Cepat (7 ribu iterasi): Menghasilkan SSIM 0.770 dan PSNR 25.60 dB hanya dalam waktu 6m 25d pada 160 FPS, melampaui InstantNGP-Base (SSIM 0.671, 11.7 FPS) dan Plenoxels (SSIM 0.626, 6.79 FPS) dalam waktu pelatihan yang sebanding.
• Tanks&Temples & Deep Blending: Pada Tanks&Temples, 30 ribu iterasi mencapai SSIM 0.841 dan PSNR 23.14 dB pada 154 FPS. Pada Deep Blending, metode ini mencapai SSIM 0.903 dan PSNR 29.41 dB pada 137 FPS.
• Synthetic Blender: Memperoleh rata-rata PSNR 33.32 dB dari inisialisasi yang sepenuhnya acak sebanyak 100 ribu titik, merender pada rentang 180–300 FPS.

Keterbatasan dan pertanyaan terbuka

• Sudut Pandang Tak Teramati dan Pencilan (Outliers): Cakupan yang jarang atau sudut pandang yang jauh dari lintasan data latih dapat menghasilkan artefak visual, seperti Gaussian yang memanjang atau tampak seperti noda ("splotchy").
• Artefak Popping: Perubahan urutan kedalaman yang tiba-tiba atau guard-band culling yang terlalu agresif dapat memicu popping saat bernavigasi, menunjukkan perlunya antialiasing yang lebih baik.
• Konsumsi Memori: Meskipun tergolong kompak dibandingkan point cloud padat klasik, representasi eksplisit ini membutuhkan ratusan megabita (misalnya, 400–750 MB untuk pemandangan dengan 1–5 juta Gaussian), dan pelatihan prototipe yang belum dioptimalkan dapat memicu lonjakan memori GPU di atas 20 GB.
• Kurangnya Regularisasi: Kerangka kerja ini tidak mencakup regularisasi kepadatan atau kehalusan geometris eksplisit, menyisakan ruang bagi kemunculan artefak melayang di latar belakang pada area yang kurang terkendala oleh sinar kamera.