Gerçek Zamanlı Radiance Field İşleme için 3D Gaussian Splatting

Okuma rehberi

Problem ve motivasyon

Neural Radiance Fields (NeRF), Multi-Layer Perceptrons (MLP) aracılığıyla sürekli örtük sahne temsillerini optimize ederek yeni bakış açısı sentezini dönüştürmüştür. Bununla birlikte, bu sürekli alanların işlenmesi, ışın başına onlarca veya yüzlerce örneğin değerlendirilmesini gerektiren stokastik hacimsel ray-marching işlemine dayanır. Bu durum ağır hesaplama yüklerine, uzun eğitim sürelerine (örneğin Mip-NeRF360 için 48 saate kadar) ve çok yavaş çıkarım hızlarına (kare başına saniyeler) yol açarak 1080p gibi yüksek çözünürlüklerde gerçek zamanlı gezinmeyi engeller.

Daha hızlı radiance field varyantları (Plenoxels ve InstantNGP gibi) eğitimi hızlandırmak için voksel veya karma ızgaralarına (hash grid) dayansa da, genellikle görsel aslına uygunluktan ödün verirler; boş uzay veya yüksek frekanslı ayrıntılarla başa çıkmakta zorlanırlar. Buna karşılık, nokta tabanlı yaklaşımlar GPU dostu açık bir geometri sunar, ancak geleneksel nokta rasterizasyonu deliklerden kaçınmak için yoğun Multi-View Stereo (MVS) geometrisi gerektirir veya zamansal titremeye yol açan CNN art işlemesine dayanır.

Bu makale, üst düzey örtük radiance field'ların işleme kalitesini gerçek zamanlı kare hızları ve rekabetçi optimizasyon süreleriyle bir arada sunan, hızlı karo tabanlı bir rasterizer ile birleştirilmiş 3D Gaussians kullanan yapılandırılmamış, açık bir sahne temsili önermektedir.

Temel fikirler

1. Yapılandırılmamış 3D Gaussian Temsili: Sürekli koordinat ağları veya yoğun ızgaralar yerine radiance field; yüzey normallerine veya yoğun MVS'ye ihtiyaç duymadan, seyrek Structure-from-Motion (SfM) nokta bulutlarından başlatılan tam anizotropik kovaryans matrislerine sahip ayrık 3D Gaussians ile parametrelendirilir.
2. Ölçek ve Döndürme Yoluyla Parametrelendirme: Kovaryans matrisinin gradyan inişi boyunca pozitif yarı-tanımlı kalmasını sağlamak için matris, bir 3D ölçekleme vektörüne ve bir birim kuaterniyona ayrıştırılır.
3. Uyarlanabilir Yoğunluk Kontrolü: Optimizasyon, bakış uzayı (view-space) konum gradyanlarını izleyerek sahne yoğunluğunu dinamik olarak yönetir: Yetersiz rekonstrükte edilmiş Gaussians kopyalanır, aşırı rekonstrükte edilmiş olanlar bölünür, şeffaf veya aşırı büyük olan splat'ler ise budanır.
4. Görünürlük Duyarlı Karo Tabanlı Rasterizasyon: Özel bir GPU rasterizer'ı, ekran piksellerini $16\times 16$ karolara ayırır, hızlı bir Radix sort kullanarak kare başına splat'leri derinliğe göre sıralar ve gradyan güncellemesi alan splat sayısını sınırlandırmadan anizotropik projeksiyonları önden arkaya doğru alfa harmanlamaya (alpha-blending) tabi tutar.

Yöntem

1. 3D Gaussian Sahne Temsili

Dünya uzayında $\mu$ ortalamasında merkezlenen bir 3D Gaussian, $\Sigma$ kovaryans matrisi ile tanımlanır: $$G(x)=e^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$$

$\Sigma$'nın optimizasyon sırasında pozitif yarı-tanımlı kalmasını garanti etmek için, bir $R$ döndürme matrisine ve bir $S$ ölçekleme matrisine çarpanlarına ayrılır: $$\Sigma =RS{S}^T{R}^T$$ Burada $S$, üstel bir aktivasyonla değerlendirilen bir 3D vektör $s$ olarak saklanır ve $R$, normalize edilmiş bir birim kuaterniyon $q$ ile parametrelendirilir.

İşleme (rendering) için 3D Gaussians, EWA splatting çerçevesini takip ederek 2D görüntü koordinatlarına yansıtılır. Bir $W$ görüntüleme dönüşümü ve izdüşümsel dönüşümün afin yaklaşımının Jacobian'ı $J$ verildiğinde, ekran uzayındaki 2D kovaryans matrisi ${\Sigma }^{\prime }$ şu şekildedir: $${\Sigma }^{\prime }=JW\Sigma W^T{J}^T$$ Üçüncü satır ve sütun atılarak düzlemsel splatting için $2\times 2$ boyutunda bir kovaryans matrisi elde edilir.

2. İşleme ve Görüntü Oluşumu

Her Gaussian, bir opaklığa $\alpha$ (bir sigmoid aktivasyonu aracılığıyla $[0,1)$ aralığına sınırlandırılmıştır) ve bakış açısına bağımlı rengi $\mathbf{c}$ tanımlayan küresel harmonikler (spherical harmonics - SH) katsayılarına sahiptir. Bir pikseldeki sıralı $N$ adet örtüşen Gaussian'ın harmanlanması standart hacimsel formülü izler: $$C=\sum _{i\in \mathcal{N}}{\mathbf{c}}_i{\alpha }_i\prod _{j=1}^{i-1}(1-{\alpha }_j)$$ burada ${\alpha }_i$, 2D olarak izdüşürülmüş Gaussian'ın değerlendirilmesi ve nokta başına öğrenilen opaklıkla çarpılmasıyla belirlenir.

3. Optimizasyon ve Uyarlanabilir Kontrol

Kayıp fonksiyonu bir ${\mathcal{L}}_1$ kaybını D-SSIM kaybıyla ($\lambda =0.2$ ile) birleştirir: $$\mathcal{L}=(1-\lambda ){\mathcal{L}}_1+\lambda {\mathcal{L}}_{\text{D-SSIM}}$$

Uyarlanabilir yoğunluk kontrolü, ortalama bakış uzayı konumsal gradyanı ${\tau }_{\text{pos}}=0.0002$ değerini aşan Gaussians üzerinde her 100 yinelemede bir çalışır:

• Kopyalama (Clone - Yetersiz rekonstrüksiyon): Küçük Gaussians için bir kopya oluşturulur ve konumsal gradyan yönünde taşınır.
• Bölme (Split - Aşırı rekonstrüksiyon): Büyük Gaussians için ilkel öğe, ölçekleri $\varphi =1.6$ faktörü kadar küçültülmüş iki daha küçük Gaussian ile değiştirilir ve ilk konumları ana Gaussian'dan örneklenir.
• Budama (Pruning): $\alpha <{ϵ}_{\alpha }$ olan veya dünya/bakış uzayında aşırı büyük olan Gaussians budanır. Her $N=3000$ yinelemede bir, havada asılı duran yapaylıkları (floating artifacts) filtrelemek için opaklıklar sıfıra yakın bir değere sıfırlanır.

4. Hızlı Türetilebilir Karo Tabanlı Rasterizer

• Ekran $16\times 16$ piksellik karolara bölünür.
• %99 güven aralığı frustum culling testini geçen Gaussians'a karo kimliği ve bakış uzayı derinliğini kodlayan 64 bitlik anahtarlar atanır.
• Tek bir GPU Radix sort işlemi kare genelindeki tüm örnekleri sıralar.
• İş parçacığı blokları (thread blocks), $\alpha$ doygunluğa ulaşana kadar (0.9999'u aşmadan durarak) her karo için renkleri önden arkaya doğru biriktirir.
• Geriye doğru geçiş (backward pass) karoları arkadan öne doğru kat eder ve son biriken opaklığı her ilkelin $\alpha$ değerine bölerek ara opaklıkları kurtarır; böylece piksel başına pahalı dinamik bellek arabelleklerinden kaçınılır.

Sonuçlar

• Mip-NeRF360 Veri Kümesi: 30 bin yinelemeden sonra (ortalama 41 dk 33 sn eğitim süresi), 3D Gaussian Splatting ortalama 0.815 SSIM, 27.21 dB PSNR ve 0.214 LPIPS elde ederek Mip-NeRF360'ı (0.792 SSIM, 27.69 dB PSNR, 0.237 LPIPS, 48 saatlik eğitim) yakalar veya geçer; üstelik Mip-NeRF360'ın 0.06 FPS değerine kıyasla 134 FPS hızında işleme yapar.
• Hızlı Yapılandırma (7 bin yineleme): 160 FPS'de yalnızca 6 dk 25 sn içinde 0.770 SSIM ve 25.60 dB PSNR sunarak benzer eğitim süreleri içinde InstantNGP-Base (0.671 SSIM, 11.7 FPS) ve Plenoxels'i (0.626 SSIM, 6.79 FPS) geride bırakır.
• Tanks&Temples ve Deep Blending: Tanks&Temples üzerinde 30 bin yineleme, 154 FPS'de 0.841 SSIM ve 23.14 dB PSNR'ye ulaşır. Deep Blending üzerinde 137 FPS'de 0.903 SSIM ve 29.41 dB PSNR elde eder.
• Synthetic Blender: 100 bin noktalık tamamen rastgele bir başlangıçtan itibaren ortalama 33.32 dB PSNR elde eder ve 180–300 FPS hızında işleme yapar.

Sınırlılıklar ve açık sorular

• Gözlemlenmemiş Açılar ve Aykırı Değerler: Seyrek kapsama alanı veya eğitim yörüngelerinden uzak açılar, uzamış veya "lekeli" Gaussians gibi görünür yapaylıklara yol açabilir.
• Belirme Yapaylıkları (Popping Artifacts): Derinlik sıralamasındaki ani değişimler veya agresif koruma bandı ayıklaması (guard-band culling), gezinme sırasında patlama/belirme yapaylıklarına neden olabilir; bu da daha iyi kenar yumuşatma (antialiasing) ihtiyacına işaret eder.
• Bellek Tüketimi: Klasik yoğun nokta bulutlarına kıyasla kompakt olsa da, bu açık temsil yüzlerce megabayt gerektirir (örneğin, 1–5 milyon Gaussian içeren sahneler için 400–750 MB) ve optimize edilmemiş prototip eğitimi GPU belleğini 20 GB'ın üzerine çıkarabilir.
• Düzenlileştirme Eksikliği: Çerçeve, açık geometrik pürüzsüzlük veya yoğunluk düzenlileştiricileri içermez; bu da kamera ışınları tarafından zayıf şekilde sınırlandırılmış bölgelerde arka plan parazitlerine (floaters) açık kapı bırakır.