3D Gaussian Splatting for Real-Time Radiance Field Rendering

論文解讀

問題與動機

神經輻射場（NeRF）透過多層感知機（MLP）最佳化連續隱式場景表示，徹底改變了新視角合成領域。然而，渲染這些連續場依賴於隨機體積射線步進（volumetric ray-marching），每條射線需要評估數十到數百個樣本。這帶來了沉重的運算負擔、漫長的訓練時間（例如 Mip-NeRF360 高達 48 小時），以及極慢的推論速度（每幀需數秒），無法在 1080p 等高解析度下進行即時導覽。

雖然較快的輻射場變體（如 Plenoxels 與 InstantNGP）依賴體素或雜湊網格來加速訓練，但它們往往犧牲了視覺逼真度，並且在處理空白空間或高頻細節時顯得吃力。相反地，基於點的方法提供了對 GPU 友善的顯式幾何表示，但傳統的點光柵化需要密集的雙目立體視覺（MVS）幾何以避免破洞，或者依賴會引入時間閃爍的 CNN 後處理。

本文提出了一種非結構化的顯式場景表示，使用 3D Gaussians 搭配快速的圖塊光柵化器（tile-based rasterizer），在具備即時幀率與競爭力最佳化時間的同時，達到了頂尖隱式輻射場的渲染逼真度。

核心概念

1. 非結構化 3D 高斯表示法（Unstructured 3D Gaussian Representation）： 輻射場不再使用連續座標網路或密集網格，而是由具備完整非等向性共變異數矩陣的離散 3D 高斯參數化，直接從稀疏的運動推論結構（SfM）點雲初始化，無需法向量或密集 MVS。
2. 透過縮放與旋轉參數化： 為確保共變異數矩陣在整個梯度下降過程中保持正半定，將其解耦為 3D 縮放向量與單位四元數。
3. 自適應密度控制（Adaptive Density Control）： 最佳化過程透過追蹤視角空間的位置梯度動態管理場景密度：複製重建不足的高斯並分割重建過度的高斯，同時修剪透明或過大的投射點。
4. 視線感知圖塊光柵化（Visibility-Aware Tile-Based Rasterization）： 客製化的 GPU 光柵化器將螢幕像素組織為 $16\times 16$ 的圖塊，使用快速基數排序（Radix sort）對每幀的投射點進行深度排序，並由前向後對非等向性投影進行 Alpha 混合，且不限制接收梯度更新的投射點數量。

方法

1. 3D 高斯場景表示

以平均值 $\mu$ 為中心的 3D 高斯在世界空間中由其共變異數矩陣 $\Sigma$ 定義： $$G(x)=e^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$$

為了保證 $\Sigma$ 在最佳化過程中保持正半定，將其分解為旋轉矩陣 $R$ 和縮放矩陣 $S$： $$\Sigma =RS{S}^T{R}^T$$ 在此，$S$ 儲存為透過指數活化函數評估的 3D 向量 $s$，而 $R$ 則由標準化的單位四元數 $q$ 參數化。

在渲染時，3D 高斯遵循 EWA 投射框架投影到 2D 影像座標。給定視角變換 $W$ 以及投影變換仿射近似的雅可比矩陣 $J$，螢幕空間中的 2D 共變異數矩陣 ${\Sigma }^{\prime }$ 為： $${\Sigma }^{\prime }=JW\Sigma W^T{J}^T$$ 捨棄第三列與第三行，得到用於平面投射的 $2\times 2$ 共變異數矩陣。

2. 渲染與影像生成

每個高斯具有不透明度 $\alpha$（透過 Sigmoid 活化函數限制在 $[0,1)$）以及描述視角相依顏色 $\mathbf{c}$ 的球諧函數（SH）係數。在一個像素處混合 $N$ 個排序後重疊的高斯遵循標準體積形式： $$C=\sum _{i\in \mathcal{N}}{\mathbf{c}}_i{\alpha }_i\prod _{j=1}^{i-1}(1-{\alpha }_j)$$ 其中 ${\alpha }_i$ 是透過計算 2D 投影高斯乘以學習到的每點不透明度來決定的。

3. 最佳化與自適應控制

損失函數結合了 ${\mathcal{L}}_1$ 損失與 D-SSIM 損失（其中 $\lambda =0.2$）： $$\mathcal{L}=(1-\lambda ){\mathcal{L}}_1+\lambda {\mathcal{L}}_{\text{D-SSIM}}$$

自適應密度控制每 100 次迭代針對平均視角空間位置梯度超過 ${\tau }_{\text{pos}}=0.0002$ 的高斯執行：

• 複製（重建不足）： 對於小型高斯，複製一份並沿位置梯度方向移動。
• 分割（重建過度）： 對於大型高斯，將該圖元替換為兩個縮小因子 $\varphi =1.6$ 的較小高斯，其初始位置從母高斯中採樣。
• 修剪： 修剪 $\alpha <{ϵ}_{\alpha }$ 或在世界/視角空間中過大的高斯。每 $N=3000$ 次迭代，將不透明度重置為接近零，以過濾掉漂浮的假影。

4. 快速可微圖塊光柵化器

• 螢幕被劃分為 $16\times 16$ 像素的圖塊（tiles）。
• 通過 99% 信賴區間視錐剔除的高斯會被分配一個包含圖塊 ID 與視角空間深度的 64 位元鍵值。
• 單一 GPU 基數排序對整個畫面的所有實例進行排序。
• 執行緒區塊由前向後逐圖塊累加顏色，直到 $\alpha$ 達到飽和（在超過 $0.9999$ 之前停止）。
• 反向傳播由後向前遍歷圖塊，透過將最終累加的不透明度除以每個圖元的 $\alpha$ 來復原中間不透明度，避免了高昂的動態逐像素記憶體緩衝區成本。

成果

• Mip-NeRF360 資料集： 在 30K 次迭代後（平均訓練時間 41 分 33 秒），3D Gaussian Splatting 達到了平均 0.815 的 SSIM、27.21 dB 的 PSNR 與 0.214 的 LPIPS，達到或超越了 Mip-NeRF360（SSIM 0.792、PSNR 27.69 dB、LPIPS 0.237，訓練需 48 小時），而渲染速度為 134 FPS，遠高於 Mip-NeRF360 的 0.06 FPS。
• 快速設定（7K 次迭代）： 僅需 6 分 25 秒即可達到 0.770 的 SSIM 和 25.60 dB 的 PSNR，渲染幀率為 160 FPS，在相近的訓練時間內優於 InstantNGP-Base（SSIM 0.671、11.7 FPS）與 Plenoxels（SSIM 0.626、6.79 FPS）。
• Tanks&Temples 與 Deep Blending： 在 Tanks&Temples 上，30K 次迭代達到了 0.841 的 SSIM、23.14 dB 的 PSNR 以及 154 FPS。在 Deep Blending 上，達到 0.903 的 SSIM、29.41 dB 的 PSNR 以及 137 FPS。
• Synthetic Blender： 從完全隨機初始化的 10 萬個點出發，平均 PSNR 達到 33.32 dB，渲染速度為 180–300 FPS。

局限性與待解問題

• 未觀察到的視角與離群值： 稀疏的視角覆蓋或遠離訓練軌跡的視角可能會產生明顯的假影，例如拉長或斑駁狀的高斯。
• 突波假影（Popping Artifacts）： 深度排序的突變或過於激進的保護頻帶剔除（guard-band culling）可能在導覽過程中造成突波現象，這顯示出需要更好的反鋸齒機制。
• 記憶體消耗： 雖然與傳統密集點雲相比相對緊湊，但顯式表示法仍需數百 MB（例如包含 100 萬至 500 萬個高斯的場景需 400–750 MB），且未最佳化的原型訓練可能使 GPU 記憶體飆升超過 20 GB。
• 缺乏正規化項： 此框架未包含顯式的幾何平滑度或密度正規化器，在相機射線約束較差的區域容易留下背景漂浮物（floaters）。