用于实时辐射场渲染的 3D Gaussian Splatting

论文解读

问题与动机

神经辐射场（NeRF）通过多层感知机（MLP）优化连续隐式场景表示，彻底改变了新视角合成领域。然而，这些连续场的渲染依赖于随机体积光线步进（volumetric ray-marching），每条光线需要评估数十或数百个采样点。这带来了沉重的计算负担、漫长的训练时间（例如，Mip-NeRF360 需要长达 48 小时）以及极慢的推理速度（每帧需数秒），阻碍了在 1080p 等高分辨率下的实时漫游。

尽管更快的辐射场变体（如 Plenoxels 和 InstantNGP）依靠体素或哈希网格来加速训练，但它们通常会牺牲视觉保真度，并在处理空白空间或高频细节时表现挣扎。相反，基于点的方法提供了对 GPU 友好的显式几何表示，但传统的点光栅化需要稠密的多视图立体几何（MVS）以避免空洞，或者依赖引入时间闪烁的 CNN 后处理。

本文提出了一种使用 3D Gaussians 的非结构化显式场景表示，并结合快速的基于分块的光栅化器，在保持实时帧率和具有竞争力的优化时间的同时，达到了顶尖隐式辐射场的渲染保真度。

核心思想

1. 非结构化 3D 高斯表示： 不使用连续坐标网络或密集网格，而是由具有完整各向异性协方差矩阵的离散 3D 高斯参数化辐射场，直接从稀疏运动恢复结构（SfM）点云初始化，无需法线或稠密 MVS。
2. 通过尺度和旋转参数化： 为了确保协方差矩阵在梯度下降过程中始终保持正半定，将其解耦为一个 3D 缩放向量和一个单位四元数。
3. 自适应密度控制： 优化过程通过跟踪视空间位置梯度动态管理场景密度：克隆重建不足的高斯，分割过度重建的高斯，同时剪枝透明或过大的 splat。
4. 可见性感知分块光栅化： 定制的 GPU 光栅化器将屏幕像素组织成 $16\times 16$ 的分块（tiles），使用快速基数排序对每帧中的 splat 进行深度排序，并由前向后对各向异性投影进行 Alpha 混合，且不限制接收梯度更新的 splat 数量。

方法

1. 3D 高斯场景表示

中心位于均值 $\mu$ 的 3D 高斯在世界空间中由其协方差矩阵 $\Sigma$ 定义： $$G(x)=e^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$$

为保证 $\Sigma$ 在优化期间保持正半定，将其分解为旋转矩阵 $R$ 和缩放矩阵 $S$： $$\Sigma =RS{S}^T{R}^T$$ 其中，$S$ 存储为使用指数激活求值的 3D 向量 $s$，$R$ 由归一化单位四元数 $q$ 参数化。

在渲染时，3D 高斯遵循 EWA splatting 框架投影到 2D 图像坐标。给定观察变换 $W$ 以及投影变换仿射近似的雅可比矩阵 $J$，屏幕空间中的 2D 协方差矩阵 ${\Sigma }^{\prime }$ 为： $${\Sigma }^{\prime }=JW\Sigma W^T{J}^T$$ 舍弃第三行和第三列，得到用于平面 splatting 的 $2\times 2$ 协方差矩阵。

2. 渲染与图像生成

每个高斯具有一个不透明度 $\alpha$（通过 sigmoid 激活约束在 $[0,1)$）和描述视角相关颜色 $\mathbf{c}$ 的球谐（SH）系数。在一个像素处混合 $N$ 个有序重叠的高斯遵循标准体积公式： $$C=\sum _{i\in \mathcal{N}}{\mathbf{c}}_i{\alpha }_i\prod _{j=1}^{i-1}(1-{\alpha }_j)$$ 其中 ${\alpha }_i$ 由计算 2D 投影高斯乘以学得的单点不透明度决定。

3. 优化与自适应控制

损失函数结合了 ${\mathcal{L}}_1$ 损失和 D-SSIM 损失（其中 $\lambda =0.2$）： $$\mathcal{L}=(1-\lambda ){\mathcal{L}}_1+\lambda {\mathcal{L}}_{\text{D-SSIM}}$$

对平均视空间位置梯度超过 ${\tau }_{\text{pos}}=0.0002$ 的高斯，每 100 次迭代执行一次自适应密度控制：

• 克隆（重建不足）： 对于小高斯，创建一个副本并沿位置梯度方向移动。
• 分割（过度重建）： 对于大高斯，用两个尺度缩小 $\varphi =1.6$ 倍的较小高斯替换该图元，其初始位置从父高斯中采样。
• 剪枝： 剪除 $\alpha <{ϵ}_{\alpha }$ 或在世界/视空间中过大的高斯。每 $N=3000$ 次迭代，将不透明度重置为接近零以滤除悬浮伪影（floaters）。

4. 快速可微基于分块的光栅化器

• 屏幕被划分为 $16\times 16$ 像素的分块（tiles）。
• 通过 99% 置信区间视锥裁剪的高斯会被赋予编码了分块 ID 和视空间深度的 64 位键值。
• 使用单次 GPU 基数排序对全帧的所有实例进行排序。
• 线程块在每个分块内由前向后累积颜色，直到 $\alpha$ 达到饱和（在超过 $0.9999$ 之前停止）。
• 反向传播由后向前遍历分块，通过将最终累积的不透明度除以每个图元的 $\alpha$ 来恢复中间不透明度，避免了高昂的动态逐像素内存缓冲区开销。

结果

• Mip-NeRF360 数据集： 经过 30K 次迭代（平均训练时间 41 分 33 秒）后，3D Gaussian Splatting 实现了平均 0.815 的 SSIM、27.21 dB 的 PSNR 和 0.214 的 LPIPS，达到或超过了 Mip-NeRF360（SSIM 0.792，PSNR 27.69 dB，LPIPS 0.237，训练耗时 48 小时），同时渲染速度达到 134 FPS（相比之下 Mip-NeRF360 仅为 0.06 FPS）。
• 快速配置（7K 次迭代）： 仅需 6 分 25 秒即可提供 0.770 的 SSIM 和 25.60 dB 的 PSNR，帧率高达 160 FPS，在相近的训练时间内大幅超越了 InstantNGP-Base（SSIM 0.671，11.7 FPS）和 Plenoxels（SSIM 0.626，6.79 FPS）。
• Tanks&Temples 与 Deep Blending： 在 Tanks&Temples 上，30K 次迭代在 154 FPS 下达到 0.841 的 SSIM 和 23.14 dB 的 PSNR。在 Deep Blending 上，以 137 FPS 实现了 0.903 的 SSIM 和 29.41 dB 的 PSNR。
• Synthetic Blender： 从完全随机初始化的 10 万个点出发，达到了 33.32 dB 的平均 PSNR，渲染速度为 180–300 FPS。

局限性与待解决问题

• 未观察视角与异常值： 稀疏的覆盖或远离训练轨迹的视角可能会产生明显的伪影，例如拉长或斑驳的高斯核。
• 跳变伪影（Popping Artifacts）： 深度顺序的突然切换或激进的保护带裁剪可能会在漫游期间引入跳变，这表明需要更好的抗锯齿处理。
• 显存占用： 尽管相比经典的密集点云更为紧凑，但这种显式表示仍需要数百兆字节（例如，包含 100 万至 500 万个高斯的场景需要 400–750 MB），且未优化的原型代码在训练时可能导致 GPU 显存峰值超过 20 GB。
• 缺乏正则化： 该框架未包含显式的几何平滑度或密度正则项，容易在相机光线约束较弱的区域留下背景浮空杂点。