3D Gaussian Splatting for Real-Time Radiance Field Rendering

論文解説

問題設定と動機

Neural Radiance Fields（NeRFs）は、多層パーセプトロン（MLP）を介して連続的な暗黙的シーン表現を最適化することで、新規視点合成に革新をもたらしました。しかし、これらの連続的な場をレンダリングするには確率的ボリュームレイマーチングに依存する必要があり、レイあたり数十から数百のサンプルを評価しなければなりません。これにより計算負荷が極めて大きくなり、長い学習時間（例: Mip-NeRF360で最大48時間）と非常に遅い推論速度（フレームあたり数秒）が生じ、1080pなどの高解像度での実時間ナビゲーションは困難でした。

PlenoxelsやInstantNGPのような放射輝度場の高速化手法は、ボクセルやハッシュグリッドを利用して学習を加速させますが、視覚的忠実度とトレードオフになることが多く、何もない空間や高周波なディテールの扱いに苦戦します。逆に、ポイントベースのアプローチはGPUに適した明示的な幾何構造を提供しますが、従来のポイントラスタライゼーションは穴を避けるために密なMulti-View Stereo（MVS）幾何形状が必要であったり、時間的フリッカーを引き起こすCNN後処理に依存したりしていました。

本論文では、3D Gaussiansを用いた非構造化で明示的なシーン表現と高速なタイルベースラスタライザを組み合わせることで、トップクラスの暗黙的放射輝度場と同等の描画忠実度を、実時間フレームレートおよび実用的な最適化時間とともに達成することを提案します。

主なアイデア

1. 非構造化3Dガウス表現: 連続的な座標ネットワークや密なグリッドの代わりに、完全な異方性共分散行列を持つ離散的な3Dガウスによって放射輝度場をパラメータ化します。法線や密なMVSを必要とせず、疎なStructure-from-Motion（SfM）点群から初期化されます。
2. スケールと回転によるパラメータ化: 勾配降下法全体を通じて共分散行列が半正定値であり続けるよう、3Dスケーリングベクトルと単位四元数（クォータニオン）に分解します。
3. 適応的密度制御: 視点空間の位置勾配を追跡することで、最適化中にシーンの密度を動的に管理します。再構築が不十分なガウスは複製し、過剰に再構築されたガウスは分割する一方、透明または大きすぎるスプラットを除去（枝刈り）します。
4. 可視性を考慮したタイルベースラスタライゼーション: 専用のGPUラスタライザが画面ピクセルを$16\times 16$のタイルに分割し、高速基数ソート（Radix sort）を用いてフレームごとにスプラットを深度順にソートし、勾配の更新を受け取るスプラットの数を制限することなく、異方性投影を手前から奥へアルファブレンディングします。

手法

1. 3Dガウスによるシーン表現

平均$\mu$を中心とする3Dガウスは、ワールド空間における共分散行列$\Sigma$によって定義されます: $$G(x)=e^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$$

最適化中に$\Sigma$が半正定値を維持することを保証するため、回転行列$R$とスケーリング行列$S$に因数分解します: $$\Sigma =RS{S}^T{R}^T$$ ここで、$S$は指数関数で評価される3Dベクトル$s$として保持され、$R$は正規化された単位四元数$q$によってパラメータ化されます。

レンダリング時、3DガウスはEWAスプラッティングの枠組みに従って2D画像座標に投影されます。視点変換$W$と射影変換のアフィン近似のヤコビ行列$J$が与えられると、スクリーン空間における2D共分散行列${\Sigma }^{\prime }$は次のようになります: $${\Sigma }^{\prime }=JW\Sigma W^T{J}^T$$ 3行目と3列目を破棄することで、平面スプラッティング用の$2\times 2$共分散行列が得られます。

2. レンダリングと画像生成

各ガウスは、不透明度$\alpha$（シグモイド関数により$[0,1)$に制限）と、視点依存の色$\mathbf{c}$を記述する球面調和関数（Spherical Harmonics: SH）係数を持ちます。ピクセル上でソートされた$N$個の重なり合うガウスのブレンディングは、標準的なボリューム定式化に従います: $$C=\sum _{i\in \mathcal{N}}{\mathbf{c}}_i{\alpha }_i\prod _{j=1}^{i-1}(1-{\alpha }_j)$$ ここで${\alpha }_i$は、2Dに投影されたガウスを評価し、学習された点ごとの不透明度を乗算することによって決定されます。

3. 最適化と適応的制御

損失関数は、${\mathcal{L}}_1$損失とD-SSIM損失を組み合わせたものです（$\lambda =0.2$）: $$\mathcal{L}=(1-\lambda ){\mathcal{L}}_1+\lambda {\mathcal{L}}_{\text{D-SSIM}}$$

視点空間での平均位置勾配が${\tau }_{\text{pos}}=0.0002$を超えるガウスに対し、100イテレーションごとに適応的密度制御を実行します:

• 複製（Under-reconstruction）: 小さなガウスの場合、複製を作成して位置勾配の方向に移動させます。
• 分割（Over-reconstruction）: 大きなガウスの場合、そのプリミティブをスケールが係数$\varphi =1.6$で縮小された2つの小さなガウスに置き換え、親ガウスから初期位置をサンプリングします。
• 枝刈り（Pruning）: $\alpha <{ϵ}_{\alpha }$のガウスや、ワールド/視点空間で過度に大きいガウスを削除します。浮遊アーティファクトを除去するため、$N=3000$イテレーションごとに不透明度をゼロ近くにリセットします。

4. 高速で微分可能なタイルベースラスタライザ

• 画面は$16\times 16$ピクセルのタイルに分割されます。
• 99%信頼区間の視錐台カリングを通過したガウスには、タイルIDと視点空間の深度をエンコードした64ビットキーが割り当てられます。
• 単一のGPU基数ソート（Radix sort）により、フレーム全体のすべてのインスタンスをソートします。
• スレッドブロックは、$\alpha$が飽和するまで（$0.9999$を超える手前で停止）、タイルごとに手前から奥へと色を蓄積します。
• バックワードパスではタイルを奥から手前へ逆走し、最終的な蓄積不透明度を各プリミティブの$\alpha$で割ることで中間状態の不透明度を復元するため、メモリ負荷の高いピクセル単位の動的バッファを回避できます。

結果

• Mip-NeRF360データセット: 30Kイテレーション後（平均学習時間41分33秒）、3D Gaussian Splattingは平均でSSIM 0.815、PSNR 27.21 dB、LPIPS 0.214を達成し、Mip-NeRF360（SSIM 0.792、PSNR 27.69 dB、LPIPS 0.237、学習時間48時間）と同等以上の性能を示しながら、Mip-NeRF360の0.06 FPSに対して134 FPSでレンダリングを行いました。
• 高速設定（7Kイテレーション）: わずか6分25秒でSSIM 0.770、PSNR 25.60 dB、160 FPSを達成し、同等の学習時間内においてInstantNGP-Base（SSIM 0.671、11.7 FPS）やPlenoxels（SSIM 0.626、6.79 FPS）を上回りました。
• Tanks&TemplesおよびDeep Blending: Tanks&Templesでは30KイテレーションでSSIM 0.841、PSNR 23.14 dB、154 FPSに達しました。Deep BlendingではSSIM 0.903、PSNR 29.41 dB、137 FPSを達成しました。
• Synthetic Blender: 10万点の完全なランダム初期化から平均PSNR 33.32 dBを記録し、180〜300 FPSで描画しました。

限界と未解決の課題

• 未観測の視点と外れ値: カバレッジが疎な領域や学習軌道から大きく離れた視点では、引き伸ばされたガウスや斑点状（splotchy）のガウスなど、目に見えるアーティファクトが生じる可能性があります。
• ポッピング現象: 深度順の急な切り替わりや積極的なガードバンドカリングにより、カメラ移動中にポッピングが発生することがあり、アンチエイリアシングのさらなる改善が必要です。
• メモリ消費量: 従来の密な点群と比較すればコンパクトですが、明示的な表現には数百メガバイト（例: 100万〜500万個のガウスを含むシーンで400〜750 MB）が必要であり、最適化されていないプロトタイプの実装では学習時のGPUメモリが20 GBを超えることがあります。
• 正則化の欠如: 幾何学的滑らかさや密度の明示的な正則化項が含まれていないため、カメラ光線による制約が弱い領域に背景の浮遊物（フローター）が残りやすい傾向があります。