NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

Ben Mildenhall; Pratul P. Srinivasan; Matthew Tancik; Jonathan T. Barron; Ravi Ramamoorthi; Ren Ng

論文 · arXiv 2003.08934

NeRF: 視点合成のためのニューラル放射輝度場によるシーン表現

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren Ng

公開日 2020-03-19cs.CVcs.GR arXiv PDF

XYZNOT で読む（全文翻訳と AI 解説）

3行まとめ

🎯 離散ボクセルグリッドやプロキシメッシュジオメトリを用いずに、複雑な3Dシーンの高解像度で写実的な新規視点画像を合成。
🔧 位置エンコーディング、微分可能ボリュームレンダリング、階層的サンプリングを用いたMLPにより、静的シーンを連続的な5D関数として表現。
📈 リアルな合成シーンにおいて31.01 dBのPSNRを達成し、最先端の視点合成を実現するとともに、シーン表現を約5 MBに圧縮。

概要

本論文では、スパースな入力視点画像群を用いて基礎となる連続的なボリュームシーン関数を最適化することで、複雑なシーンの新規視点合成において最先端（SOTA）の結果を達成する手法を提案します。本アルゴリズムは全結合（非畳み込み）ディープネットワークを用いてシーンを表現します。その入力は単一の連続的な5D座標（空間位置 $(x, y, z)$ および視線方向 $(θ, φ)$ ）であり、出力はその空間位置におけるボリューム密度と視点依存の放射輝度です。カメラ光線に沿って5D座標をクエリし、古典的なボリュームレンダリング手法を用いて出力された色と密度を画像に投影することで視点を合成します。ボリュームレンダリングは本質的に微分可能であるため、本表現の最適化に必要な入力は既知のカメラ姿勢を持つ画像セットのみです。複雑な幾何形状と外観を持つシーンの写実的な新規視点をレンダリングするためにニューラル放射輝度場を効果的に最適化する方法を解説し、ニューラルレンダリングおよび視点合成における従来研究を凌駕する結果を示します。視点合成の結果は動画として見るのが最も適しているため、説得力のある比較として付属の補足動画をご覧いただくことを強くお勧めします。

英語の原文概要

We present a method that achieves state-of-the-art results for synthesizing novel views of complex scenes by optimizing an underlying continuous volumetric scene function using a sparse set of input views. Our algorithm represents a scene using a fully-connected (non-convolutional) deep network, whose input is a single continuous 5D coordinate (spatial location $(x, y, z)$ and viewing direction $(θ, φ)$ ) and whose output is the volume density and view-dependent emitted radiance at that spatial location. We synthesize views by querying 5D coordinates along camera rays and use classic volume rendering techniques to project the output colors and densities into an image. Because volume rendering is naturally differentiable, the only input required to optimize our representation is a set of images with known camera poses. We describe how to effectively optimize neural radiance fields to render photorealistic novel views of scenes with complicated geometry and appearance, and demonstrate results that outperform prior work on neural rendering and view synthesis. View synthesis results are best viewed as videos, so we urge readers to view our supplementary video for convincing comparisons.

論文解説

課題と動機

撮影された画像からの新規視点合成は、伝統的に離散的なボリューム表現（ボクセルグリッドやマルチプレーン画像など）やサーフェスメッシュに依存してきました。しかし、離散化されたボクセルグリッドは解像度に対して3乗でスケールするため法外なメモリと計算コストがかかり、メッシュベースの微分可能最適化は最適化ランドスケープの悪さに悩まされ、良好な初期トポロジを必要とします。従来の暗黙的ニューラルシーン表現は座標を符号付き距離関数（SDF）や単一サーフェス点に直接マッピングしていたため、複雑なジオメトリ、視点依存効果（鏡面反射など）、高周波の詳細を扱うのが難しく、過度に平滑化された結果となっていました。

主要なアイデア

連続的な5Dシーン関数: 静的シーンを暗黙的な連続関数 $F_{Θ} : (x, d) \to (c, σ)$ として表現します。これは3D位置 $x = (x, y, z)$ と2D視線方向 $d = (θ, ϕ)$ を放射されるRGB放射輝度 $c$ とボリューム密度 $σ$ にマッピングします。
非対称予測による多視点整合性: 密度 $σ$ は位置 $x$ のみから予測され（ジオメトリは視点不変）、放射される色 $c$ は位置 $x$ と視線方向 $d$ の両方に依存します（鏡面反射や非ランバート反射のハイライトを表現可能）。
高周波位置エンコーディング（Positional Encoding）: 正弦波基底関数を用いて低次元の入力座標を高次元空間にマッピングすることで、低周波に偏るMLPのスペクトルバイアスを克服します。
微分可能ボリュームレンダリングと階層的サンプリング: 数値求積法を採用して光線に沿った連続サンプルを2Dピクセルカラーへと蓄積し、入力写真に対してエンドツーエンドで最適化します。これはcoarse-to-fineの階層的サンプリングによって高速化されます。

手法（主要な数式を含む）

近クリップ面 $t_{n}$ と遠クリップ面 $t_{f}$ で制限されたカメラ光線 $r (t) = o + t d$ に対して、連続的な期待される色 $C (r)$ は次式で表されます: $C (r) = \int_{t_{n}}^{t_{f}} T (t) σ (r (t)) c (r (t), d) d t, T (t) = exp (- \int_{t_{n}}^{t} σ (r (s)) d s)$ ここで $T (t)$ は蓄積透過率です。

これを数値的に計算するため、連続区間を $N$ 個のビンに分割し、層化サンプリング（stratified sampling）で評価します。これにより、アルファブレンディングと等価な離散求積法が得られます: $\hat{C} (r) = i = 1 \sum N T_{i} (1 - exp (- σ_{i} δ_{i})) c_{i}, T_{i} = exp (- j = 1 \sum i - 1 σ_{j} δ_{j})$ ここで $δ_{i} = t_{i + 1} - t_{i}$ です。

高周波のジオメトリとテクスチャを捉えるため、入力は位置エンコーディング $γ (p)$ を介してマッピングされます: $γ (p) = (sin (2^{0} π p), cos (2^{0} π p), \dots, sin (2^{L - 1} π p), cos (2^{L - 1} π p))$ $x$ に対しては $L = 10$ 、 $d$ に対しては $L = 4$ とします。

効率的にサンプリングを行うため、NeRFは2つのネットワーク（ $N_{c} = 64$ サンプルのcoarseネットワークと、追加の $N_{f} = 128$ サンプルを持つfineネットワーク）を同時に最適化します。coarseサンプルの重み $w_{i} = T_{i} (1 - exp (- σ_{i} δ_{i}))$ は光線に沿った区分的一定の確率密度関数を定義し、そこから逆変換サンプリングによってfineサンプルが抽出されます。

モデル全体は、光線のバッチ $R$ に対する総二乗誤差を最小化することによって訓練されます: $L = r \in R \sum [\hat{C}_{c} (r) - C (r)_{2}^{2} + \hat{C}_{f} (r) - C (r)_{2}^{2}]$

結果（重要な数値を含む）

Realistic Synthetic $36 0^{\circ}$ : NeRFは 31.01 dB のPSNR、0.947 のSSIM、0.081 のLPIPSを達成し、NV（26.05 dB）、LLFF（24.88 dB）、SRN（22.26 dB）などのベースラインを大幅に上回りました。
Diffuse Synthetic $36 0^{\circ}$ : DeepVoxels（シーンごとのスコアから示唆される平均30.55 dB）やLLFF（34.38 dB）に対し、NeRFは 40.15 dB のPSNRと 0.991 のSSIMを獲得しました。
実環境の前方撮影シーン（Real Forward-Facing Scenes）: 26.50 dB のPSNRを達成し、LLFF（24.13 dB）およびSRN（22.84 dB）を凌駕しました。
ストレージ効率: 完全に訓練されたNeRFモデルのMLP重みは約 5 MB に過ぎず、LLFFのボクセル表現（シーンあたり15 GB以上）と比較して約 $3000 \times$ のストレージ削減を実現しました。

限界と未解決の課題

訓練およびレンダリング時間: 1つのシーンの最適化には10万〜30万イテレーションを要します（単一のNVIDIA V100 GPUで約1〜2日）。1フレームのレンダリングには1億5000万〜2億回のMLPクエリが必要で、約30秒かかります。
モデルの解釈性: ボクセルグリッドやポリゴンメッシュとは異なり、シーンはMLPの重みの中に閉じ込められているため、直接的な編集、検査、エラーのデバッグが困難です。
統制された撮影要件: 本手法は、既知のカメラ姿勢（COLMAPなどから取得）、静的なシーン、一貫した照明、明確なシーン境界ボリュームを前提としています。

重要用語

Neural Radiance Field (NeRF): 空間座標と視線方向をボリューム密度および放射輝度にマッピングする、ディープな全結合ニューラルネットワークによってパラメータ化された連続的な5Dボリュームシーン表現。
Positional Encoding (位置エンコーディング): 連続的な入力座標を高次元の周波数空間に投影し、ネットワークが高周波の詳細を学習できるようにする決定論的な正弦波マッピング $γ (p)$ 。
Volume Density (ボリューム密度): カメラ光線が3D空間の微小点で停止する確率をモデル化する、視点に依存しない微小不透明度 $σ (x)$ 。
Transmittance (透過率): カメラ光線がシーン内の粒子で遮断されることなく、近クリップ面から光線上の特定の距離まで進む確率 $T (t)$ 。
Hierarchical Volume Sampling (階層的ボリュームサンプリング): coarseネットワークによって推定された光線密度を利用して不均一な確率分布を構築し、fineネットワーク用に光線に沿って追加の点をサンプリングするcoarse-to-fineのサンプリング手法。
Stratified Sampling (層化サンプリング): 光線の深度範囲を等間隔のビンに分割し、ビンごとに1つの連続サンプルを一様にランダム抽出することで、最適化中の連続的な評価を可能にするサンプリング手順。
Normalized Device Coordinates (NDC): 前方撮影の透視投影視体積を $[- 1, 1]^{3}$ にマッピングし、カメラ軸を視差（disparity）において線形にする座標空間。

よくある質問

なぜ密度は位置のみに依存し、色は位置と視線方向の両方に依存するのですか？

密度 $σ$ を空間位置 $x$ のみに依存するように制限することで、視点間での幾何学的な多視点整合性を強制します。一方、色 $c$ に視線方向 $d$ を入力として受け取らせることで、MLPが鏡面反射などの視点依存の非ランバート現象を表現できるようにしています。

NeRFの位置エンコーディングはTransformerの位置エンコーディングとどう異なりますか？

Transformerでは順序不変なアテンションブロックに離散的なトークンの順序情報を注入するために位置エンコーディングを使用しますが、NeRFでは低周波を好むMLPのスペクトルバイアスを回避するために、連続的な低次元座標を高次元空間へマッピングする正弦波エンコーディングを使用しています。

NeRFをゼロから最適化するにはどのような入力が必要ですか？

NeRFが必要とするのは、既知のカメラ内部パラメータ、カメラ姿勢、および近/遠クリップ面の境界（実データの場合はCOLMAPから取得、合成データの場合は真値を使用）を持つ、静的シーンの較正済み2D RGB画像セットのみです。

NeRFの訓練とレンダリングにはどのくらいの時間がかかりますか？

単一シーンの訓練にはNVIDIA V100 GPUで10万〜30万イテレーション（約1〜2日）かかります。新規視点のレンダリングには画像1枚あたり1億5000万〜2億回の座標クエリの評価が必要であり、1フレームあたり約30秒を要します。

このページの解説は AI が論文から作成したもので、誤りを含む場合があります。詳細は原文をご確認ください。

XYZNOT で読む（全文翻訳と AI 解説）