NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

Ben Mildenhall; Pratul P. Srinivasan; Matthew Tancik; Jonathan T. Barron; Ravi Ramamoorthi; Ren Ng

논문 · arXiv 2003.08934

NeRF: 시점 합성을 위한 신경 광선 필드 기반 장면 표현

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren Ng

게시일 2020-03-19cs.CVcs.GR arXiv PDF

XYZNOT로 읽기 (전문 번역과 AI 해설)

세 줄 요약

🎯 이산 복셀 그리드나 프록시 메시 기하 구조 없이 복잡한 3D 장면의 고해상도 사실적 신규 시점 합성.
🔧 위치 인코딩, 미분 가능한 볼륨 렌더링, 계층적 샘플링을 적용한 MLP를 통해 정적 장면을 연속 5D 함수로 표현.
📈 사실적인 합성 장면에서 31.01 dB PSNR을 달성하며 최고 수준의 시점 합성을 구현하고 장면 표현을 약 5 MB로 압축.

초록

본 논문에서는 희소한 입력 시점 세트를 사용하여 기저의 연속적인 볼륨 장면 함수를 최적화함으로써, 복잡한 장면의 새로운 시점을 최적의 품질로 합성하는 방법을 제시합니다. 본 알고리즘은 단일 연속 5D 좌표(공간 위치 $(x, y, z)$ 및 시점 방향 $(θ, φ)$ )를 입력으로 받아 해당 공간 위치에서의 볼륨 밀도와 시점 종속 방출 광도를 출력하는 완전 연결(비합성곱) 딥 네트워크를 사용하여 장면을 표현합니다. 카메라 광선을 따라 5D 좌표를 쿼리하여 시점을 합성하고, 고전적인 볼륨 렌더링 기법을 사용하여 출력 색상과 밀도를 이미지로 투영합니다. 볼륨 렌더링은 본질적으로 미분 가능하므로, 본 표현을 최적화하는 데 필요한 입력은 알려진 카메라 포즈를 가진 이미지 세트뿐입니다. 복잡한 기하학적 구조와 외관을 가진 장면의 사실적인 새로운 시점을 렌더링하기 위해 신경 광선 필드를 효과적으로 최적화하는 방법을 설명하며, 신경 렌더링 및 시점 합성 분야의 기존 연구를 능가하는 결과를 입증합니다. 시점 합성 결과는 비디오로 볼 때 가장 잘 확인할 수 있으므로, 명확한 비교를 위해 보충 비디오를 시청할 것을 적극 권장합니다.

영어 원문 초록

We present a method that achieves state-of-the-art results for synthesizing novel views of complex scenes by optimizing an underlying continuous volumetric scene function using a sparse set of input views. Our algorithm represents a scene using a fully-connected (non-convolutional) deep network, whose input is a single continuous 5D coordinate (spatial location $(x, y, z)$ and viewing direction $(θ, φ)$ ) and whose output is the volume density and view-dependent emitted radiance at that spatial location. We synthesize views by querying 5D coordinates along camera rays and use classic volume rendering techniques to project the output colors and densities into an image. Because volume rendering is naturally differentiable, the only input required to optimize our representation is a set of images with known camera poses. We describe how to effectively optimize neural radiance fields to render photorealistic novel views of scenes with complicated geometry and appearance, and demonstrate results that outperform prior work on neural rendering and view synthesis. View synthesis results are best viewed as videos, so we urge readers to view our supplementary video for convincing comparisons.

논문 해설

문제 및 동기

촬영된 이미지로부터 새로운 시점을 합성하는 작업은 전통적으로 이산 볼륨 표현(복셀 그리드, 멀티플레인 이미지 등)이나 표면 메시에 의존해 왔습니다. 그러나 이산화된 복셀 그리드는 해상도에 따라 3제곱으로 증가하는 막대한 메모리 및 계산 비용을 초래하며, 메시 기반 미분 가능 최적화는 불리한 최적화 지형 문제를 겪고 우수한 초기 위상 구조를 필요로 합니다. 이전의 암묵적 신경 장면 표현은 좌표를 부호 거리 함수나 단일 표면 점에 직접 매핑했기 때문에, 복잡한 기하학적 구조, 시점 종속적 효과(예: 반사광), 고주파 디테일을 다루는 데 어려움이 있어 과도하게 뭉개진(oversmoothed) 결과를 초래했습니다.

핵심 아이디어

연속 5D 장면 함수: 정적 장면을 3D 위치 $x = (x, y, z)$ 와 2D 시점 방향 $d = (θ, ϕ)$ 를 방출 RGB 광도 $c$ 와 볼륨 밀도 $σ$ 로 매핑하는 암묵적 연속 함수 $F_{Θ} : (x, d) \to (c, σ)$ 로 표현합니다.
비대칭 예측을 통한 다중 시점 일관성: 밀도 $σ$ 는 위치 $x$ 로부터만 예측되는 반면(기하 구조는 시점 불변), 방출 색상 $c$ 는 위치 $x$ 와 시점 방향 $d$ 모두에 의존합니다(정반사 및 비람베르트 반사 표현 가능).
고주파 위치 인코딩: 정현파 기저 함수를 사용하여 저차원 입력 좌표를 고차원 공간으로 매핑함으로써 저주파 편향을 갖는 MLP의 스펙트럼 편향(spectral bias)을 극복합니다.
미분 가능한 볼륨 렌더링 및 계층적 샘플링: 광선을 따라 연속적인 샘플을 2D 픽셀 색상으로 누적하는 수치적 구적법을 적용하여 입력 사진에 대해 엔드투엔드로 최적화하며, coarse-to-fine 계층적 샘플링을 통해 이를 가속화합니다.

방법 (핵심 수식 포함)

근평면 및 원평면 $t_{n}$ 과 $t_{f}$ 로 제한된 카메라 광선 $r (t) = o + t d$ 에 대해, 연속적인 기대 색상 $C (r)$ 은 다음과 같습니다: $C (r) = \int_{t_{n}}^{t_{f}} T (t) σ (r (t)) c (r (t), d) d t, T (t) = exp (- \int_{t_{n}}^{t} σ (r (s)) d s)$ 여기서 $T (t)$ 는 누적 투과율(transmittance)입니다.

이를 수치적으로 계산하기 위해, 연속 구간을 $N$ 개의 빈으로 분할하고 계층화된 샘플링(stratified sampling)을 수행하여 알파 합성(alpha compositing)과 동일한 이산 구적법을 산출합니다: $\hat{C} (r) = i = 1 \sum N T_{i} (1 - exp (- σ_{i} δ_{i})) c_{i}, T_{i} = exp (- j = 1 \sum i - 1 σ_{j} δ_{j})$ 여기서 $δ_{i} = t_{i + 1} - t_{i}$ 입니다.

고주파 기하 구조와 텍스처를 포착하기 위해 입력값은 위치 인코딩 $γ (p)$ 를 통해 매핑됩니다: $γ (p) = (sin (2^{0} π p), cos (2^{0} π p), \dots, sin (2^{L - 1} π p), cos (2^{L - 1} π p))$ 여기서 $x$ 에 대해서는 $L = 10$ , $d$ 에 대해서는 $L = 4$ 가 적용됩니다.

효율적인 샘플링을 위해 NeRF는 두 개의 네트워크(샘플 수가 $N_{c} = 64$ 인 coarse 네트워크와 $N_{f} = 128$ 개의 추가 샘플을 사용하는 fine 네트워크)를 동시에 최적화합니다. Coarse 샘플 가중치 $w_{i} = T_{i} (1 - exp (- σ_{i} δ_{i}))$ 는 광선을 따라 구분 구적 확률 밀도 함수를 정의하며, fine 샘플은 역변환 샘플링(inverse transform sampling)을 통해 이 분포로부터 추출됩니다.

전체 모델은 광선 배치 $R$ 에 대한 총 제곱 오차를 최소화함으로써 학습됩니다: $L = r \in R \sum [\hat{C}_{c} (r) - C (r)_{2}^{2} + \hat{C}_{f} (r) - C (r)_{2}^{2}]$

결과 (주요 수치 포함)

Realistic Synthetic $36 0^{\circ}$ : NeRF는 31.01 dB PSNR, 0.947 SSIM, 0.081 LPIPS를 달성하여 NV(26.05 dB), LLFF(24.88 dB), SRN(22.26 dB)과 같은 베이스라인을 크게 능가했습니다.
Diffuse Synthetic $36 0^{\circ}$ : NeRF는 40.15 dB PSNR과 0.991 SSIM을 달성한 반면, DeepVoxels는 장면별 평균 점수 기준 30.55 dB, LLFF는 34.38 dB를 기록했습니다.
Real Forward-Facing Scenes: 26.50 dB PSNR을 기록하여 LLFF(24.13 dB) 및 SRN(22.84 dB)을 능가했습니다.
저장 효율성: 완전히 학습된 NeRF 모델은 약 5 MB의 MLP 가중치만을 필요로 하며, 이는 LLFF 복셀 표현(장면당 15 GB 초과) 대비 약 3000배의 저장 공간 감소 효과를 보입니다.

한계점 및 향후 과제

학습 및 렌더링 시간: 단일 장면을 최적화하는 데 10만~~30만 회의 반복(NVIDIA V100 GPU 1대 기준 약 1~~2일 소요)이 필요합니다. 단일 프레임을 렌더링하는 데 1억 5천만~2억 회의 MLP 쿼리가 필요하여 약 30초가 소요됩니다.
모델 해석 가능성: 복셀 그리드나 폴리곤 메시와 달리 장면 정보가 MLP 가중치 내에 갇혀 있어, 직접적인 편집, 검사 및 오류 디버깅이 어렵습니다.
통제된 캡처 환경 요구: 카메라 포즈를 알고 있어야 하며(예: COLMAP을 통해 추출), 정적 장면, 일관된 조명, 명확한 장면 경계 볼륨이 보장되어야 합니다.

핵심 용어

Neural Radiance Field (NeRF, 신경 광선 필드): 공간 좌표와 시점 방향을 볼륨 밀도 및 방출 광도로 매핑하는 심층 완전 연결 신경망으로 매개변수화된 연속 5D 볼륨 장면 표현.
Positional Encoding (위치 인코딩): 연속적인 입력 좌표를 고차원 주파수 공간으로 투영하여 네트워크가 고주파 디테일을 학습할 수 있도록 하는 결정론적 정현파 매핑 $γ (p)$ .
Volume Density (볼륨 밀도): 카메라 광선이 3D 공간의 미소 지점에서 종료될 확률을 모델링하는 시점 불변 미분 불투명도 $σ (x)$ .
Transmittance (투과율): 카메라 광선이 어떤 장면 입자에도 부딪혀 소멸되지 않고 근거리 절단면에서 광선을 따른 특정 거리까지 도달할 확률 $T (t)$ .
Hierarchical Volume Sampling (계층적 볼륨 샘플링): Coarse 네트워크가 추정한 광선 밀도를 사용하여 fine 네트워크를 위한 추가 포인트를 광선 상에서 샘플링할 비균일 확률 분포를 구축하는 coarse-to-fine 샘플링 방법.
Stratified Sampling (계층화된 샘플링): 최적화 과정에서 연속적인 평가가 가능하도록 광선의 깊이 범위를 균등한 간격의 빈으로 분할하고 각 빈에서 하나의 무작위 연속 샘플을 균일하게 추출하는 샘플링 절차.
Normalized Device Coordinates (NDC, 정규화된 장치 좌표): 전방을 향하는 촬영의 원근 뷰 절두체(frustum)를 $[- 1, 1]^{3}$ 공간으로 매핑하여 카메라 축이 시차(disparity)에 선형이 되도록 만드는 좌표계.

자주 묻는 질문

밀도는 위치에만 의존하는 반면, 색상은 위치와 시점 방향 모두에 의존하는 이유는 무엇인가요?

밀도 $σ$ 가 공간 위치 $x$ 에만 의존하도록 제한함으로써 시점 전반에 걸친 다중 시점 기하학적 일관성을 강제합니다. 반면 색상 $c$ 는 시점 방향 $d$ 를 입력으로 받도록 허용하여 MLP가 정반사와 같은 시점 종속적인 비람베르트 현상을 표현할 수 있게 합니다.

NeRF의 위치 인코딩은 Transformer의 위치 인코딩과 어떻게 다른가요?

Transformer는 순열 불변성을 가지는 어텐션 블록에 이산 토큰 순서를 주입하기 위해 위치 인코딩을 사용하는 반면, NeRF는 저주파에 편향되는 MLP의 스펙트럼 편향을 극복하기 위해 연속적인 저차원 좌표를 고차원 공간으로 매핑하는 정현파 인코딩을 사용합니다.

NeRF를 처음부터 최적화하려면 어떤 입력이 필요한가요?

NeRF는 알려진 카메라 내부 파라미터, 카메라 포즈 및 근거리/원거리 장면 경계(실제 데이터의 경우 COLMAP으로 획득, 합성 데이터의 경우 ground-truth 포즈 사용)가 포함된 정적 장면의 보정된 2D RGB 이미지 세트만 필요로 합니다.

NeRF 학습과 렌더링에는 시간이 얼마나 걸리나요?

단일 장면을 학습하는 데 NVIDIA V100 GPU 기준으로 10만~~30만 회의 반복(약 1~~2일)이 소요됩니다. 새로운 시점을 렌더링할 때는 이미지당 1억 5천만~2억 회의 좌표 쿼리를 평가해야 하므로 프레임당 약 30초가 걸립니다.

이 페이지의 해설은 AI가 논문을 바탕으로 작성했으며 오류가 있을 수 있습니다. 자세한 내용은 원문을 확인하세요.

XYZNOT로 읽기 (전문 번역과 AI 해설)