NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

Ben Mildenhall; Pratul P. Srinivasan; Matthew Tancik; Jonathan T. Barron; Ravi Ramamoorthi; Ren Ng

Bài báo · arXiv 2003.08934

NeRF: Biểu diễn cảnh dưới dạng trường bức xạ thần kinh cho tổng hợp góc nhìn mới

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren Ng

Xuất bản 2020-03-19cs.CVcs.GR arXiv PDF

Đọc với bản dịch và AI

Tóm tắt trong ba dòng

🎯 Tổng hợp các góc nhìn mới có độ phân giải cao và chân thực cho các cảnh 3D phức tạp mà không cần lưới voxel rời rạc hay hình học lưới đa giác đại diện.
🔧 Biểu diễn các cảnh tĩnh dưới dạng các hàm 5D liên tục được ánh xạ bởi một MLP sử dụng positional encoding, differentiable volume rendering và lấy mẫu phân cấp.
📈 Đạt kết quả tổng hợp góc nhìn state-of-the-art, đạt 31.01 dB PSNR trên các cảnh tổng hợp thực tế và nén biểu diễn cảnh xuống chỉ còn ~5 MB.

Tóm tắt

Chúng tôi giới thiệu một phương pháp đạt kết quả state-of-the-art trong việc tổng hợp các góc nhìn mới của những cảnh phức tạp bằng cách tối ưu hóa một hàm cảnh thể tích liên tục tiềm ẩn dựa trên một tập hợp thưa các góc nhìn đầu vào. Thuật toán của chúng tôi biểu diễn một cảnh bằng một mạng sâu kết nối đầy đủ (không tích chập), với đầu vào là một tọa độ 5D liên tục duy nhất (vị trí không gian $(x, y, z)$ và hướng nhìn $(θ, φ)$ ) cùng đầu ra là mật độ thể tích và bức xạ phát ra phụ thuộc vào hướng nhìn tại vị trí không gian đó. Chúng tôi tổng hợp các góc nhìn bằng cách truy vấn tọa độ 5D dọc theo các tia camera và sử dụng các kỹ thuật volume rendering cổ điển để chiếu màu sắc cùng mật độ đầu ra thành một hình ảnh. Vì volume rendering vốn có tính khả vi, đầu vào duy nhất cần thiết để tối ưu hóa biểu diễn này là một tập hợp các hình ảnh với các tư thế camera đã biết. Chúng tôi mô tả cách tối ưu hóa hiệu quả neural radiance fields để kết xuất các góc nhìn mới chân thực của các cảnh có hình học và diện mạo phức tạp, đồng thời chứng minh các kết quả vượt trội so với các công trình trước đây về neural rendering và tổng hợp góc nhìn. Các kết quả tổng hợp góc nhìn được thể hiện tốt nhất dưới dạng video, do đó chúng tôi khuyến khích người đọc xem video bổ sung của chúng tôi để có những so sánh thuyết phục.

Tóm tắt gốc (tiếng Anh)

We present a method that achieves state-of-the-art results for synthesizing novel views of complex scenes by optimizing an underlying continuous volumetric scene function using a sparse set of input views. Our algorithm represents a scene using a fully-connected (non-convolutional) deep network, whose input is a single continuous 5D coordinate (spatial location $(x, y, z)$ and viewing direction $(θ, φ)$ ) and whose output is the volume density and view-dependent emitted radiance at that spatial location. We synthesize views by querying 5D coordinates along camera rays and use classic volume rendering techniques to project the output colors and densities into an image. Because volume rendering is naturally differentiable, the only input required to optimize our representation is a set of images with known camera poses. We describe how to effectively optimize neural radiance fields to render photorealistic novel views of scenes with complicated geometry and appearance, and demonstrate results that outperform prior work on neural rendering and view synthesis. View synthesis results are best viewed as videos, so we urge readers to view our supplementary video for convincing comparisons.

Hướng dẫn đọc

Vấn đề và động lực

Tổng hợp góc nhìn mới (novel view synthesis) từ hình ảnh thu nhận theo truyền thống phụ thuộc vào các biểu diễn thể tích rời rạc (chẳng hạn như lưới voxel hoặc ảnh đa mặt phẳng) hoặc lưới bề mặt (surface meshes). Tuy nhiên, lưới voxel rời rạc hóa phải chịu chi phí bộ nhớ và tính toán rất lớn, tăng theo hàm bậc ba theo độ phân giải, trong khi tối ưu hóa khả vi dựa trên lưới đa giác lại gặp khó khăn bởi không gian tối ưu hóa phức tạp và đòi hỏi cấu trúc liên kết ban đầu tốt. Các biểu diễn cảnh thần kinh ẩn trước đây ánh xạ trực tiếp tọa độ thành các hàm khoảng cách có dấu (signed distance functions) hoặc các điểm bề mặt đơn lẻ, gặp khó khăn với hình học phức tạp, hiệu ứng phụ thuộc hướng nhìn (như phản xạ gương) và các chi tiết tần số cao, dẫn đến kết quả bị mờ nhòe quá mức.

Ý tưởng then chốt

Hàm cảnh 5D liên tục (Continuous 5D Scene Function): Biểu diễn một cảnh tĩnh dưới dạng một hàm liên tục ẩn $F_{Θ} : (x, d) \to (c, σ)$ , ánh xạ vị trí 3D $x = (x, y, z)$ và hướng nhìn 2D $d = (θ, ϕ)$ thành bức xạ RGB phát ra $c$ cùng mật độ thể tích $σ$ .
Tính nhất quán đa góc nhìn qua dự đoán bất đối xứng (Multiview Consistency via Asymmetric Prediction): Mật độ $σ$ chỉ được dự đoán từ vị trí $x$ (hình học bất biến theo hướng nhìn), trong khi màu phát ra $c$ phụ thuộc vào cả vị trí $x$ và hướng nhìn $d$ (cho phép tạo ra các điểm sáng phản xạ gương và các hiệu ứng phi Lambertian).
Mã hóa vị trí tần số cao (High-Frequency Positional Encoding): Vượt qua thiên kiến phổ (spectral bias) của MLP đối với các tần số thấp bằng cách ánh xạ các tọa độ đầu vào số chiều thấp vào các không gian chiều cao bằng các hàm cơ sở hình sin.
Volume rendering khả vi & Lấy mẫu phân cấp (Differentiable Volume Rendering & Hierarchical Sampling): Áp dụng phương pháp cầu phương số để tích lũy các mẫu liên tục dọc theo các tia thành màu điểm ảnh 2D, được tối ưu hóa end-to-end với ảnh đầu vào, được tăng tốc bằng phương pháp lấy mẫu phân cấp từ thô đến mịn.

Phương pháp (với các phương trình chính)

Đối với một tia camera $r (t) = o + t d$ bị giới hạn bởi các mặt phẳng gần và xa $t_{n}$ và $t_{f}$ , màu kỳ vọng liên tục $C (r)$ là: $C (r) = \int_{t_{n}}^{t_{f}} T (t) σ (r (t)) c (r (t), d) d t, T (t) = exp (- \int_{t_{n}}^{t} σ (r (s)) d s)$ trong đó $T (t)$ là độ truyền qua tích lũy (accumulated transmittance).

Để tính toán giá trị này bằng số, khoảng liên tục được chia thành $N$ khoảng (bins) và được đánh giá bằng lấy mẫu phân tầng (stratified sampling), mang lại phép cầu phương rời rạc tương đương với phối hợp alpha (alpha compositing): $\hat{C} (r) = i = 1 \sum N T_{i} (1 - exp (- σ_{i} δ_{i})) c_{i}, T_{i} = exp (- j = 1 \sum i - 1 σ_{j} δ_{j})$ trong đó $δ_{i} = t_{i + 1} - t_{i}$ .

Để nắm bắt hình học và kết cấu tần số cao, các đầu vào được ánh xạ qua positional encoding $γ (p)$ : $γ (p) = (sin (2^{0} π p), cos (2^{0} π p), \dots, sin (2^{L - 1} π p), cos (2^{L - 1} π p))$ với $L = 10$ cho $x$ và $L = 4$ cho $d$ .

Để lấy mẫu hiệu quả, NeRF tối ưu hóa đồng thời hai mạng (mạng thô với $N_{c} = 64$ mẫu và mạng mịn với $N_{f} = 128$ mẫu bổ sung). Trọng số mẫu thô $w_{i} = T_{i} (1 - exp (- σ_{i} δ_{i}))$ xác định một hàm mật độ xác suất hằng số từng đoạn dọc theo tia, từ đó các mẫu mịn được rút ra qua phương pháp lấy mẫu biến đổi nghịch đảo (inverse transform sampling).

Toàn bộ mô hình được huấn luyện bằng cách giảm thiểu tổng sai số bình phương trên một batch tia $R$ : $L = r \in R \sum [\hat{C}_{c} (r) - C (r)_{2}^{2} + \hat{C}_{f} (r) - C (r)_{2}^{2}]$

Kết quả (với các số liệu quan trọng nhất)

Tập dữ liệu tổng hợp chân thực $36 0^{\circ}$ (Realistic Synthetic $36 0^{\circ}$ ): NeRF đạt 31.01 dB PSNR, 0.947 SSIM và 0.081 LPIPS, vượt trội đáng kể so với các baseline như NV (26.05 dB), LLFF (24.88 dB) và SRN (22.26 dB).
Tập dữ liệu tổng hợp khuếch tán $36 0^{\circ}$ (Diffuse Synthetic $36 0^{\circ}$ ): NeRF đạt 40.15 dB PSNR và 0.991 SSIM, so với DeepVoxels (trung bình 30.55 dB dựa trên điểm số từng cảnh) và LLFF (34.38 dB).
Cảnh thực tế hướng về phía trước (Real Forward-Facing Scenes): Đạt 26.50 dB PSNR, vượt qua LLFF (24.13 dB) và SRN (22.84 dB).
Hiệu quả lưu trữ: Một mô hình NeRF được huấn luyện đầy đủ chỉ cần khoảng 5 MB trọng số MLP—giảm khoảng $3000 \times$ dung lượng lưu trữ so với các biểu diễn voxel của LLFF (>15 GB mỗi cảnh).

Hạn chế và các câu hỏi mở

Thời gian huấn luyện và kết xuất: Việc tối ưu hóa một cảnh mất từ 100k–300k lần lặp (khoảng 1–2 ngày trên một GPU NVIDIA V100 duy nhất). Việc kết xuất một khung hình đơn lẻ cần 150–200 triệu truy vấn MLP, mất ~30 giây.
Khả năng diễn giải mô hình: Không giống như lưới voxel hay lưới đa giác, cảnh bị khóa bên trong các trọng số của một MLP, khiến cho việc chỉnh sửa trực tiếp, kiểm tra và gỡ lỗi sai số trở nên khó khăn.
Yêu cầu thu nhận có kiểm soát: Phương pháp này giả định các tư thế camera đã biết (ví dụ: từ COLMAP), các cảnh tĩnh, ánh sáng nhất quán và giới hạn thể tích cảnh rõ ràng.

Thuật ngữ chính

Neural Radiance Field (NeRF): Một biểu diễn cảnh thể tích 5D liên tục được tham số hóa bởi một mạng nơ-ron sâu kết nối đầy đủ, ánh xạ tọa độ không gian và hướng nhìn thành mật độ thể tích và bức xạ phát ra.
Positional Encoding: Một phép ánh xạ hình sin xác định $γ (p)$ chiếu các tọa độ đầu vào liên tục vào các không gian tần số nhiều chiều hơn, cho phép mạng học được các chi tiết tần số cao.
Volume Density: Một độ chắn sáng vi phân bất biến theo hướng nhìn $σ (x)$ mô hình hóa xác suất một tia camera kết thúc tại một điểm vô cùng nhỏ trong không gian 3D.
Transmittance: Xác suất $T (t)$ mà một tia camera di chuyển từ mặt phẳng cắt gần đến một khoảng cách cụ thể dọc theo tia mà không bị chặn lại bởi bất kỳ hạt cảnh nào.
Hierarchical Volume Sampling: Phương pháp lấy mẫu từ thô đến mịn sử dụng mật độ tia được ước tính bởi một mạng thô để xây dựng phân phối xác suất không đồng đều nhằm lấy mẫu các điểm bổ sung dọc theo tia cho mạng mịn.
Stratified Sampling: Một quy trình lấy mẫu chia dải độ sâu của tia thành các khoảng cách đều nhau và rút ngẫu nhiên đều một mẫu liên tục trên mỗi khoảng để cho phép đánh giá liên tục trong quá trình tối ưu hóa.
Normalized Device Coordinates (NDC): Một không gian tọa độ ánh xạ frustum nhìn phối cảnh của các ảnh chụp hướng về phía trước thành $[- 1, 1]^{3}$ , làm cho trục camera trở nên tuyến tính theo độ lệch thị sai (disparity).

Câu hỏi thường gặp

Tại sao mật độ chỉ phụ thuộc vào vị trí, trong khi màu sắc phụ thuộc vào cả vị trí và hướng nhìn?

Việc giới hạn mật độ $σ$ chỉ phụ thuộc vào vị trí không gian $x$ sẽ áp đặt tính nhất quán hình học đa góc nhìn giữa các góc quan sát, trong khi việc cho phép màu sắc $c$ nhận hướng nhìn $d$ làm đầu vào giúp MLP biểu diễn được các hiện tượng phi Lambertian phụ thuộc vào góc nhìn, chẳng hạn như phản xạ gương.

Positional encoding trong NeRF khác với positional encoding trong Transformer như thế nào?

Transformer sử dụng positional encoding để đưa thứ tự token rời rạc vào các khối attention vốn bất biến với hoán vị, trong khi NeRF sử dụng mã hóa hình sin để ánh xạ các tọa độ liên tục số chiều thấp vào không gian nhiều chiều hơn nhằm vượt qua thiên kiến phổ của MLP đối với các tần số thấp.

Cần những đầu vào nào để tối ưu hóa một NeRF từ đầu?

NeRF chỉ yêu cầu một tập hợp các ảnh RGB 2D đã hiệu chuẩn của một cảnh tĩnh với các thông số nội tại camera, tư thế camera đã biết cùng các giới hạn gần/xa của cảnh (thu được bằng COLMAP đối với dữ liệu thực tế hoặc tư thế ground-truth đối với dữ liệu tổng hợp).

NeRF mất bao lâu để huấn luyện và kết xuất?

Huấn luyện một cảnh duy nhất mất từ 100k đến 300k lần lặp (khoảng 1 đến 2 ngày) trên một GPU NVIDIA V100. Việc kết xuất các góc nhìn mới đòi hỏi phải đánh giá từ 150 đến 200 triệu truy vấn tọa độ cho mỗi hình ảnh, mất khoảng 30 giây cho mỗi khung hình.

Phần giải thích trên trang này do AI viết dựa trên bài báo và có thể có sai sót. Hãy đọc bài báo gốc để biết chi tiết.

Đọc với bản dịch và AI