3D Gaussian Splatting for Real-Time Radiance Field Rendering

Hướng dẫn đọc

Vấn đề và động lực

Neural Radiance Fields (NeRFs) đã làm biến đổi hoàn toàn bài toán tổng hợp góc nhìn mới bằng cách tối ưu hóa các biểu diễn cảnh ngầm liên tục thông qua Multi-Layer Perceptrons (MLPs). Tuy nhiên, việc kết xuất các trường liên tục này phụ thuộc vào phương pháp ray-marching thể tích ngẫu nhiên, đòi hỏi phải đánh giá hàng chục hoặc hàng trăm mẫu trên mỗi tia. Điều này tạo ra gánh nặng tính toán lớn, thời gian huấn luyện kéo dài (ví dụ: lên đến 48 giờ đối với Mip-NeRF360) và tốc độ suy luận rất chậm (vài giây mỗi khung hình), cản trở việc điều hướng thời gian thực ở các độ phân giải cao như 1080p.

Trong khi các biến thể radiance field nhanh hơn (như Plenoxels và InstantNGP) dựa vào lưới voxel hoặc bảng băm để tăng tốc độ huấn luyện, chúng thường phải đánh đổi độ trung thực thị giác và gặp khó khăn với không gian trống hoặc chi tiết tần số cao. Ngược lại, các phương pháp tiếp cận dựa trên điểm cung cấp hình học tường minh thân thiện với GPU, nhưng rasterization điểm truyền thống lại cần hình học Multi-View Stereo (MVS) dày đặc để tránh các lỗ hổng, hoặc dựa vào xử lý hậu kỳ bằng CNN gây ra hiện tượng nhấp nháy theo thời gian.

Bài báo này đề xuất một biểu diễn cảnh tường minh, không cấu trúc sử dụng 3D Gaussians kết hợp với bộ rasterizer theo tile tốc độ cao, đạt được độ trung thực kết xuất của các radiance field dạng ngầm hàng đầu cùng với tốc độ khung hình thời gian thực và thời gian tối ưu hóa cạnh tranh.

Ý tưởng cốt lõi

1. Biểu diễn 3D Gaussian không cấu trúc: Thay vì dùng mạng tọa độ liên tục hay lưới dày đặc, radiance field được tham số hóa bằng các 3D Gaussian rời rạc với ma trận hiệp phương sai dị hướng đầy đủ, được khởi tạo từ các đám mây điểm Structure-from-Motion (SfM) thưa mà không yêu cầu pháp tuyến hay MVS dày đặc.
2. Tham số hóa qua tỷ lệ và phép quay: Để đảm bảo ma trận hiệp phương sai luôn bán xác định dương trong suốt quá trình gradient descent, nó được tách thành một vector tỷ lệ 3D và một quaternion đơn vị.
3. Kiểm soát mật độ thích ứng: Quá trình tối ưu hóa chủ động quản lý mật độ cảnh bằng cách theo dõi gradient vị trí trong không gian quan sát (view-space): nhân bản (cloning) các Gaussian tái tạo chưa đủ và phân tách (splitting) các Gaussian tái tạo thừa, đồng thời loại bỏ các splat trong suốt hoặc quá lớn.
4. Rasterization theo tile nhận biết khả năng hiển thị: Một bộ rasterizer tùy chỉnh trên GPU phân chia pixel màn hình thành các tile $16\times 16$, sắp xếp độ sâu của các splat theo từng khung hình bằng thuật toán Radix sort nhanh chóng, và thực hiện alpha-blend các hình chiếu dị hướng từ trước ra sau mà không giới hạn số lượng splat nhận cập nhật gradient.

Phương pháp

1. Biểu diễn cảnh bằng 3D Gaussian

Một 3D Gaussian có tâm tại vị trí trung bình $\mu$ được định nghĩa bởi ma trận hiệp phương sai $\Sigma$ trong không gian thế giới: $$G(x)=e^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$$

Để đảm bảo $\Sigma$ luôn bán xác định dương trong quá trình tối ưu hóa, nó được phân rã thành ma trận quay $R$ và ma trận tỷ lệ $S$: $$\Sigma =RS{S}^T{R}^T$$ Ở đây, $S$ được lưu dưới dạng vector 3D $s$ được đánh giá qua hàm kích hoạt hàm mũ, và $R$ được tham số hóa bằng một quaternion đơn vị đã chuẩn hóa $q$.

Để kết xuất, các 3D Gaussian được chiếu xuống tọa độ hình ảnh 2D theo khuôn khổ EWA splatting. Với ma trận biến đổi góc nhìn $W$ và ma trận Jacobian $J$ của phép xấp xỉ affine của phép biến đổi phối cảnh, ma trận hiệp phương sai 2D ${\Sigma }^{\prime }$ trong không gian màn hình là: $${\Sigma }^{\prime }=JW\Sigma W^T{J}^T$$ Hàng và cột thứ ba được loại bỏ, mang lại ma trận hiệp phương sai $2\times 2$ cho việc splatting trên mặt phẳng.

2. Kết xuất và hình thành hình ảnh

Mỗi Gaussian có một độ mờ đục $\alpha$ (bị ràng buộc trong $[0,1)$ qua hàm kích hoạt sigmoid) và các hệ số hàm điều hòa hình cầu (spherical harmonics - SH) mô tả màu sắc phụ thuộc góc nhìn $\mathbf{c}$. Việc trộn $N$ Gaussian chồng lấn đã sắp xếp tại một pixel tuân theo công thức thể tích tiêu chuẩn: $$C=\sum _{i\in \mathcal{N}}{\mathbf{c}}_i{\alpha }_i\prod _{j=1}^{i-1}(1-{\alpha }_j)$$ trong đó ${\alpha }_i$ được xác định bằng cách đánh giá Gaussian 2D được chiếu nhân với độ mờ đục trên từng điểm đã học.

3. Tối ưu hóa và kiểm soát thích ứng

Hàm mất mát kết hợp giữa mất mát ${\mathcal{L}}_1$ và mất mát D-SSIM (với $\lambda =0.2$): $$\mathcal{L}=(1-\lambda ){\mathcal{L}}_1+\lambda {\mathcal{L}}_{\text{D-SSIM}}$$

Kiểm soát mật độ thích ứng chạy mỗi 100 lần lặp trên các Gaussian có gradient vị trí trung bình trong không gian quan sát vượt quá ${\tau }_{\text{pos}}=0.0002$:

• Nhân bản (Tái tạo chưa đủ): Đối với các Gaussian nhỏ, một bản sao được tạo ra và dịch chuyển dọc theo hướng gradient vị trí.
• Phân tách (Tái tạo thừa): Đối với các Gaussian lớn, phần tử nguyên thủy được thay thế bằng hai Gaussian nhỏ hơn có tỷ lệ giảm đi một hệ số $\varphi =1.6$, lấy mẫu vị trí ban đầu từ Gaussian cha.
• Tỉa bỏ (Pruning): Loại bỏ các Gaussian có $\alpha <{ϵ}_{\alpha }$ hoặc những phần tử quá lớn trong không gian thế giới/góc nhìn. Cứ sau mỗi $N=3000$ lần lặp, độ mờ đục được đặt lại về gần bằng 0 để lọc các cấu trúc trôi nổi (floating artifacts).

4. Bộ rasterizer theo tile khả vi tốc độ cao

• Màn hình được chia thành các tile $16\times 16$ pixel.
• Các Gaussian vượt qua bộ lọc frustum culling ở khoảng tin cậy 99% sẽ được gán các khóa 64-bit mã hóa tile ID và độ sâu trong không gian quan sát.
• Một lượt chạy GPU Radix sort duy nhất sắp xếp toàn bộ các thực thể trên khung hình.
• Các thread block tích lũy màu sắc trên từng tile từ trước ra sau cho đến khi $\alpha$ đạt ngưỡng bão hòa (dừng lại trước khi vượt quá $0.9999$).
• Lượt lan truyền ngược (backward pass) duyệt các tile từ sau ra trước, khôi phục lại các độ mờ đục trung gian bằng cách chia độ mờ đục tích lũy cuối cùng cho $\alpha$ của từng phần tử nguyên thủy, tránh phải dùng các bộ đệm bộ nhớ động tốn kém cho mỗi pixel.

Kết quả

• Tập dữ liệu Mip-NeRF360: Sau 30K lần lặp (thời gian huấn luyện trung bình 41 phút 33 giây), 3D Gaussian Splatting đạt SSIM trung bình là 0.815, PSNR 27.21 dB và LPIPS 0.214, ngang bằng hoặc vượt trội Mip-NeRF360 (SSIM 0.792, PSNR 27.69 dB, LPIPS 0.237, huấn luyện 48 giờ), trong khi kết xuất ở mức 134 FPS so với 0.06 FPS của Mip-NeRF360.
• Cấu hình nhanh (7K lần lặp): Mang lại SSIM 0.770 và PSNR 25.60 dB chỉ trong 6 phút 25 giây ở tốc độ 160 FPS, vượt trội InstantNGP-Base (SSIM 0.671, 11.7 FPS) và Plenoxels (SSIM 0.626, 6.79 FPS) với thời gian huấn luyện tương đương.
• Tanks&Temples & Deep Blending: Trên Tanks&Temples, 30K lần lặp đạt SSIM 0.841 và PSNR 23.14 dB ở tốc độ 154 FPS. Trên Deep Blending, phương pháp đạt SSIM 0.903 và PSNR 29.41 dB ở tốc độ 137 FPS.
• Synthetic Blender: Đạt điểm PSNR trung bình 33.32 dB từ bước khởi tạo ngẫu nhiên hoàn toàn với 100K điểm, kết xuất ở mức 180–300 FPS.

Hạn chế và các câu hỏi mở

• Góc nhìn chưa quan sát và ngoại lai: Vùng quan sát thưa hoặc các góc nhìn cách xa quỹ đạo huấn luyện có thể tạo ra các dị vật hình ảnh rõ rệt, chẳng hạn như các Gaussian bị kéo dài hoặc loang lổ ("splotchy").
• Hiện tượng giật hình (Popping Artifacts): Sự thay đổi đột ngột trong thứ tự độ sâu hoặc việc cắt tỉa guard-band quá mức có thể gây ra hiện tượng popping khi điều hướng, cho thấy sự cần thiết của các giải pháp khử răng cưa (antialiasing) tốt hơn.
• Tiêu thụ bộ nhớ: Mặc dù nhỏ gọn hơn so với các đám mây điểm dày đặc cổ điển, biểu diễn tường minh này vẫn cần hàng trăm megabyte (ví dụ: 400–750 MB cho các cảnh có 1–5 triệu Gaussian), và quá trình huấn luyện bằng bản mẫu chưa tối ưu có thể đẩy mức tiêu thụ bộ nhớ GPU lên trên 20 GB.
• Thiếu các thành phần điều chuẩn (Regularization): Khuôn khổ hiện tại không bao gồm các bộ điều chuẩn độ mượt hình học hoặc mật độ một cách tường minh, dẫn đến nguy cơ xuất hiện các phần tử trôi nổi nền ở các khu vực ít được ràng buộc bởi các tia camera.