3D Gaussian Splatting для рендеринга полей излучения в реальном времени

Разбор статьи

Постановка проблемы и мотивация

Нейронные поля излучения (NeRF) трансформировали задачу синтеза новых ракурсов благодаря оптимизации непрерывных неявных представлений сцен с помощью многослойных перцептронов (MLP). Однако рендеринг таких непрерывных полей опирается на стохастический объемный ray-marching, требующий вычисления десятков или сотен выборок вдоль каждого луча. Это приводит к огромной вычислительной нагрузке, длительному обучению (например, до 48 часов для Mip-NeRF360) и крайне медленному инференсу (секунды на кадр), что делает невозможной навигацию в реальном времени при высоких разрешениях вроде 1080p.

Более быстрые варианты полей излучения (такие как Plenoxels и InstantNGP) используют воксельные или хеш-сетки для ускорения обучения, но они часто жертвуют детализацией и с трудом обрабатывают пустое пространство или высокочастотные детали. С другой стороны, методы на основе точек предлагают явную геометрию, удобную для GPU, однако классическая растеризация точек требует плотной геометрии Multi-View Stereo (MVS) для устранения дыр либо опирается на постобработку сверточными сетями (CNN), вызывающую временное мерцание.

В этой работе предлагается неструктурированное явное представление сцены с использованием 3D-гауссианов (3D Gaussians) в сочетании с быстрым тайловым растеризатором, что обеспечивает качество визуализации на уровне лучших неявных полей излучения при частоте кадров реального времени и конкурентной скорости оптимизации.

Ключевые идеи

1. Неструктурированное представление 3D-гауссианами: Вместо непрерывных координатных сетей или плотных сеток поле излучения параметризуется дискретными 3D-гауссианами с полными анизотропными ковариационными матрицами. Они инициализируются из разреженных облаков точек Structure-from-Motion (SfM) без необходимости вычисления нормалей или плотного MVS.
2. Параметризация через масштаб и вращение: Чтобы ковариационная матрица оставалась положительно полуопределенной на протяжении всего градиентного спуска, она факторизуется на 3D-вектор масштабирования и единичный кватернион.
3. Адаптивный контроль плотности: В процессе оптимизации динамически регулируется плотность сцены за счет отслеживания градиентов позиций в пространстве вида (view-space): недореконструированные гауссианы клонируются, перереконструированные — разбиваются, а прозрачные или чрезмерно крупные сплэты удаляются (прунинг).
4. Тайловая растеризация с учетом видимости: Пользовательский GPU-растеризатор разбивает экран на тайлы $16\times 16$ пикселей, сортирует сплэты по глубине для каждого кадра с помощью быстрой поразрядной сортировки (Radix sort) и выполняет альфа-смешивание анизотропных проекций спереди назад без ограничения числа сплэтов, получающих обновления градиентов.

Метод

1. Представление сцены 3D-гауссианами

3D-гауссиан с центром в точке математического ожидания $\mu$ определяется ковариационной матрицей $\Sigma$ в мировом пространстве: $$G(x)=e^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$$

Для гарантии того, что $\Sigma$ остается положительно полуопределенной во время оптимизации, она факторизуется в матрицу вращения $R$ и матрицу масштабирования $S$: $$\Sigma =RS{S}^T{R}^T$$ Здесь $S$ хранится как 3D-вектор $s$, к которому применяется экспоненциальная функция активации, а $R$ задается нормализованным единичным кватернионом $q$.

Для рендеринга 3D-гауссианы проецируются в 2D-координаты изображения в рамках подхода EWA-сплэттинга. Для матрицы преобразования вида $W$ и якобиана $J$ аффинного приближения проективного преобразования 2D-ковариационная матрица ${\Sigma }^{\prime }$ в пространстве экрана вычисляется как: $${\Sigma }^{\prime }=JW\Sigma W^T{J}^T$$ Третья строка и столбец отбрасываются, в результате чего получается ковариационная матрица $2\times 2$ для планарного сплэттинга.

2. Рендеринг и формирование изображения

Каждый гауссиан обладает непрозрачностью $\alpha$ (ограниченной диапазоном $[0,1)$ через сигмоиду) и коэффициентами сферических гармоник (SH), описывающими зависящий от угла обзора цвет $\mathbf{c}$. Смешивание $N$ упорядоченных перекрывающихся гауссианов в пикселе следует стандартной формуле объемного рендеринга: $$C=\sum _{i\in \mathcal{N}}{\mathbf{c}}_i{\alpha }_i\prod _{j=1}^{i-1}(1-{\alpha }_j)$$ где ${\alpha }_i$ определяется вычислением спроецированного 2D-гауссиана, умноженного на оптимизируемую непрозрачность данной точки.

3. Оптимизация и адаптивный контроль

Функция потерь объединяет функцию ${\mathcal{L}}_1$ и потерю D-SSIM (с коэффициентом $\lambda =0.2$): $$\mathcal{L}=(1-\lambda ){\mathcal{L}}_1+\lambda {\mathcal{L}}_{\text{D-SSIM}}$$

Адаптивный контроль плотности выполняется каждые 100 итераций для гауссианов, у которых средний градиент позиции в пространстве вида превышает порог ${\tau }_{\text{pos}}=0.0002$:

• Клонирование (недореконструкция): Для маленьких гауссианов создается дубликат, который смещается вдоль направления градиента позиции.
• Разбиение (перереконструкция): Для больших гауссианов примитив заменяется двумя меньшими гауссианами, масштабы которых уменьшены в $\varphi =1.6$ раза, а их начальные положения сэмплируются из родительского гауссиана.
• Прунинг: Удаляются гауссианы с $\alpha <{ϵ}_{\alpha }$ или имеющие слишком большой размер в мировом пространстве или пространстве вида. Каждые $N=3000$ итераций значения непрозрачности сбрасываются ближе к нулю для фильтрации артефактов («висящих» точек).

4. Быстрый дифференцируемый тайловый растеризатор

• Экран делится на тайлы размером $16\times 16$ пикселей.
• Гауссианам, прошедшим усечение по пирамиде видимости (frustum culling) с доверительным интервалом 99%, присваиваются 64-битные ключи, кодирующие ID тайла и глубину во view-space.
• Единственный проход поразрядной сортировки (Radix sort) на GPU упорядочивает все экземпляры по всему кадру.
• Блоки потоков аккумулируют цвет по каждому тайлу в направлении спереди назад до тех пор, пока $\alpha$ не достигнет насыщения (останавливаясь до превышения $0.9999$).
• Обратный проход (backward pass) обходит тайлы сзади наперед, восстанавливая промежуточные значения непрозрачности путем деления итоговой накопленной непрозрачности на значение $\alpha$ каждого примитива, что устраняет необходимость в тяжелых динамических буферах памяти для каждого пикселя.

Результаты

• Датасет Mip-NeRF360: После 30 тысяч итераций (среднее время обучения 41 мин 33 с) 3D Gaussian Splatting достигает среднего SSIM 0.815, PSNR 27.21 дБ и LPIPS 0.214, сравниваясь или превосходя Mip-NeRF360 (SSIM 0.792, PSNR 27.69 дБ, LPIPS 0.237 при 48 часах обучения), при этом рендеринг происходит со скоростью 134 FPS по сравнению с 0.06 FPS у Mip-NeRF360.
• Быстрая конфигурация (7K итераций): Обеспечивает SSIM 0.770 и PSNR 25.60 дБ всего за 6 мин 25 с со скоростью 160 FPS, превосходя InstantNGP-Base (SSIM 0.671, 11.7 FPS) и Plenoxels (SSIM 0.626, 6.79 FPS) при сопоставимом времени обучения.
• Tanks&Temples и Deep Blending: На Tanks&Temples 30K итераций дают SSIM 0.841 и PSNR 23.14 дБ при 154 FPS. На Deep Blending достигается SSIM 0.903 и PSNR 29.41 дБ при 137 FPS.
• Synthetic Blender: Достигает среднего значения PSNR 33.32 дБ при случайной инициализации из 100K точек со скоростью рендеринга 180–300 FPS.

Ограничения и открытые вопросы

• Ненаблюдаемые ракурсы и выбросы: Недостаточное покрытие съемкой или ракурсы, далекие от обучающей траектории, могут приводить к заметным артефактам, таким как вытянутые или пятнистые гауссианы.
• Артефакты резкого появления (Popping): Внезапная смена порядка глубины или агрессивный guard-band culling могут вызывать эффект «поппинга» при перемещении камеры, что требует более качественного антиалиасинга.
• Потребление памяти: Несмотря на компактность по сравнению с классическими плотными облаками точек, явное представление требует сотен мегабайт (например, 400–750 МБ для сцен с 1–5 миллионами гауссианов), а неоптимизированное обучение прототипа может приводить к пикам потребления видеопамяти GPU свыше 20 ГБ.
• Отсутствие регуляризации: В архитектуре нет явных регуляризаторов геометрической гладкости или плотности, что может приводить к появлению плавающих артефактов в областях, слабо перекрытых лучами камер.