3D Gaussian Splatting for Real-Time Radiance Field Rendering

Bernhard Kerbl; Georgios Kopanas; Thomas Leimkühler; George Drettakis

الأوراق البحثية · arXiv 2308.04079

3D Gaussian Splatting لتصيير حقول الإشعاع في الوقت الفعلي

3D Gaussian Splatting for Real-Time Radiance Field Rendering

Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler, George Drettakis

تاريخ النشر 2023-08-08cs.GRcs.CV arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 تنتج طرق حقول الإشعاع (مثل NeRFs) جودة بصرية عالية ولكنها تعاني من بطء السير الشعاعي الحجمي وأوقات التحسين الطويلة، بينما تضحي الطرق السريعة القائمة على الشبكات بالجودة أو سرعة التصيير.
🔧 تمثيل المشاهد صراحةً باستخدام 3D Gaussians متباينة الخواص ومُهيأة من نقاط SfM المتفرقة، وتحسينها عبر تحكم تكيفي في الكثافة (النسخ والتقسيم)، والتصيير عبر مُنقط نقطي (rasterizer) تفاضلي قائم على الألواح ومدرك للرؤية على وحدة معالجة الرسوميات.
📈 تحقيق جودة بصرية رائدة تضاهي Mip-NeRF360 مع سرعات تصيير في الوقت الفعلي تتجاوز 130–160 إطارًا في الثانية بدقة 1080p وأوقات تدريب تقل عن ساعة واحدة.

الملخص

أحدثت طرق حقول الإشعاع مؤخرًا ثورة في توليف المناظر الجديدة للمشاهد الملتقطة بعدة صور أو مقاطع فيديو. ومع ذلك، فإن تحقيق جودة بصرية عالية لا يزال يتطلب شبكات عصبية مكلفة في التدريب والتصيير، في حين تضحي الطرق الأسرع الحديثة بالجودة حتمًا لصالح السرعة. بالنسبة للمشاهد غير المحدودة والكاملة (بدلًا من الكائنات المعزولة) والتصيير بدقة 1080p، لا توجد طريقة حالية يمكنها تحقيق معدلات عرض في الوقت الفعلي. نقدم ثلاثة عناصر رئيسية تتيح لنا تحقيق جودة بصرية رائدة مع الحفاظ على أوقات تدريب تنافسية، والأهم من ذلك، السماح بتوليف مناظر جديدة عالية الجودة في الوقت الفعلي (>= 30 إطارًا في الثانية) بدقة 1080p. أولاً، بدءًا من النقاط المتفرقة الناتجة أثناء معايرة الكاميرا، نمثل المشهد باستخدام دوال 3D Gaussians التي تحافظ على الخصائص المرغوبة لحقول الإشعاع الحجمية المستمرة لتحسين المشهد مع تجنب الحسابات غير الضرورية في المساحات الفارغة؛ ثانيًا، نجري تحسينًا متداخلاً/تحكمًا في الكثافة لدوال 3D Gaussians، لا سيما تحسين التباين متباين الخواص لتحقيق تمثيل دقيق للمشهد؛ ثالثًا، نطور خوارزمية تصيير سريعة ومدركة للرؤية تدعم الـ splatting متباين الخواص، مما يسرع التدريب ويتيح التصيير في الوقت الفعلي على حد سواء. نبرهن على جودة بصرية رائدة وتصيير في الوقت الفعلي على العديد من مجموعات البيانات المعتمدة.

الملخص الأصلي (بالإنجليزية)

Radiance Field methods have recently revolutionized novel-view synthesis of scenes captured with multiple photos or videos. However, achieving high visual quality still requires neural networks that are costly to train and render, while recent faster methods inevitably trade off speed for quality. For unbounded and complete scenes (rather than isolated objects) and 1080p resolution rendering, no current method can achieve real-time display rates. We introduce three key elements that allow us to achieve state-of-the-art visual quality while maintaining competitive training times and importantly allow high-quality real-time (>= 30 fps) novel-view synthesis at 1080p resolution. First, starting from sparse points produced during camera calibration, we represent the scene with 3D Gaussians that preserve desirable properties of continuous volumetric radiance fields for scene optimization while avoiding unnecessary computation in empty space; Second, we perform interleaved optimization/density control of the 3D Gaussians, notably optimizing anisotropic covariance to achieve an accurate representation of the scene; Third, we develop a fast visibility-aware rendering algorithm that supports anisotropic splatting and both accelerates training and allows realtime rendering. We demonstrate state-of-the-art visual quality and real-time rendering on several established datasets.

دليل القراءة

المشكلة والدافع

أحدثت حقول الإشعاع العصبية (NeRFs) تحولًا جذريًا في توليف المناظر الجديدة من خلال تحسين تمثيلات المشاهد الضمنية المستمرة عبر شبكات الإدراك متعددة الطبقات (MLPs). ومع ذلك، يعتمد تصيير هذه الحقول المستمرة على السير الشعاعي الحجمي العشوائي، والذي يتطلب تقييم عشرات أو مئات العينات لكل شعاع. يؤدي هذا إلى أعباء حسابية ثقيلة، وأوقات تدريب طويلة (تصل مثلاً إلى 48 ساعة لنموذج Mip-NeRF360)، وسرعات استدلال بطيئة للغاية (ثوانٍ لكل إطار)، مما يمنع التنقل في الوقت الفعلي بدقات عالية مثل 1080p.

في حين أن متغيرات حقول الإشعاع الأسرع (مثل Plenoxels و InstantNGP) تعتمد على شبكات الفوكسل أو التجزئة لتسريع التدريب، إلا أنها غالبًا ما تضحي بالدقة البصرية وتواجه صعوبة مع المساحات الفارغة أو التفاصيل عالية التردد. في المقابل، تقدم الأساليب القائمة على النقاط هندسة صريحة تتوافق جيدًا مع وحدات معالجة الرسوميات (GPU)، لكن التلوين النقطي التقليدي للنقاط يتطلب هندسة كثيفة ناتجة عن الاستريو متعدد الرؤية (MVS) لتجنب الثقوب، أو يعتمد على معالجة لاحقة عبر CNN تُحدث وميضًا زمنيًا.

تقترح هذه الورقة تمثيلًا صريحًا وغير منظم للمشهد باستخدام 3D Gaussians جنبًا إلى جنب مع مُنقط نقطي سريع قائم على الألواح، محققةً دقة التصيير الخاصة بحقول الإشعاع الضمنية الرائدة جنبًا إلى جنب مع معدلات إطارات في الوقت الفعلي وأوقات تحسين تنافسية.

الأفكار الرئيسية

تمثيل 3D Gaussian غير منظم: بدلاً من شبكات الإحداثيات المستمرة أو الشبكات الكثيفة، تتم معلمات حقل الإشعاع بواسطة دوال 3D Gaussians منفصلة ذات مصفوفات تباين كاملة متباينة الخواص، ومهيأة من سحب نقاط بنية الحركة المتفرقة (SfM) دون الحاجة إلى متجهات عمودية أو MVS كثيف.
المعلمات عبر المقياس والدوران: لضمان بقاء مصفوفة التباين شبه موجبة طوال فترة الانحدار التدريجي، يتم فصلها إلى متجه تحجيم ثلاثي الأبعاد ورباعي دوران للوحدة (unit quaternion).
التحكم التكيفي في الكثافة: تدير عملية التحسين كثافة المشهد ديناميكيًا من خلال تتبع تدرجات موضع فضاء الرؤية: استنساخ دوال Gaussians غير المكتملة وتقسيم دوال Gaussians المفرطة في التمثيل، مع تقليم البقع الشفافة أو الكبيرة جدًا.
تلوين نقطي قائم على الألواح ومدرك للرؤية: يُقسّم مُنقط GPU مخصص بكسلات الشاشة إلى ألواح بحجم $16 \times 16$ ، ويفرز البقع حسب العمق لكل إطار باستخدام فرز Radix سريع، ويمزج الإسقاطات متباينة الخواص باستخدام ألفا من الأمام إلى الخلف دون تقييد عدد البقع التي تتلقى تحديثات التدرج.

الطريقة

1. تمثيل المشهد بـ 3D Gaussian

تُعرَّف دالة 3D Gaussian المتمركزة عند المتوسط $μ$ بمصفوفة التباين المشترك $Σ$ في فضاء العالم: $G (x) = e^{- \frac{1}{2} (x - μ)^{T} Σ^{- 1} (x - μ)}$

ولضمان بقاء $Σ$ شبه موجبة أثناء التحسين، يتم تفكيكها إلى مصفوفة دوران $R$ ومصفوفة تحجيم $S$ : $Σ = RS S^{T} R^{T}$ هنا، يُخزَّن $S$ كمتجه ثلاثي الأبعاد $s$ يُقيَّم عبر تفعيل أسي، ويتم إعطاء معلمات $R$ بواسطة كواترنيون وحدة معاير $q$ .

للتصيير، تُسقَط دوال 3D Gaussians على إحداثيات الصورة ثنائية الأبعاد باتباع إطار عمل EWA splatting. وبافتراض تحويل الرؤية $W$ ومصفوفة جاكوبي $J$ للتقريب التآلفي للتحويل الإسقاطي، فإن مصفوفة التباين ثنائية الأبعاد $Σ^{'}$ في فضاء الشاشة تكون: $Σ^{'} = J W Σ W^{T} J^{T}$ يتم تجاهل الصف والعمود الثالثين، مما ينتج عنه مصفوفة تباين $2 \times 2$ للتلوين النقطي المستوي.

2. التصيير وتكوين الصورة

تمتلك كل دالة Gaussian عتامة $α$ (مقيدة بالنطاق $[0, 1)$ عبر تفعيل sigmoid) ومعاملات توافقيات كروية (SH) تصف اللون المعتمد على زاوية الرؤية $c$ . يتبع مزج $N$ من دوال Gaussians المتداخلة والمرتبة عند بكسل معين المعادلة الحجمية القياسية: $C = i \in N \sum c_{i} α_{i} j = 1 \prod i - 1 (1 - α_{j})$ حيث تُحسب $α_{i}$ عن طريق تقييم دالة Gaussian المسقطة ثنائية الأبعاد مضروبة في العتامة المتعلمة لكل نقطة.

3. التحسين والتحكم التكيفي

تجمع دالة الخسارة بين خسارة $L_{1}$ وخسارة D-SSIM (مع $λ = 0.2$ ): $L = (1 - λ) L_{1} + λ L_{D-SSIM}$

يتم تشغيل التحكم التكيفي في الكثافة كل 100 تكرار على دوال Gaussians التي يتجاوز متوسط تدرج موضعها في فضاء الرؤية $τ_{pos} = 0.0002$ :

الاستنساخ (نقص التمثيل): بالنسبة لدوال Gaussians الصغيرة، يتم إنشاء نسخة طبق الأصل ونقلها على طول اتجاه تدرج الموضع.
التقسيم (الإفراط في التمثيل): بالنسبة لدوال Gaussians الكبيرة، يتم استبدال العنصر الأولي بدالتين أصغر يتم تقليل حجمهما بعامل $ϕ = 1.6$ ، مع أخذ عينات من مواقعهما الأولية من الدالة الأصلية.
التقليم: يتم حذف دوال Gaussians عندما تكون $α < ϵ_{α}$ أو تلك الكبيرة بشكل مفرط في فضاء العالم/الرؤية. وكل $N = 3000$ تكرار، يُعاد ضبط قيم العتامة بالقرب من الصفر لتصفية الأجسام العائمة الزائفة.

4. مُنقط تفاضلي سريع قائم على الألواح

تُقسَّم الشاشة إلى ألواح بحجم $16 \times 16$ بكسل.
يتم تعيين مفاتيح 64-بت لدوال Gaussians التي تجتاز استبعاد حجم الرؤية (frustum culling) بفاصل ثقة 99%، لترميز معرّف اللوح وعمق فضاء الرؤية.
يقوم فرز Radix فردي على وحدة معالجة الرسوميات بترتيب جميع العناصر عبر الإطار.
تجمع كتل الخيوط (Thread blocks) اللون لكل لوح من الأمام إلى الخلف حتى تصل $α$ إلى التشبع (التوقف قبل تجاوز $0.9999$ ).
يتنقل مسار التمرير الخلفي عبر الألواح من الخلف إلى الأمام، مستعيدًا العتامات الوسيطة بقسمة العتامة التراكمية النهائية على قيمة $α$ الخاصة بكل عنصر، متجنبًا استهلاك مخازن الذاكرة الديناميكية المكلفة لكل بكسل.

النتائج

مجموعة بيانات Mip-NeRF360: بعد 30 ألف تكرار (بمتوسط وقت تدريب يبلغ 41 دقيقة و33 ثانية)، تحقق 3D Gaussian Splatting متوسط SSIM يبلغ 0.815، وPSNR يبلغ 27.21 ديسيبل، وLPIPS يبلغ 0.214، وهو ما يطابق أو يتجاوز Mip-NeRF360 (بقيم SSIM 0.792، وPSNR 27.69 ديسيبل، وLPIPS 0.237، مع تدريب لمدة 48 ساعة)، مع التصيير بسرعة 134 إطارًا في الثانية مقارنة بـ 0.06 إطار في الثانية لـ Mip-NeRF360.
التهيئة السريعة (7 آلاف تكرار): توفر قيمة SSIM تبلغ 0.770 وPSNR تبلغ 25.60 ديسيبل في 6 دقائق و25 ثانية فقط وبسرعة 160 إطارًا في الثانية، متفوقة على InstantNGP-Base (SSIM 0.671، 11.7 إطارًا في الثانية) وPlenoxels (SSIM 0.626، 6.79 إطارًا في الثانية) ضمن أوقات تدريب مماثلة.
Tanks&Temples و Deep Blending: في Tanks&Temples، تصل 30 ألف تكرار إلى SSIM يبلغ 0.841 وPSNR يبلغ 23.14 ديسيبل عند 154 إطارًا في الثانية. وعلى Deep Blending، تحقق SSIM يبلغ 0.903 وPSNR يبلغ 29.41 ديسيبل عند 137 إطارًا في الثانية.
Synthetic Blender: تسجل متوسط PSNR يبلغ 33.32 ديسيبل من تهيئة عشوائية تمامًا لـ 100 ألف نقطة، وتُصيَّر بمعدل 180-300 إطار في الثانية.

القيود والأسئلة المفتوحة

المشاهد غير المرصودة والقيم الشاذة: يمكن أن تؤدي التغطية المتفرقة أو المشاهد البعيدة عن مسارات التدريب إلى تشوهات بصرية، مثل دوال Gaussians ممتولة أو غير متناسقة.
تشوهات الظهور المفاجئ (Popping Artifacts): التبديل المفاجئ في ترتيب العمق أو الاستبعاد الشديد قد يتسبب في حدوث قفزات بصرية أثناء التنقل، مما يشير إلى الحاجة لتحسين تنعيم الحواف (antialiasing).
استهلاك الذاكرة: على الرغم من إحكامها مقارنة بسحب النقاط الكثيفة الكلاسيكية، إلا أن التمثيل الصريح يتطلب مئات الميجابايت (مثل 400-750 ميجابايت للمشاهد التي تحتوي على 1-5 ملايين دالة Gaussian)، وقد يقفز تدريب النماذج الأولية غير المحسنة باستهلاك ذاكرة GPU إلى أكثر من 20 جيجابايت.
غياب التنظيم الرياضي: لا يشتمل إطار العمل على قيود تنظيمية صريحة لنعومة الهندسة أو الكثافة، مما يترك مجالاً لظهور كتل عائمة في الخلفية في المناطق التي لا تقيدها أشعة الكاميرا جيدًا.

المصطلحات الرئيسية

3D Gaussians: العناصر الأولية الأساسية ثلاثية الأبعاد غير المنظمة والقابلة للاشتقاق والمحددة بمتوسط الموضع، ومصفوفة التباين متباينة الخواص، والعتامة، ومعاملات المظهر للتوافقيات الكروية.
Anisotropic Covariance: انتشار اتجاهي ثلاثي الأبعاد يُعبر عنه كمتجهات تحجيم منفصلة وكواترنيونات دوران للوحدة، مما يسمح لدوال Gaussians بالتشكل كإهليلجيات مسطحة متوائمة مع الأسطح الفيزيائية.
Adaptive Density Control: استراتيجية تحسين متداخلة تضيف دوال Gaussians عبر استنساخ أو تقسيم العناصر الأولية ذات تدرجات الموضع الكبيرة، وتقلم العناصر الشفافة أو متضخمة الحجم.
Tile-Based Rasterization: خط تصيير مدفوع بوحدة معالجة الرسوميات يُقسّم منفذ الرؤية إلى خانات بحجم $16 \times 16$ بكسل لفرز ومزج بقع Gaussians المتداخلة بكفاءة وبالتوازي.
Alpha-Blending: تراكم اللون والنفاذية من الأمام إلى الخلف، والذي يحاكي التكامل الحجمي القياسي لـ NeRF عبر بقع مسقطة ثنائية الأبعاد ومرتبة.
Radix Sort: خوارزمية فرز على وحدة معالجة الرسوميات تُستخدم لترتيب دوال Gaussians عالميًا بالتوازي استنادًا إلى مفاتيح 64-بت تدمج معرّف اللوح وعمق فضاء الرؤية.
Spherical Harmonics (SH): أساس رياضي لدوال اتجاهية مبنية على التردد تُستخدم لتمثيل اللون المعتمد على زاوية الرؤية على كل عنصر Gaussian أولي عبر ما يصل إلى 4 نطاقات.

أسئلة شائعة

كيف تتم تهيئة 3D Gaussians قبل التحسين؟

تتم تهيئتها باستخدام سحابة النقاط المتفرقة الناتجة كمنتج ثانوي لمعايرة الكاميرا عبر بنية الحركة (SfM)، مع مقاييس متساوية الخواص أولية مستمدة من متوسط المسافة إلى أقرب ثلاث نقاط مجاورة. بالنسبة للمشاهد الاصطناعية، يمكن أيضًا استخدام تهيئة عشوائية منتظمة.

ما الفرق بين استنساخ وتقسيم دوال Gaussians؟

ينسخ الاستنساخ دالة Gaussian صغيرة ويزيحها على طول تدرج موضعها لتغطية المعالم الهندسية المفقودة (نقص التمثيل)، بينما يقسم التقسيم دالة Gaussian كبيرة جدًا إلى دالتين أصغر حجمًا مصغرتين بمعامل 1.6 لالتقاط التفاصيل عالية التباين بشكل أفضل (الإفراط في التمثيل).

لماذا يقوم المُنقط بالفرز لكل لوح بدلاً من كل بكسل؟

تجنب الفرز لكل لوح باستخدام فرز Radix عام واحد على وحدة معالجة الرسوميات لمفاتيح عمق اللوح المدمجة التكلفة الحسابية العالية لفرز العناصر الأولية لكل بكسل، مما يتيح معدلات إطارات عالية مع تقريب بصري ضئيل الأثر.

كيف يتجنب مسار التمرير الخلفي تخزين قوائم العناصر الأولية الطويلة لكل بكسل في الذاكرة العامة؟

يعيد المُنقط اجتياز القوائم المرتبة مسبقًا لكل لوح من الخلف إلى الأمام، ويعيد بناء العتامات الوسيطة عن طريق قسمة العتامة التراكمية النهائية على قيمة ألفا الخاصة بكل دالة Gaussian، مما يتطلب فقط مساحة ذاكرة ثابتة لكل بكسل.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي