High-Resolution Image Synthesis with Latent Diffusion Models

Robin Rombach; Andreas Blattmann; Dominik Lorenz; Patrick Esser; Björn Ommer

الأوراق البحثية · arXiv 2112.10752

توليد صور عالية الدقة باستخدام نماذج الانتشار الكامن

High-Resolution Image Synthesis with Latent Diffusion Models

Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer

تاريخ النشر 2021-12-20cs.CV arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 تهدر نماذج الانتشار القياسية في فضاء البكسل قدراً هائلاً من الحوسبة والذاكرة في نمذجة تفاصيل عالية التردد غير محسوسة عبر خطوات إزالة التشويش التكرارية.
🔧 فصل الضغط الإدراكي عن النمذجة التوليدية من خلال تدريب نماذج الانتشار داخل الفضاء الكامن منخفض الأبعاد لمشفرات تلقائية مدربة مسبقاً باستخدام التكييف بالاهتمام المتبادل.
📈 تحقيق أفضل FID قدره 5.11 على CelebA-HQ، و3.60 FID على ImageNet 256x256 المشروط بالفئات، مع خفض حوسبة التدريب والاستدلال بمضاعفات مقارنة بنماذج فضاء البكسل.

الملخص

من خلال تفكيك عملية تشكيل الصورة إلى تطبيق متتابع لمشفرات الإزالة التلقائية للتشويش، تحقق نماذج الانتشار (DMs) نتائج توليد تعد الأحدث في مجال بيانات الصور وما بعدها. بالإضافة إلى ذلك، تتيح صياغتها آلية توجيه للتحكم في عملية توليد الصور دون الحاجة إلى إعادة التدريب. ومع ذلك، وبما أن هذه النماذج تعمل عادةً في فضاء البكسل مباشرةً، فإن تحسين نماذج الانتشار القوية غالباً ما يستهلك مئات الأيام من عمل وحدات معالجة الرسوميات (GPU)، كما أن الاستدلال يكون مكلفاً بسبب التقييمات المتتابعة. ولتمكين تدريب نماذج الانتشار بموارد حوسبة محدودة مع الحفاظ على جودتها ومرونتها، نقوم بتطبيقها داخل الفضاء الكامن لمشفرات تلقائية قوية ومدربة مسبقاً. وعلى عكس الأعمال السابقة، يتيح تدريب نماذج الانتشار على مثل هذا التمثيل ولأول مرة الوصول إلى نقطة شبه مثالية بين تقليل التعقيد والحفاظ على التفاصيل، مما يعزز الدقة البصرية بشكل كبير. ومن خلال إدخال طبقات الاهتمام المتبادل (cross-attention) في بنية النموذج، نحول نماذج الانتشار إلى مولدات قوية ومرنة لمدخلات التكييف العامة مثل النصوص أو الصناديق المحيطة، ويصبح التوليد عالي الدقة ممكناً بطريقة التفافية. تحقق نماذج الانتشار الكامن (LDMs) الخاصة بنا مستوى جديداً من التميز في ترميم الصور (image inpainting) وأداءً تنافسياً عالياً في مهام متنوعة، بما في ذلك توليد الصور غير المشروط، والتوليد الدلالي للمشاهد، والدقة الفائقة، مع تقليل المتطلبات الحوسبية بشكل كبير مقارنة بنماذج الانتشار المعتمدة على فضاء البكسل. الشيفرة البرمجية متاحة على الرابط https://github.com/CompVis/latent-diffusion .

الملخص الأصلي (بالإنجليزية)

By decomposing the image formation process into a sequential application of denoising autoencoders, diffusion models (DMs) achieve state-of-the-art synthesis results on image data and beyond. Additionally, their formulation allows for a guiding mechanism to control the image generation process without retraining. However, since these models typically operate directly in pixel space, optimization of powerful DMs often consumes hundreds of GPU days and inference is expensive due to sequential evaluations. To enable DM training on limited computational resources while retaining their quality and flexibility, we apply them in the latent space of powerful pretrained autoencoders. In contrast to previous work, training diffusion models on such a representation allows for the first time to reach a near-optimal point between complexity reduction and detail preservation, greatly boosting visual fidelity. By introducing cross-attention layers into the model architecture, we turn diffusion models into powerful and flexible generators for general conditioning inputs such as text or bounding boxes and high-resolution synthesis becomes possible in a convolutional manner. Our latent diffusion models (LDMs) achieve a new state of the art for image inpainting and highly competitive performance on various tasks, including unconditional image generation, semantic scene synthesis, and super-resolution, while significantly reducing computational requirements compared to pixel-based DMs. Code is available at https://github.com/CompVis/latent-diffusion .

دليل القراءة

المشكلة والدافع

تولد نماذج الانتشار الاحتمالية صوراً عالية الدقة وتغطي الأنماط ببراعة عبر عكس عملية إضافة التشويش المباشرة باستخدام سلسلة من المشفرات التلقائية لإزالة التشويش. ومع ذلك، فإن تدريبها وتقييمها مباشرة داخل فضاء بكسلات RGB عالي الأبعاد يتطلب موارد حوسبية هائلة. غالباً ما يستغرق التحسين مئات الأيام من عمل وحدات معالجة الرسوميات (مثل 150 إلى 1000 يوم على V100)، كما يمكن أن يستغرق التوليد متعدد الخطوات أياماً لتشغيل التقييمات القياسية. ولأن النمذجة التوليدية القائمة على دالة الإمكان (likelihood) تستهلك سعة مفرطة على التفاصيل غير المحسوسة عالية التردد قبل تعلم البنى الدلالية، فإن التقييمات المباشرة في فضاء البكسل تؤدي إلى هدر كبير في حسابات التدرج والدوال.

الأفكار الرئيسية

التفكيك على مرحلتين: فصل الضغط الإدراكي (إزالة التفاصيل غير المحسوسة) عن النمذجة التوليدية الدلالية (تعلم بنية الصورة وتكوينها).
نماذج الانتشار الكامن (LDMs): تدريب نماذج انتشار إزالة التشويش داخل الفضاء الكامن لمشفر تلقائي مدرب باستخدام دوال خسارة إدراكية وتنافسية.
ضغط مكاني معتدل: على عكس النماذج ذاتية الانحدار التي تتطلب خفضاً مكانياً كبيراً (مثل $f = 16$ أو $f = 32$ )، تحافظ LDMs على التحيز الاستقرائي المكاني باستخدام شبكة UNet التفافية ثنائية الأبعاد، مما يتيح عوامل خفض استعيان معتدلة مثل $f = 4$ أو $f = 8$ تحافظ على التفاصيل الدقيقة.
تكييف عام بالاهتمام المتبادل: تعميم شبكات UNet للتعامل مع مدخلات متعددة الوسائط (أوصاف نصية، صناديق محيطة، خرائط دلالية) عبر مشفرات خاصة بالمجال مربوطة بالطبقات المتوسطة للشبكة بواسطة آلية الاهتمام المتبادل (cross-attention).

الطريقة

الضغط الإدراكي للصور: يقوم المشفر $E$ بتعيين صورة $x \in R^{H \times W \times 3}$ إلى تمثيل كامن منخفض الأبعاد $z = E (x) \in R^{h \times w \times c}$ ، حيث عامل خفض الاستعيان $f = H / h = W / w = 2^{m}$ . ويعيد مفكك الترميز بناء الصورة $\tilde{x} = D (z)$ . يُضبط النموذج إما باستخدام تنظيم تباعد كولباك-ليبلر ضعيف نحو $N (0, I)$ (KL-reg.) أو التكميم المتجهي (VQ-reg.) المدمج في مفكك الترميز.
النمذجة الكامنة التوليدية: يتم تدريب شبكة UNet شرطية بالزمن $ϵ_{θ} (z_{t}, t)$ على المتغيرات الكامنة باستخدام دالة الهدف لإزالة التشويش المعاد وزنها: $L_{L D M} := E_{E (x), ϵ \sim N (0, 1), t} [∥ ϵ - ϵ_{θ} (z_{t}, t) ∥_{2}^{2}]$
التكييف بالاهتمام المتبادل: لمدخل التكييف $y$ (مثل النصوص، الفئات، التخطيطات)، يتم إدخال مشفر مجال $τ_{θ} (y) \in R^{M \times d_{τ}}$ . تتفاعل ميزات UNet المتوسطة $φ_{i} (z_{t}) \in R^{N \times d_{ϵ}^{i}}$ مع شرط التوجيه عبر الاهتمام المتبادل: $Attention (Q, K, V) = softmax (\frac{Q K ^{T}}{d}) \cdot V$ حيث $Q = W_{Q}^{(i)} φ_{i} (z_{t})$ ، و $K = W_{K}^{(i)} τ_{θ} (y)$ ، و $V = W_{V}^{(i)} τ_{θ} (y)$ . وتكون دالة الهدف الشرطية: $L_{L D M} := E_{E (x), y, ϵ \sim N (0, 1), t} [∥ ϵ - ϵ_{θ} (z_{t}, t, τ_{θ} (y)) ∥_{2}^{2}]$

النتائج

المفاضلة في الضغط الإدراكي: حقق عاملا خفض الاستعيان $f = 4$ و $f = 8$ أفضل توازن بين دقة إعادة البناء، وجودة التوليد، وسرعة المعالجة. على ImageNet، وجد فارق FID قدره 38 نقطة بين LDM-1 القائم على البكسل وLDM-8 بعد مليوني خطوة تدريب تحت نفس الميزانية الحوسبية.
التوليد غير المشروط: تحقيق مستوى غير مسبوق في مقياس FID بلغ $5.11$ على CelebA-HQ ( $256 \times 256$ )، و $4.98$ على FFHQ، و $4.02$ على LSUN-Churches، و $2.95$ على LSUN-Bedrooms.
ImageNet المشروط بالفئات: حقق LDM-4 مع التوجيه الخالي من المصنف (classifier-free guidance) قيمة FID بلغت $3.60$ ومقياس Inception Score بلغ $247.67$ ، متفوقاً على ADM ( $4.59$ ) على الرغم من استخدام معلمات أقل (400M مقابل 608M) وحوسبة تدريب أقل بكثير (271 مقابل 962 يوماً على V100).
توليد الصور من النصوص: حقق نموذج بحجم 1.45 مليار معلمة (LDM-KL-8-G) قيمة FID بلغت $12.63$ على MS-COCO باستخدام 250 خطوة DDIM.
الدقة الفائقة وترميم الصور: سجل LDM-4 رقماً قياسياً جديداً في ترميم الصور بـ FID قدره $1.50$ على Places $512 \times 512$ (و $9.39$ على الصور الصعبة ذات الأقنعة بنسبة 40-50%)، مع العمل بإنتاجية أعلى بمقدار $2.7 \times$ مقارنة بنماذج الانتشار في فضاء البكسل.

القيود والأسئلة المفتوحة

زمن الاستجابة في التوليد: على الرغم من أنه أسرع بكثير من نماذج الانتشار في فضاء البكسل، فإن التوليد التتابعي متعدد الخطوات لا يزال أبطأ من مولدات GAN ذات التمريرة الواحدة.
عنق زجاجة إعادة البناء: حتى مع خفض استعيان منخفض ( $f = 4$ )، يمكن أن يفقد الضغط تفاصيل البكسل الدقيقة عالية التردد، مما يجعله دون المستوى الأمثل قليلاً للمهام التي تتطلب دقة متناهية على مستوى البكسل.
الأثر المجتمعي والسلامة: يؤدي خفض الحواجز الحوسبية إلى إتاحة الأدوات الإبداعية للجميع ولكنه يسهل أيضاً إنشاء التزييف العميق وإساءة الاستخدام، مع إمكانية توارث الانحيازات من مجموعات بيانات التدريب الضخمة غير المنقحة عبر الويب.

المصطلحات الرئيسية

Latent Diffusion Models (LDMs): نماذج انتشار يتم تدريبها داخل فضاء كامن مكافئ إدراكياً ومنخفض الأبعاد يوفره مشفر تلقائي مدرب.
Perceptual Image Compression: نموذج تشفير تلقائي للمرحلة الأولى مدرب بدوال خسارة إدراكية وتنافسية قائمة على الرقع، يعمل على إزالة التشويش عالي التردد غير المحسوس من الصور.
Cross-Attention: آلية اهتمام مدمجة في الطبقات المتوسطة لشبكة UNet حيث تأتي الاستعلامات (queries) من تمثيلات الصورة بينما تأتي المفاتيح (keys) والقيم (values) من تمثيلات التكييف.
Downsampling Factor ($f$): نسبة التحجيم المكاني $f = H / h = W / w$ بين أبعاد البكسل الأصلية وأبعاد الشبكة الكامنة للمشفر التلقائي.
KL-reg. / VQ-reg.: مخططا التنظيم للفضاء الكامن اللذان تم اختبارهما: إما عقوبة تباعد كولباك-ليبلر خفيفة نحو التوزيع الطبيعي القياسي، أو طبقة قاموس التكميم المتجهي المدمجة في مفكك الترميز.
Classifier-Free Guidance: تقنية توليد تقيم تنبؤات النموذج الشرطي وغير الشرطي معاً لتوجيه جودة التوليد دون الحاجة إلى شبكة مصنف منفصلة.
Convolutional Sampling: تقييم نموذج UNet التفافي على شبكات مكانية أكبر مما تم اختباره أثناء التدريب لتوليد صور عالية الدقة أو بملايين البكسلات في مهام مثل التوليد الدلالي أو الدقة الفائقة.

أسئلة شائعة

لماذا يتم تدريب نماذج الانتشار في الفضاء الكامن بدلاً من فضاء البكسل الخام؟

يهدر الانتشار في فضاء البكسل قدراً كبيراً من الحوسبة في حساب التدرجات وتقييم الشبكات بشكل متكرر على تفاصيل الصور الدقيقة عالية التردد غير المحسوسة. ومن خلال الانتقال إلى الفضاء الكامن للمشفر التلقائي، يركز النموذج التوليدي كلياً على المفاهيم الدلالية باستخدام خرائط ميزات أصغر بكثير، مما يسرع التدريب والاستدلال معاً.

كيف يعمل التكييف على البيانات غير الصورية مثل النصوص في LDMs؟

تتم تجزئة الشروط غير الصورية ومعالجتها بواسطة مشفر خاص بالمجال (مثل محول مُرمز بـ BERT للنصوص) لتحويلها إلى تمثيل وسيط. ثم يُحقن هذا التمثيل في الهيكل الأساسي لشبكة UNet عبر طبقات الاهتمام المتبادل (cross-attention).

ما هو عامل خفض الاستعيان $f$ الذي يوفر أفضل أداء؟

يحقق عاملا خفض الاستعيان $f = 4$ و $f = 8$ أفضل توازن. فالعوامل الأصغر ( $f = 1, 2$ ) تحتفظ بقدر كبير من الضغط الإدراكي لنموذج الانتشار ويكون تدريبها بطيئاً، بينما تفقد العوامل الأكبر ( $f = 32$ ) الكثير من التفاصيل المكانية في المرحلة الأولى، مما يحد من جودة التوليد.

هل يمكن لنماذج الانتشار الكامن توليد صور بأبعاد أكبر من دقة تدريبها؟

نعم. في المهام ذات الشروط المكانية (مثل التوليد الدلالي، والترميم، والدقة الفائقة)، تتيح الطبيعة الالتفافية لشبكة UNet إجراء استعيان التفافي على شبكات كامنة أكبر، مما يولد صوراً متماسكة بدقة $51 2^{2}$ أو أحجام بالميغابكسل انطلاقاً من نماذج مدربة على $25 6^{2}$ .

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي