High-Resolution Image Synthesis with Latent Diffusion Models

Robin Rombach; Andreas Blattmann; Dominik Lorenz; Patrick Esser; Björn Ommer

शोध पत्र · arXiv 2112.10752

High-Resolution Image Synthesis with Latent Diffusion Models

Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer

प्रकाशित 2021-12-20cs.CV arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 मानक पिक्सेल-स्पेस डिफ्यूजन मॉडल्स पुनरावृत्त डिनॉइज़िंग चरणों में अगोचर हाई-फ्रीक्वेंसी विवरणों को मॉडल करने में भारी कम्प्यूट और मेमोरी बर्बाद करते हैं।
🔧 क्रॉस-अटेंशन कंडीशनिंग का उपयोग करके प्री-ट्रेन्ड ऑटोएनकोडर्स के निचले-आयामी लेटेंट स्पेस के भीतर डिफ्यूजन मॉडल्स को ट्रेन करके जनरेटिव मॉडलिंग से परसेप्टुअल कम्प्रेशन को अलग किया गया।
📈 CelebA-HQ पर 5.11 का अत्याधुनिक FID, क्लास-कंडीशनल ImageNet 256x256 पर 3.60 FID हासिल किया, और पिक्सेल-स्पेस डिफ्यूजन मॉडल्स की तुलना में ट्रेनिंग और इन्फरेंस कम्प्यूट को कई गुना कम किया।

सार

इमेज निर्माण प्रक्रिया को डिनॉइज़िंग ऑटोएनकोडर्स के क्रमिक अनुप्रयोग में विघटित करके, डिफ्यूजन मॉडल्स (DMs) इमेज डेटा और उससे परे अत्याधुनिक (state-of-the-art) सिंथेसिस परिणाम प्राप्त करते हैं। इसके अलावा, उनका फॉर्मूलेशन बिना दोबारा ट्रेनिंग के इमेज जेनरेशन प्रक्रिया को नियंत्रित करने के लिए एक गाइडिंग मैकेनिज्म की अनुमति देता है। हालांकि, चूंकि ये मॉडल्स आमतौर पर सीधे पिक्सेल स्पेस में काम करते हैं, इसलिए शक्तिशाली DMs का ऑप्टिमाइज़ेशन अक्सर सैकड़ों GPU दिनों की खपत करता है और क्रमिक मूल्यांकनों के कारण इन्फरेंस महंगा होता है। गुणवत्ता और लचीलेपन को बनाए रखते हुए सीमित कम्प्यूटेशनल संसाधनों पर DM ट्रेनिंग को सक्षम करने के लिए, हम उन्हें शक्तिशाली प्री-ट्रेन्ड ऑटोएनकोडर्स के लेटेंट स्पेस में लागू करते हैं। पिछले कार्यों के विपरीत, ऐसे रिप्रेजेंटेशन पर डिफ्यूजन मॉडल्स को ट्रेन करने से पहली बार जटिलता में कमी और विवरणों के संरक्षण के बीच लगभग इष्टतम बिंदु तक पहुंचने की अनुमति मिलती है, जिससे विजुअल फिडेलिटी में काफी वृद्धि होती है। मॉडल आर्किटेक्चर में क्रॉस-अटेंशन लेयर्स को शामिल करके, हम डिफ्यूजन मॉडल्स को टेक्स्ट या बाउंडिंग बॉक्स जैसे सामान्य कंडीशनिंग इनपुट के लिए शक्तिशाली और लचीले जनरेटर में बदल देते हैं, और कनवोल्यूशनल तरीके से हाई-रेज़ोल्यूशन सिंथेसिस संभव हो जाता है। हमारे लेटेंट डिफ्यूजन मॉडल्स (LDMs) इमेज इनपेंटिंग के लिए एक नया स्टेट-ऑफ-द-आर्ट और अनकंडीशनल इमेज जेनरेशन, सेमांटिक सीन सिंथेसिस और सुपर-रेज़ोल्यूशन सहित विभिन्न कार्यों पर अत्यधिक प्रतिस्पर्धी प्रदर्शन प्राप्त करते हैं, जबकि पिक्सेल-आधारित DMs की तुलना में कम्प्यूटेशनल आवश्यकताओं को काफी कम करते हैं। कोड https://github.com/CompVis/latent-diffusion पर उपलब्ध है।

मूल सार (अंग्रेज़ी)

By decomposing the image formation process into a sequential application of denoising autoencoders, diffusion models (DMs) achieve state-of-the-art synthesis results on image data and beyond. Additionally, their formulation allows for a guiding mechanism to control the image generation process without retraining. However, since these models typically operate directly in pixel space, optimization of powerful DMs often consumes hundreds of GPU days and inference is expensive due to sequential evaluations. To enable DM training on limited computational resources while retaining their quality and flexibility, we apply them in the latent space of powerful pretrained autoencoders. In contrast to previous work, training diffusion models on such a representation allows for the first time to reach a near-optimal point between complexity reduction and detail preservation, greatly boosting visual fidelity. By introducing cross-attention layers into the model architecture, we turn diffusion models into powerful and flexible generators for general conditioning inputs such as text or bounding boxes and high-resolution synthesis becomes possible in a convolutional manner. Our latent diffusion models (LDMs) achieve a new state of the art for image inpainting and highly competitive performance on various tasks, including unconditional image generation, semantic scene synthesis, and super-resolution, while significantly reducing computational requirements compared to pixel-based DMs. Code is available at https://github.com/CompVis/latent-diffusion .

पढ़ने की गाइड

समस्या और प्रेरणा

डिफ्यूजन प्रोबेबिलिस्टिक मॉडल्स डिनॉइज़िंग ऑटोएनकोडर्स के एक अनुक्रम के साथ फॉरवर्ड नॉइज़ प्रक्रिया को उलट कर हाई-फिडेलिटी और मोड-कवरिंग इमेजरी उत्पन्न करते हैं। हालाँकि, उच्च-आयामी RGB पिक्सेल स्पेस में सीधे उन्हें प्रशिक्षित और मूल्यांकित करना कम्प्यूटेशनल रूप से काफी मांग वाला कार्य है। ऑप्टिमाइज़ेशन में अक्सर सैकड़ों GPU दिन (उदा., 150 से 1000 V100 दिन) लगते हैं, और मल्टी-स्टेप सीक्वेंशियल सैंपलिंग मानक मूल्यांकन रनों के लिए कई दिनों का समय ले सकती है। चूँकि लाइकलहुड-आधारित जनरेटिव मॉडलिंग सेमांटिक संरचनाओं को सीखने से पहले हाई-फ्रीक्वेंसी अगोचर इमेज विवरणों पर अत्यधिक क्षमता खर्च करती है, इसलिए सीधे पिक्सेल-स्पेस मूल्यांकन से ग्रेडिएंट और फंक्शन का व्यर्थ मूल्यांकन होता है।

मुख्य विचार

दो-चरणीय अपघटन (Two-stage decomposition): परसेप्टुअल कम्प्रेशन (अगोचर विवरणों को हटाना) को सेमांटिक जनरेटिव मॉडलिंग (इमेज संरचना और कम्पोज़िशन सीखना) से अलग करना।
लेटेंट डिफ्यूजन मॉडल्स (Latent Diffusion Models - LDMs): परसेप्टुअल और एडवरसैरियल लॉस के साथ प्रशिक्षित ऑटोएनकोडर के लेटेंट स्पेस के अंदर डिनॉइज़िंग डिफ्यूजन मॉडल्स को प्रशिक्षित करना।
मध्यम स्थानिक कम्प्रेशन (Moderate spatial compression): ऑटोरिग्रेसिव मॉडल्स के विपरीत जिन्हें भारी स्थानिक कमी (उदा., $f = 16$ या $f = 32$ ) की आवश्यकता होती है, LDMs 2D कनवोल्यूशनल UNet के साथ स्थानिक इंडक्टिव बायस बनाए रखते हैं, जिससे $f = 4$ या $f = 8$ जैसे मध्यम डाउनसैंपलिंग कारकों की अनुमति मिलती है जो बारीक विवरणों को संरक्षित रखते हैं।
यूनिवर्सल क्रॉस-अटेंशन कंडीशनिंग: क्रॉस-अटेंशन के माध्यम से इंटरमीडिएट नेटवर्क परतों में मैप किए गए डोमेन-विशिष्ट एनकोडर्स का उपयोग करके UNets को मल्टीमॉडल इनपुट (टेक्स्ट विवरण, बाउंडिंग बॉक्स, सेमांटिक मैप्स) के लिए सामान्यीकृत करना।

विधि

परसेप्टुअल इमेज कम्प्रेशन (Perceptual Image Compression): एक एनकोडर $E$ एक इमेज $x \in R^{H \times W \times 3}$ को एक निचले-आयामी लेटेंट रिप्रेजेंटेशन $z = E (x) \in R^{h \times w \times c}$ में मैप करता है, जहाँ डाउनसैंपलिंग फैक्टर $f = H / h = W / w = 2^{m}$ है। एक डिकोडर $\tilde{x} = D (z)$ को रिकंस्ट्रक्ट करता है। मॉडल को $N (0, I)$ (KL-reg.) की ओर एक हल्के KL-डाइवर्जेंस पेनल्टी या डिकोडर में समाहित वेक्टर क्वांटाइजेशन (VQ-reg.) का उपयोग करके नियमित (regularize) किया जाता है।
जनरेटिव लेटेंट मॉडलिंग (Generative Latent Modeling): एक टाइम-कंडीशनल UNet $ϵ_{θ} (z_{t}, t)$ को रीवेटेड डिनॉइज़िंग उद्देश्य का उपयोग करके लेटेंट्स पर प्रशिक्षित किया जाता है: $L_{L D M} := E_{E (x), ϵ \sim N (0, 1), t} [∥ ϵ - ϵ_{θ} (z_{t}, t) ∥_{2}^{2}]$
क्रॉस-अटेंशन कंडीशनिंग (Cross-Attention Conditioning): कंडीशनिंग इनपुट $y$ (उदा., टेक्स्ट, क्लासेस, लेआउट) के लिए, एक डोमेन एनकोडर $τ_{θ} (y) \in R^{M \times d_{τ}}$ पेश किया जाता है। इंटरमीडिएट UNet फीचर्स $φ_{i} (z_{t}) \in R^{N \times d_{ϵ}^{i}}$ क्रॉस-अटेंशन के माध्यम से कंडीशनिंग के साथ इंटरैक्ट करते हैं: $Attention (Q, K, V) = softmax (\frac{Q K ^{T}}{d}) \cdot V$ जहाँ $Q = W_{Q}^{(i)} φ_{i} (z_{t})$ , $K = W_{K}^{(i)} τ_{θ} (y)$ , और $V = W_{V}^{(i)} τ_{θ} (y)$ । कंडीशनल उद्देश्य है: $L_{L D M} := E_{E (x), y, ϵ \sim N (0, 1), t} [∥ ϵ - ϵ_{θ} (z_{t}, t, τ_{θ} (y)) ∥_{2}^{2}]$

परिणाम

परसेप्टुअल कम्प्रेशन ट्रेड-ऑफ: डाउनसैंपलिंग फैक्टर्स $f = 4$ और $f = 8$ रिकंस्ट्रक्शन सटीकता, सिंथेसिस गुणवत्ता और थ्रूपुट के बीच सबसे अच्छा संतुलन बनाते हैं। समान कम्प्यूटेशनल बजट के तहत 2M ट्रेनिंग स्टेप्स के बाद ImageNet पर, 38 पॉइंट्स का FID अंतर पिक्सेल-आधारित LDM-1 को LDM-8 से अलग करता है।
अनकंडीशनल जेनरेशन: CelebA-HQ ( $256 \times 256$ ) पर $5.11$ , FFHQ पर $4.98$ , LSUN-Churches पर $4.02$ , और LSUN-Bedrooms पर $2.95$ का स्टेट-ऑफ-द-आर्ट FID हासिल किया गया।
क्लास-कंडीशनल ImageNet: क्लासिफायर-फ्री गाइडेंस के साथ LDM-4 ने $3.60$ का FID और $247.67$ का Inception Score प्राप्त किया, जिसने कम मापदंडों (400M बनाम 608M) और काफी कम ट्रेनिंग कम्प्यूट (271 बनाम 962 V100 दिन) की आवश्यकता के साथ ADM ( $4.59$ ) से बेहतर प्रदर्शन किया।
टेक्स्ट-टू-इमेज: 1.45B पैरामीटर मॉडल (LDM-KL-8-G) ने 250 DDIM स्टेप्स के साथ MS-COCO पर $12.63$ का FID हासिल किया।
सुपर-रेज़ोल्यूशन और इनपेंटिंग: LDM-4 ने Places $512 \times 512$ पर $1.50$ (और कठिन 40-50% मास्क्ड इमेजेस पर $9.39$ ) का एक नया स्टेट-ऑफ-द-आर्ट इनपेंटिंग FID स्थापित किया, जबकि यह पिक्सेल-स्पेस डिफ्यूजन की तुलना में $2.7 \times$ से अधिक उच्च थ्रूपुट पर काम करता है।

सीमाएं और खुले प्रश्न

सैंपलिंग लेटेंसी: पिक्सेल-आधारित डिफ्यूजन मॉडल्स की तुलना में काफी तेज़ होने के बावजूद, सीक्वेंशियल मल्टी-स्टेप सैंपलिंग अभी भी सिंगल-पास GAN जनरेटर से धीमी है।
रिकंस्ट्रक्शन बॉटलनेक: कम डाउनसैंपलिंग ( $f = 4$ ) के साथ भी, कम्प्रेशन बारीक हाई-फ्रीक्वेंसी पिक्सेल विवरण खो सकता है, जिससे यह अत्यधिक सटीक पिक्सेल-क्रिटिकल कार्यों के लिए थोड़ा सब-ऑप्टिमल हो जाता है।
सामाजिक प्रभाव और सुरक्षा: कम्प्यूट बाधाओं में कमी क्रिएटिव टूल्स को सुलभ बनाती है लेकिन डीपफेक और दुरुपयोग के निर्माण को भी आसान बनाती है, साथ ही बिना क्यूरेट किए गए वेब-स्केल ट्रेनिंग डेटासेट से पूर्वाग्रहों को प्राप्त करने की संभावना होती है।

मुख्य शब्द

Latent Diffusion Models (LDMs): प्रशिक्षित ऑटोएनकोडर द्वारा प्रदान किए गए निचले-आयामी, परसेप्टुअली समतुल्य लेटेंट स्पेस के अंदर प्रशिक्षित डिफ्यूजन मॉडल्स।
Perceptual Image Compression: परसेप्टुअल और पैच-आधारित एडवरसैरियल लॉस के साथ प्रशिक्षित एक प्रथम-चरण ऑटोएनकोडिंग मॉडल जो छवियों से अगोचर हाई-फ्रीक्वेंसी नॉइज़ को हटाता है।
Cross-Attention: UNet इंटरमीडिएट लेयर्स में शामिल एक अटेंशन मैकेनिज्म जहाँ क्वेरीज़ इमेज रिप्रेजेंटेशन से आती हैं और कीज़/वैल्यूज़ कंडीशनिंग रिप्रेजेंटेशन से आती हैं।
Downsampling Factor ($f$): मूल पिक्सेल आयामों और ऑटोएनकोडर लेटेंट ग्रिड आयामों के बीच स्थानिक स्केलिंग अनुपात $f = H / h = W / w$ ।
KL-reg. / VQ-reg.: परीक्षण की गई लेटेंट स्पेस रेगुलराइज़ेशन योजनाएं: एक मानक सामान्य की ओर एक हल्का कुलबैक-लीबलर पेनल्टी, या डिकोडर में अवशोषित एक वेक्टर क्वांटाइजेशन कोडबुक लेयर।
Classifier-Free Guidance: एक सैंपलिंग तकनीक जो एक अलग क्लासिफायर नेटवर्क के बिना जेनरेशन गुणवत्ता को चलाने के लिए कंडीशन्ड और अनकंडीशन्ड मॉडल भविष्यवाणियों का संयुक्त रूप से मूल्यांकन करती है।
Convolutional Sampling: सेमांटिक सिंथेसिस या सुपर-रेज़ोल्यूशन जैसे कार्यों में हाई-रेज़ोल्यूशन या मेगापिक्सेल इमेजरी उत्पन्न करने के लिए ट्रेनिंग के दौरान देखे गए ग्रिड से बड़े स्थानिक ग्रिड पर कनवोल्यूशनल UNet मॉडल का मूल्यांकन करना।

प्रश्न

डिफ्यूजन मॉडल्स को रॉ पिक्सेल स्पेस के बजाय लेटेंट स्पेस में क्यों प्रशिक्षित करें?

पिक्सेल-स्पेस डिफ्यूजन बार-बार ग्रेडिएंट की गणना करने और अगोचर हाई-फ्रीक्वेंसी इमेज विवरणों पर नेटवर्क का मूल्यांकन करने में अत्यधिक कम्प्यूट बर्बाद करता है। ऑटोएनकोडर के लेटेंट स्पेस में स्थानांतरित होकर, जनरेटिव मॉडल बहुत छोटे फीचर मैप्स के साथ विशुद्ध रूप से सेमांटिक अवधारणाओं पर ध्यान केंद्रित करता है, जिससे ट्रेनिंग और इन्फरेंस दोनों में तेजी आती है।

LDMs में टेक्स्ट जैसे नॉन-इमेज डेटा पर कंडीशनिंग कैसे काम करती है?

नॉन-इमेज स्थितियों को टोकनाइज़ किया जाता है और एक डोमेन-विशिष्ट एनकोडर (जैसे टेक्स्ट के लिए BERT-टोकनाइज़्ड ट्रांसफॉर्मर) द्वारा एक इंटरमीडिएट रिप्रेजेंटेशन में संसाधित किया जाता है। यह रिप्रेजेंटेशन क्रॉस-अटेंशन लेयर्स के माध्यम से UNet बैकबोन में इंजेक्ट किया जाता है।

कौन सा डाउनसैंपलिंग फैक्टर $f$ सर्वोत्तम प्रदर्शन प्रदान करता है?

$f = 4$ और $f = 8$ के डाउनसैंपलिंग फैक्टर्स सबसे अच्छा संतुलन बनाते हैं। छोटे फैक्टर्स ( $f = 1, 2$ ) डिफ्यूजन मॉडल के लिए बहुत अधिक परसेप्टुअल कम्प्रेशन बनाए रखते हैं और धीमी गति से ट्रेन होते हैं, जबकि बड़े फैक्टर्स ( $f = 32$ ) पहले चरण में बहुत अधिक स्थानिक विवरण खो देते हैं, जिससे सिंथेसिस की गुणवत्ता सीमित हो जाती है।

क्या Latent Diffusion Models अपने ट्रेनिंग रेज़ोल्यूशन से बड़ी छवियां उत्पन्न कर सकते हैं?

हाँ। स्थानिक रूप से कंडीशन्ड कार्यों (जैसे सेमांटिक सिंथेसिस, इनपेंटिंग और सुपर-रेज़ोल्यूशन) के लिए, UNet की कनवोल्यूशनल प्रकृति बड़े लेटेंट ग्रिड पर कनवोल्यूशनल सैंपलिंग को सक्षम बनाती है, जिससे $25 6^{2}$ पर प्रशिक्षित मॉडल्स से $51 2^{2}$ या मेगापिक्सेल आकारों पर सुसंगत छवियां उत्पन्न होती हैं।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें