Denoising Diffusion Probabilistic Models

पढ़ने की गाइड

समस्या और प्रेरणा

यद्यपि diffusion probabilistic models को मूल रूप से Sohl-Dickstein et al. (2015) द्वारा नॉन-इक्विलिब्रियम थर्मोडायनामिक्स के आधार पर पेश किया गया था, लेकिन शुरुआती पुनरावृत्तियां विज़ुअल फिडेलिटी में GANs और ऑटोरिग्रेसिव आर्किटेक्चर से काफी पीछे थीं। उन्हें आम तौर पर धीमा, ट्यून करने में कठिन और जटिल, उच्च-रिज़ॉल्यूशन वाले प्राकृतिक इमेज डेटासेट पर अप्रमाणित माना जाता था। लेखकों ने अपने वेरिएशनल उद्देश्यों और Langevin dynamics के साथ score matching के बीच एक औपचारिक संबंध स्थापित करके डिफ्यूजन मॉडल्स की फिर से जांच करने का बीड़ा उठाया, यह प्रदर्शित करते हुए कि उपयुक्त पैरामीटराइज़ेशन और उद्देश्यों के साथ, डिफ्यूजन मॉडल्स स्टेट-ऑफ-द-आर्ट अवधारणात्मक (perceptual) सैंपल गुणवत्ता प्राप्त कर सकते हैं।

मुख्य विचार

• नॉइज़-प्रेडिक्शन पैरामीटराइज़ेशन: सीधे पोस्टीरियर माध्य ${\tilde{\mathbf{\mu }}}_t$ की भविष्यवाणी करने के बजाय, रिवर्स प्रोसेस न्यूरल नेटवर्क ${\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)$ को फॉरवर्ड स्टेप के दौरान जोड़े गए अनस्केल्ड मानक गॉसियन नॉइज़ वेक्टर $\mathbf{ϵ}$ की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है।
• Denoising Score Matching से संबंध: Denoising diffusion कई नॉइज़ स्केल्स में denoising score matching से मेल खाता है, जबकि सीखी गई रिवर्स चेन वेरिएशनल इन्फरेंस के माध्यम से प्राप्त एक एनील्ड Langevin dynamics सैंपलर के रूप में कार्य करती है।
• सरलीकृत लॉस फ़ंक्शन ($L_{\mathrm{simple}}$): वेरिएशनल लोअर बाउंड से सख्त वेरियंस-निर्भर वेटिंग को हटाने पर एक अनवेटेड MSE लॉस प्राप्त होता है जो कम नॉइज़ स्तरों ($t\approx 1$) के वेट को कम करता है, जिससे मॉडल अवधारणात्मक रूप से महत्वपूर्ण मोटे (coarse) स्ट्रक्चर्स पर ध्यान केंद्रित करने के लिए बाध्य होता है।
• प्रोग्रेसिव लॉसी कंप्रेशन का दृष्टिकोण: विश्लेषण से पता चलता है कि मॉडल की दोषरहित (lossless) कोड-लंबाई का आधे से अधिक हिस्सा अगोचर उच्च-आवृत्ति पिक्सेल नॉइज़ का प्रतिनिधित्व करता है, जिसका अर्थ है कि डिफ्यूजन मॉडल्स बारीक बनावट भरने से पहले वैश्विक सामग्री को डिकोड करके दर-विरूपण (rate-distortion) को अंतर्निहित रूप से अनुकूलित करते हैं।

विधि

फॉरवर्ड प्रोसेस $T=1000$ स्टेप्स में एक निश्चित वेरियंस शेड्यूल ${\beta }_1,\dots ,{\beta }_T$ के साथ डेटा ${\mathbf{x}}_0$ को क्रमिक रूप से दूषित करती है: $$q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})=\mathcal{N}({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I})$$ ${\alpha }_t=1-{\beta }_t$ और ${\bar{\alpha }}_t={\prod }_{s=1}^t{\alpha }_s$ का उपयोग करके, मध्यवर्ती लेटेंट्स को सीधे क्लोज्ड फॉर्म में सैंपल किया जा सकता है: $$q({\mathbf{x}}_t|{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_t;\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0,(1-{\bar{\alpha }}_t)\mathbf{I})$$

रिवर्स चेन $p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)=\mathcal{N}({\mathbf{x}}_{t-1};{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t),{\sigma }_t^2\mathbf{I})$ माध्य को इस प्रकार पैरामीटराइज़ करती है: $${\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t)=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\right)$$ जहाँ ${\sigma }_t^2$ को ${\beta }_t$ या ${\tilde{\beta }}_t=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_t$ पर तय किया जाता है।

नेटवर्क को सरलीकृत सरोगेट लॉस का उपयोग करके अनुकूलित किया जाता है: $$L_{\mathrm{simple}}(\theta )={\mathbb{E}}_{t,{\mathbf{x}}_0,\mathbf{ϵ}}\left[{\Vert \mathbf{ϵ}-{\mathbf{ϵ}}_{\theta }(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}\mathbf{ϵ},t)\Vert }^2\right]$$ जहाँ $t\sim \text{Uniform}(\{1,\dots ,T\})$ और $\mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{I})$ है।

सैंपलिंग ${\mathbf{x}}_T\sim \mathcal{N}(0,\mathbf{I})$ से पीछे की ओर इस प्रकार आगे बढ़ती है: $${\mathbf{x}}_{t-1}=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\right)+{\sigma }_t\mathbf{z}$$ जहाँ $t>1$ के लिए $\mathbf{z}\sim \mathcal{N}(0,\mathbf{I})$ और $t=1$ होने पर $\mathbf{z}=0$ है।

परिणाम

• CIFAR-10: $L_{\mathrm{simple}}$ का उपयोग करके $9.46\pm 0.11$ का अनकंडीशनल Inception Score (IS) और $3.17$ का FID प्राप्त किया, जिसने समकालीन SNGAN (FID 21.7) और NCSN (FID 25.32) को पीछे छोड़ दिया।
• हाई-रिज़ॉल्यूशन सिंथेसिस: LSUN (Bedroom FID 4.90, Church FID 7.89, Cat FID 19.75) और CelebA-HQ पर यथार्थवादी $256\times 256$ इमेजेस को सफलतापूर्वक जनरेट किया।
• लाइकलहुड बनाम गुणवत्ता का संतुलन: यद्यपि सटीक वेरिएशनल बाउंड $L$ के साथ प्रशिक्षण ने $L_{\mathrm{simple}}$ ($\le 3.75$ bits/dim टेस्ट) की तुलना में बेहतर नेगेटिव लॉग-लाइकलहुड ($\le 3.70$ bits/dim टेस्ट) दिया, फिर भी $L_{\mathrm{simple}}$ ने कहीं बेहतर FID स्कोर (3.17 बनाम 13.51) हासिल किया।

सीमाएं और खुले प्रश्न

• सैंपलिंग गति: सैंपलिंग के लिए प्रति इमेज बैच न्यूरल नेटवर्क के $T=1000$ क्रमिक मूल्यांकनों की आवश्यकता होती है, जिससे इन्फरेंस GANs या सिंगल-पास फ्लो मॉडल्स की तुलना में बहुत धीमा हो जाता है।
• प्रतिस्पर्धी लॉग-लाइकलहुड्स: ये मॉडल्स Sparse Transformers (जिन्होंने CIFAR-10 पर $2.80$ bits/dim प्राप्त किया था) जैसे शुद्ध ऑटोरिग्रेसिव मॉडल्स के सटीक दोषरहित टेस्ट लाइकलहुड की बराबरी नहीं कर पाते हैं।
• फिक्स्ड वेरियंस शेड्यूलिंग: फॉरवर्ड वेरियंस शेड्यूल ${\beta }_t$ को सीखने या अनुकूलित करने के बजाय रैखिक रूप से तय किया गया था, जिससे यह खुला प्रश्न रह जाता है कि क्या गैर-रैखिक शेड्यूल या सीखी गई सतत गतिशीलता और सुधार ला सकती है।