High-Resolution Image Synthesis with Latent Diffusion Models

Robin Rombach; Andreas Blattmann; Dominik Lorenz; Patrick Esser; Björn Ommer

งานวิจัย · arXiv 2112.10752

High-Resolution Image Synthesis with Latent Diffusion Models

Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer

เผยแพร่ 2021-12-20cs.CV arXiv PDF

อ่านพร้อมคำแปลและ AI

สรุปสามบรรทัด

🎯 แบบจำลอง diffusion บน pixel-space มาตรฐานสูญเสียการคำนวณและหน่วยความจำมหาศาลไปกับการสร้างแบบจำลองรายละเอียดความถี่สูงที่ตามองไม่เห็นตลอดขั้นตอนการทำ denoising ซ้ำหลายรอบ
🔧 แยก perceptual compression ออกจาก generative modeling โดยการเทรน diffusion models ภายใน latent space ที่มีมิติต่ำกว่าของ autoencoders ที่พรีเทรนไว้ โดยใช้การกำหนดเงื่อนไขด้วย cross-attention
📈 บรรลุค่า FID ระดับ state-of-the-art ที่ 5.11 บน CelebA-HQ, FID 3.60 บน ImageNet 256x256 แบบ class-conditional และลดการคำนวณทั้งการเทรนและ inference ลงได้หลายเท่าตัวเมื่อเทียบกับ diffusion models บน pixel-space

บทคัดย่อ

ด้วยการแยกกระบวนการสร้างภาพออกเป็นการประยุกต์ใช้ denoising autoencoders ต่อเนื่องกันเป็นลำดับ แบบจำลอง diffusion models (DMs) จึงสามารถสร้างผลลัพธ์การสังเคราะห์ภาพและข้อมูลรูปแบบอื่น ๆ ได้ในระดับ state-of-the-art นอกจากนี้ โครงสร้างของแบบจำลองยังรองรับกลไกการนำทาง (guiding mechanism) เพื่อควบคุมกระบวนการสร้างภาพโดยไม่ต้องเทรนโมเดลใหม่ อย่างไรก็ตาม เนื่องจากแบบจำลองเหล่านี้มักทำงานบน pixel space โดยตรง การหาจุดเหมาะสมที่สุด (optimization) ของ DMs ที่มีประสิทธิภาพสูงจึงมักใช้เวลาหลายร้อย GPU days และการทำ inference ยังมีค่าใช้จ่ายในการคำนวณสูงจากการประเมินแบบต่อเนื่องเป็นลำดับ เพื่อให้สามารถเทรน DM บนทรัพยากรการคำนวณที่มีจำกัดได้โดยยังคงรักษาคุณภาพและความยืดหยุ่นไว้ เราจึงนำแบบจำลองไปประยุกต์ใช้ใน latent space ของ autoencoders ที่ผ่านการพรีเทรนมาอย่างมีประสิทธิภาพ เมื่อเทียบกับงานวิจัยก่อนหน้า การเทรน diffusion models บนตัวแทนข้อมูล (representation) ดังกล่าวช่วยให้บรรลุจุดที่ใกล้เคียงความเหมาะสมที่สุดระหว่างการลดความซับซ้อนและการรักษาความละเอียดของรายละเอียดได้เป็นครั้งแรก ซึ่งช่วยเพิ่มความสมจริงของภาพได้อย่างมาก และด้วยการเพิ่ม cross-attention layers เข้าไปในสถาปัตยกรรมของโมเดล เราได้เปลี่ยน diffusion models ให้กลายเป็นเครื่องมือสร้างภาพที่ทรงพลังและยืดหยุ่นสำหรับเงื่อนไขนำเข้าทั่วไป เช่น ข้อความหรือ bounding boxes และทำให้การสังเคราะห์ภาพความละเอียดสูงเป็นไปได้ในลักษณะ convolutional แบบจำลอง latent diffusion models (LDMs) ของเราบรรลุประสิทธิภาพระดับ state-of-the-art ใหม่สำหรับงาน image inpainting และให้ประสิทธิภาพที่แข่งขันได้สูงในหลากหลายงาน รวมถึง unconditional image generation, semantic scene synthesis และ super-resolution ขณะเดียวกันก็ลดความต้องการด้านทรัพยากรการคำนวณลงอย่างมีนัยสำคัญเมื่อเทียบกับ DMs ที่ทำงานบน pixel-based โค้ดสามารถเข้าถึงได้ที่ https://github.com/CompVis/latent-diffusion

บทคัดย่อต้นฉบับ (ภาษาอังกฤษ)

By decomposing the image formation process into a sequential application of denoising autoencoders, diffusion models (DMs) achieve state-of-the-art synthesis results on image data and beyond. Additionally, their formulation allows for a guiding mechanism to control the image generation process without retraining. However, since these models typically operate directly in pixel space, optimization of powerful DMs often consumes hundreds of GPU days and inference is expensive due to sequential evaluations. To enable DM training on limited computational resources while retaining their quality and flexibility, we apply them in the latent space of powerful pretrained autoencoders. In contrast to previous work, training diffusion models on such a representation allows for the first time to reach a near-optimal point between complexity reduction and detail preservation, greatly boosting visual fidelity. By introducing cross-attention layers into the model architecture, we turn diffusion models into powerful and flexible generators for general conditioning inputs such as text or bounding boxes and high-resolution synthesis becomes possible in a convolutional manner. Our latent diffusion models (LDMs) achieve a new state of the art for image inpainting and highly competitive performance on various tasks, including unconditional image generation, semantic scene synthesis, and super-resolution, while significantly reducing computational requirements compared to pixel-based DMs. Code is available at https://github.com/CompVis/latent-diffusion .

คู่มือการอ่าน

ปัญหาและแรงจูงใจ

แบบจำลอง Diffusion probabilistic models สามารถสร้างภาพที่มีความเที่ยงตรงสูงและครอบคลุมทุกโหมด (mode-covering) โดยการย้อนกลับกระบวนการเพิ่มสัญญาณรบกวน (forward noise process) ด้วยลำดับของ denoising autoencoders อย่างไรก็ตาม การเทรนและประเมินผลบน RGB pixel space มิติต่าง ๆ โดยตรงนั้นต้องใช้ทรัพยากรการคำนวณสูงมาก การหาค่าที่เหมาะสมที่สุด (optimization) มักใช้เวลานับร้อย GPU days (เช่น 150 ถึง 1,000 V100 days) และการสุ่มตัวอย่างต่อเนื่องแบบหลายขั้นตอนอาจใช้เวลาหลายวันสำหรับการรันประเมินผลมาตรฐาน เนื่องจาก generative modeling แบบอิง likelihood ใช้ขีดความสามารถส่วนใหญ่ไปกับรายละเอียดภาพความถี่สูงที่ตามนุษย์มองแทบไม่เห็นก่อนที่จะเรียนรู้โครงสร้างเชิงความหมาย (semantic structures) การประเมินผลบน pixel space โดยตรงจึงนำไปสู่การคำนวณเกรเดียนต์และฟังก์ชันที่สูญเปล่า

แนวคิดสำคัญ

Two-stage decomposition: แยก perceptual compression (การกำจัดรายละเอียดที่มองไม่เห็น) ออกจาก semantic generative modeling (การเรียนรู้โครงสร้างและองค์ประกอบของภาพ)
Latent Diffusion Models (LDMs): เทรน denoising diffusion models ภายใน latent space ของ autoencoder ที่ถูกเทรนด้วย perceptual และ adversarial losses
Moderate spatial compression: แตกต่างจากโมเดลแบบ autoregressive ที่ต้องการการลดขนาดเชิงพื้นที่อย่างหนัก (เช่น $f = 16$ หรือ $f = 32$ ) โดย LDMs ยังคงรักษา spatial inductive bias ไว้ด้วย 2D convolutional UNet ทำให้สามารถใช้อัตราการลดขนาดระดับปานกลาง เช่น $f = 4$ หรือ $f = 8$ ซึ่งยังคงรักษารายละเอียดที่ประณีตไว้ได้
Universal cross-attention conditioning: ขยายขีดความสามารถของ UNet ให้รองรับอินพุตหลากหลายรูปแบบ (multimodal) เช่น คำอธิบายข้อความ, bounding boxes, semantic maps โดยใช้ domain-specific encoders แปลงค่าแล้วส่งผ่านเข้าไปยังเลเยอร์ระดับกลางของโครงข่ายผ่าน cross-attention

ระเบียบวิธี (Method)

Perceptual Image Compression: Encoder $E$ จะแมปภาพ $x \in R^{H \times W \times 3}$ ไปยัง latent representation ที่มีมิติต่ำกว่า $z = E (x) \in R^{h \times w \times c}$ โดยมีอัตราการลดขนาด (downsampling factor) $f = H / h = W / w = 2^{m}$ จากนั้น Decoder จะทำการสร้างภาพขึ้นมาใหม่ $\tilde{x} = D (z)$ แบบจำลองจะถูกควบคุมด้วย regularized โดยใช้ weak KL-divergence penalty เข้าหา $N (0, I)$ (KL-reg.) หรือ vector quantization (VQ-reg.) ที่รวมเข้าไปในตัว decoder
Generative Latent Modeling: โครงข่าย UNet แบบกำหนดเงื่อนไขตามเวลา $ϵ_{θ} (z_{t}, t)$ จะถูกเทรนบน latents โดยใช้วัตถุประสงค์ denoising ที่มีการปรับค่าน้ำหนักใหม่: $L_{L D M} := E_{E (x), ϵ \sim N (0, 1), t} [∥ ϵ - ϵ_{θ} (z_{t}, t) ∥_{2}^{2}]$
Cross-Attention Conditioning: สำหรับเงื่อนไขนำเข้า $y$ (เช่น ข้อความ, คลาส, เลย์เอาต์) จะมีการนำ domain encoder $τ_{θ} (y) \in R^{M \times d_{τ}}$ มาใช้งาน โดยฟีเจอร์ระดับกลางของ UNet $φ_{i} (z_{t}) \in R^{N \times d_{ϵ}^{i}}$ จะมีปฏิสัมพันธ์กับเงื่อนไขผ่าน cross-attention: $Attention (Q, K, V) = softmax (\frac{Q K ^{T}}{d}) \cdot V$ โดยที่ $Q = W_{Q}^{(i)} φ_{i} (z_{t})$ , $K = W_{K}^{(i)} τ_{θ} (y)$ และ $V = W_{V}^{(i)} τ_{θ} (y)$ สำหรับฟังก์ชันวัตถุประสงค์แบบมีเงื่อนไขคือ: $L_{L D M} := E_{E (x), y, ϵ \sim N (0, 1), t} [∥ ϵ - ϵ_{θ} (z_{t}, t, τ_{θ} (y)) ∥_{2}^{2}]$

ผลการทดลอง

ข้อแลกเปลี่ยนของการบีบอัดเชิงการรับรู้ (Perceptual compression trade-off): อัตราการลดขนาด $f = 4$ และ $f = 8$ มอบความสมดุลที่ดีที่สุดระหว่างความถูกต้องในการสร้างภาพใหม่ คุณภาพการสังเคราะห์ และ throughput บน ImageNet พบว่ามีส่วนต่างคะแนน FID ถึง 38 จุด ระหว่าง LDM-1 (pixel-based) กับ LDM-8 หลังจากเทรนไป 2 ล้านสเต็ปภายใต้งบประมาณการคำนวณที่เท่ากัน
Unconditional generation: บรรลุ FID ระดับ state-of-the-art ที่ $5.11$ บน CelebA-HQ ( $256 \times 256$ ), $4.98$ บน FFHQ, $4.02$ บน LSUN-Churches และ $2.95$ บน LSUN-Bedrooms
Class-conditional ImageNet: LDM-4 ที่ใช้ classifier-free guidance ทำค่า FID ได้ที่ $3.60$ และ Inception Score ที่ $247.67$ ซึ่งมีประสิทธิภาพเหนือกว่า ADM ( $4.59$ ) ทั้งที่ใช้จำนวนพารามิเตอร์น้อยกว่า (400M เทียบกับ 608M) และใช้การคำนวณในการเทรนน้อยกว่าอย่างมาก (271 เทียบกับ 962 V100 days)
Text-to-image: แบบจำลองขนาด 1.45B พารามิเตอร์ (LDM-KL-8-G) บรรลุ FID ที่ $12.63$ บน MS-COCO โดยใช้ DDIM 250 สเต็ป
Super-resolution และ inpainting: LDM-4 สร้างสถิติ state-of-the-art ใหม่สำหรับ inpainting ด้วย FID ที่ $1.50$ บน Places $512 \times 512$ (และ $9.39$ บนภาพที่ถูกมาร์กยากระดับ 40–50%) ในขณะที่ทำงานได้เร็วกว่า diffusion บน pixel-space มากกว่า $2.7 \times$

ข้อจำกัดและประเด็นที่ยังเปิดกว้าง

Sampling latency: แม้ว่าจะเร็วกว่าแบบจำลอง diffusion บน pixel-based อย่างมาก แต่การสุ่มตัวอย่างต่อเนื่องแบบหลายขั้นตอนยังคงช้ากว่าตัวกำเนิดแบบเที่ยวเดียว (single-pass) ของ GAN
Reconstruction bottleneck: แม้จะใช้อัตราการลดขนาดที่ต่ำ ( $f = 4$ ) การบีบอัดก็อาจสูญเสียรายละเอียดพิกเซลความถี่สูงที่มีความละเอียดอ่อนไป ทำให้ยังไม่เหมาะที่สุดสำหรับงานที่ต้องการความแม่นยำระดับพิกเซลสูงมาก
ผลกระทบทางสังคมและความปลอดภัย: อุปสรรคด้านการคำนวณที่ลดลงช่วยให้เครื่องมือสร้างสรรค์เข้าถึงได้ง่ายขึ้น แต่ก็ทำให้การสร้าง deepfakes และการนำไปใช้ในทางที่ผิดทำได้ง่ายขึ้นเช่นกัน อีกทั้งยังอาจสืบทอดอคติจากชุดข้อมูลขนาดใหญ่บนเว็บที่ไม่ได้ผ่านการคัดกรองอย่างเข้มงวด

คำศัพท์สำคัญ

Latent Diffusion Models (LDMs): แบบจำลอง diffusion ที่ถูกเทรนภายใน latent space ที่มีมิติต่ำกว่าแต่มีความเทียบเท่าเชิงการรับรู้ ซึ่งได้มาจาก autoencoder ที่ผ่านการเทรนแล้ว
Perceptual Image Compression: โมเดล autoencoding ในขั้นแรกที่ถูกเทรนด้วย perceptual และ patch-based adversarial losses เพื่อกำจัดสัญญาณรบกวนความถี่สูงที่ตามนุษย์มองไม่เห็นออกจากภาพ
Cross-Attention: กลไก attention ที่ผนวกเข้ากับเลเยอร์ระดับกลางของ UNet โดยที่ queries จะมาจาก representation ของภาพ ส่วน keys/values จะมาจาก representation ของเงื่อนไขนำเข้า
Downsampling Factor ($f$): อัตราส่วนการปรับขนาดเชิงพื้นที่ $f = H / h = W / w$ ระหว่างขนาดพิกเซลดั้งเดิมและขนาดกริดใน latent space ของ autoencoder
KL-reg. / VQ-reg.: รูปแบบการทำ regularization ของ latent space ที่นำมาทดสอบ: ได้แก่ บทลงโทษ Kullback-Leibler แบบอ่อนเพื่อเข้าหา standard normal หรือการใช้เลเยอร์ vector quantization codebook ที่ผสานรวมเข้ากับ decoder
Classifier-Free Guidance: เทคนิคการสุ่มตัวอย่างที่ประเมินผลการทำนายของโมเดลทั้งแบบมีเงื่อนไขและไม่มีเงื่อนไขร่วมกัน เพื่อนำทางคุณภาพการสร้างภาพโดยไม่จำเป็นต้องใช้โครงข่าย classifier แยกต่างหาก
Convolutional Sampling: การประเมินผลโมเดล convolutional UNet บน spatial grids ที่มีขนาดใหญ่กว่าตอนที่ใช้เทรน เพื่อสร้างภาพความละเอียดสูงหรือระดับเมกะพิกเซลในงาน เช่น semantic synthesis หรือ super-resolution

คำถามที่พบบ่อย

ทำไมจึงต้องเทรน diffusion models ใน latent space แทนที่จะเป็น pixel space โดยตรง?

Diffusion บน pixel-space สูญเสียทรัพยากรการคำนวณมหาศาลไปกับการคำนวณเกรเดียนต์และประเมินโครงข่ายซ้ำๆ บนรายละเอียดภาพความถี่สูงที่ตามองไม่เห็น การย้ายเข้าสู่ latent space ของ autoencoder ทำให้โมเดลแบบก่อกำเนิดมุ่งเน้นไปที่มโนทัศน์เชิงความหมายล้วนๆ ด้วย feature maps ที่มีขนาดเล็กลงมาก ช่วยเร่งความเร็วทั้งการเทรนและการทำ inference

การกำหนดเงื่อนไขด้วยข้อมูลที่ไม่ใช่ภาพ เช่น ข้อความ ทำงานอย่างไรใน LDMs?

เงื่อนไขที่ไม่ใช่ภาพจะถูกแปลงเป็นโทเค็นและประมวลผลด้วย domain-specific encoder (เช่น BERT-tokenized Transformer สำหรับข้อความ) ให้อยู่ในรูปตัวแทนระดับกลาง จากนั้นตัวแทนนี้จะถูกส่งเข้าไปยังโครงข่ายหลักของ UNet ผ่านทาง cross-attention layers

อัตราการลดขนาด $f$ ระดับใดที่ให้ประสิทธิภาพดีที่สุด?

อัตราการลดขนาดที่ $f = 4$ และ $f = 8$ มอบความสมดุลที่ดีที่สุด ค่าที่น้อยกว่า ( $f = 1, 2$ ) จะเหลือภาระ perceptual compression ให้กับแบบจำลอง diffusion มากเกินไปทำให้เทรนได้ช้า ในขณะที่ค่าที่มากกว่า ( $f = 32$ ) จะสูญเสียรายละเอียดเชิงพื้นที่มากเกินไปในขั้นตอนแรก ซึ่งจะไปจำกัดคุณภาพของการสังเคราะห์ภาพ

Latent Diffusion Models สามารถสร้างภาพที่มีความละเอียดสูงกว่าความละเอียดที่ใช้เทรนได้หรือไม่?

ได้ สำหรับงานที่มีเงื่อนไขเชิงพื้นที่ (เช่น semantic synthesis, inpainting และ super-resolution) คุณสมบัติความเป็น convolutional ของ UNet จะช่วยให้สามารถทำ convolutional sampling บน latent grids ที่ใหญ่ขึ้นได้ ทำให้สามารถเรนเดอร์ภาพที่สอดคล้องกันที่ขนาด $51 2^{2}$ หรือระดับเมกะพิกเซลจากแบบจำลองที่เทรนด้วยขนาด $25 6^{2}$ ได้

คำอธิบายในหน้านี้เขียนโดย AI จากงานวิจัยและอาจมีข้อผิดพลาด โปรดอ่านต้นฉบับเพื่อดูรายละเอียด

อ่านพร้อมคำแปลและ AI