High-Resolution Image Synthesis with Latent Diffusion Models

Robin Rombach; Andreas Blattmann; Dominik Lorenz; Patrick Esser; Björn Ommer

Bài báo · arXiv 2112.10752

Tổng hợp hình ảnh độ phân giải cao bằng Latent Diffusion Models

High-Resolution Image Synthesis with Latent Diffusion Models

Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer

Xuất bản 2021-12-20cs.CV arXiv PDF

Đọc với bản dịch và AI

Tóm tắt trong ba dòng

🎯 Các mô hình khuếch tán trong không gian điểm ảnh tiêu chuẩn lãng phí lượng tính toán và bộ nhớ khổng lồ để mô hình hóa các chi tiết tần số cao không thể cảm nhận qua các bước khử nhiễu lặp đi lặp lại.
🔧 Tách biệt quá trình nén cảm nhận khỏi mô hình hóa sinh hạt bằng cách huấn luyện các mô hình khuếch tán bên trong không gian ẩn có số chiều thấp hơn của autoencoder tiền huấn luyện sử dụng điều kiện cross-attention.
📈 Đạt FID vượt trội 5.11 trên CelebA-HQ, 3.60 FID trên ImageNet 256x256 có điều kiện lớp, và giảm chi phí tính toán huấn luyện lẫn suy luận nhiều lần so với các mô hình khuếch tán không gian điểm ảnh.

Tóm tắt

Bằng cách phân rã quá trình tạo ảnh thành một chuỗi ứng dụng của các denoising autoencoder, mô hình khuếch tán (diffusion models - DM) đạt được kết quả tổng hợp tiên tiến nhất trên dữ liệu hình ảnh và nhiều lĩnh vực khác. Ngoài ra, cấu trúc của chúng cho phép cơ chế định hướng để kiểm soát quá trình tạo ảnh mà không cần huấn luyện lại. Tuy nhiên, do các mô hình này thường hoạt động trực tiếp trong không gian điểm ảnh, việc tối ưu hóa các DM mạnh mẽ thường tiêu tốn hàng trăm ngày GPU và quá trình suy luận rất đắt đỏ do phải đánh giá tuần hoàn. Để cho phép huấn luyện DM trên các tài nguyên tính toán hạn chế mà vẫn duy trì chất lượng cùng tính linh hoạt, chúng tôi áp dụng chúng trong không gian ẩn (latent space) của các autoencoder tiền huấn luyện mạnh mẽ. Ngược lại với các nghiên cứu trước đây, việc huấn luyện mô hình khuếch tán trên biểu diễn như vậy lần đầu tiên đạt được điểm cân bằng gần như tối ưu giữa việc giảm độ phức tạp và bảo toàn chi tiết, nâng cao đáng kể độ chân thực về mặt thị giác. Bằng cách đưa các lớp cross-attention vào kiến trúc mô hình, chúng tôi biến mô hình khuếch tán thành các bộ tạo ảnh mạnh mẽ và linh hoạt cho các đầu vào điều kiện tổng quát như văn bản hoặc bounding box, đồng thời cho phép tổng hợp độ phân giải cao theo phương thức tích chập. Latent diffusion models (LDM) của chúng tôi đạt trạng thái tiên tiến mới cho tác vụ phục hồi ảnh (image inpainting) và hiệu năng rất cạnh tranh trên nhiều tác vụ khác nhau, bao gồm tạo ảnh không điều kiện, tổng hợp khung cảnh ngữ nghĩa và siêu phân giải, đồng thời giảm đáng kể yêu cầu tính toán so với các DM hoạt động trong không gian điểm ảnh. Mã nguồn có sẵn tại https://github.com/CompVis/latent-diffusion .

Tóm tắt gốc (tiếng Anh)

By decomposing the image formation process into a sequential application of denoising autoencoders, diffusion models (DMs) achieve state-of-the-art synthesis results on image data and beyond. Additionally, their formulation allows for a guiding mechanism to control the image generation process without retraining. However, since these models typically operate directly in pixel space, optimization of powerful DMs often consumes hundreds of GPU days and inference is expensive due to sequential evaluations. To enable DM training on limited computational resources while retaining their quality and flexibility, we apply them in the latent space of powerful pretrained autoencoders. In contrast to previous work, training diffusion models on such a representation allows for the first time to reach a near-optimal point between complexity reduction and detail preservation, greatly boosting visual fidelity. By introducing cross-attention layers into the model architecture, we turn diffusion models into powerful and flexible generators for general conditioning inputs such as text or bounding boxes and high-resolution synthesis becomes possible in a convolutional manner. Our latent diffusion models (LDMs) achieve a new state of the art for image inpainting and highly competitive performance on various tasks, including unconditional image generation, semantic scene synthesis, and super-resolution, while significantly reducing computational requirements compared to pixel-based DMs. Code is available at https://github.com/CompVis/latent-diffusion .

Hướng dẫn đọc

Vấn đề và động lực

Các mô hình xác suất khuếch tán (diffusion probabilistic models) tạo ra hình ảnh có độ chân thực cao và bao phủ phân phối tốt bằng cách đảo ngược quá trình thêm nhiễu xuôi thông qua một chuỗi các denoising autoencoder. Tuy nhiên, việc huấn luyện và đánh giá chúng trực tiếp trong không gian điểm ảnh RGB nhiều chiều đòi hỏi chi phí tính toán rất lớn. Quá trình tối ưu hóa thường mất hàng trăm ngày GPU (ví dụ: 150 đến 1000 ngày V100), và quá trình lấy mẫu tuần tự nhiều bước có thể mất nhiều ngày cho các đợt đánh giá tiêu chuẩn. Do việc mô hình hóa sinh hạt dựa trên hợp lý cực đại dành quá nhiều dung lượng cho các chi tiết tần số cao khó nhận thấy của hình ảnh trước khi học cấu trúc ngữ nghĩa, các đánh giá trực tiếp trong không gian điểm ảnh dẫn đến việc lãng phí các lượt tính toán gradient và đánh giá hàm số.

Ý tưởng cốt lõi

Phân rã hai giai đoạn (Two-stage decomposition): Tách biệt nén cảm nhận (loại bỏ các chi tiết không nhận biết được) khỏi mô hình hóa sinh hạt ngữ nghĩa (học cấu trúc và bố cục hình ảnh).
Latent Diffusion Models (LDMs): Huấn luyện các mô hình khuếch tán khử nhiễu bên trong không gian ẩn của một autoencoder đã được huấn luyện bằng hàm mất mát tri giác (perceptual loss) và đối kháng (adversarial loss).
Nén không gian vừa phải: Không giống như các mô hình tự hồi quy cần giảm kích thước không gian mạnh (ví dụ: $f = 16$ hoặc $f = 32$ ), LDM duy trì thiên kiến quy nạp không gian với một UNet tích chập 2D, cho phép các hệ số giảm mẫu vừa phải như $f = 4$ hoặc $f = 8$ để bảo toàn các chi tiết mịn.
Điều kiện hóa cross-attention phổ quát: Khái quát hóa UNet cho các đầu vào đa phương thức (mô tả văn bản, bounding box, bản đồ ngữ nghĩa) bằng cách sử dụng các bộ mã hóa đặc thù cho từng miền được ánh xạ vào các lớp mạng trung gian thông qua cross-attention.

Phương pháp

Nén hình ảnh tri giác (Perceptual Image Compression): Một bộ mã hóa $E$ ánh xạ một hình ảnh $x \in R^{H \times W \times 3}$ thành một biểu diễn ẩn có số chiều thấp hơn $z = E (x) \in R^{h \times w \times c}$ , trong đó hệ số giảm mẫu là $f = H / h = W / w = 2^{m}$ . Một bộ giải mã tái tạo lại $\tilde{x} = D (z)$ . Mô hình được điều chuẩn bằng phạt phân kỳ KL yếu hướng về $N (0, I)$ (KL-reg.) hoặc lượng tử hóa vector (VQ-reg.) được tích hợp vào bộ giải mã.
Mô hình hóa ẩn sinh hạt (Generative Latent Modeling): Một mạng UNet điều kiện theo thời gian $ϵ_{θ} (z_{t}, t)$ được huấn luyện trên các biến ẩn bằng mục tiêu khử nhiễu có trọng số gán lại: $L_{L D M} := E_{E (x), ϵ \sim N (0, 1), t} [∥ ϵ - ϵ_{θ} (z_{t}, t) ∥_{2}^{2}]$
Điều kiện hóa qua Cross-Attention: Đối với đầu vào điều kiện $y$ (ví dụ: văn bản, lớp, bố cục), một bộ mã hóa miền $τ_{θ} (y) \in R^{M \times d_{τ}}$ được đưa vào. Các đặc trưng UNet trung gian $φ_{i} (z_{t}) \in R^{N \times d_{ϵ}^{i}}$ tương tác với điều kiện thông qua cross-attention: $Attention (Q, K, V) = softmax (\frac{Q K ^{T}}{d}) \cdot V$ trong đó $Q = W_{Q}^{(i)} φ_{i} (z_{t})$ , $K = W_{K}^{(i)} τ_{θ} (y)$ , và $V = W_{V}^{(i)} τ_{θ} (y)$ . Hàm mục tiêu có điều kiện là: $L_{L D M} := E_{E (x), y, ϵ \sim N (0, 1), t} [∥ ϵ - ϵ_{θ} (z_{t}, t, τ_{θ} (y)) ∥_{2}^{2}]$

Kết quả

Đánh đổi trong nén tri giác: Hệ số giảm mẫu $f = 4$ và $f = 8$ mang lại sự cân bằng tốt nhất giữa độ chính xác tái tạo, chất lượng tổng hợp và thông lượng xử lý. Trên ImageNet, khoảng cách FID lên tới 38 điểm phân tách giữa LDM-1 (trên điểm ảnh) và LDM-8 sau 2 triệu bước huấn luyện dưới cùng một ngân sách tính toán.
Tạo ảnh không điều kiện: Đạt FID tiên tiến nhất là $5.11$ trên CelebA-HQ ( $256 \times 256$ ), $4.98$ trên FFHQ, $4.02$ trên LSUN-Churches, và $2.95$ trên LSUN-Bedrooms.
ImageNet có điều kiện lớp: LDM-4 kết hợp classifier-free guidance đạt FID $3.60$ và Inception Score $247.67$ , vượt trội hơn ADM ( $4.59$ ) trong khi cần ít tham số hơn (400M so với 608M) và chi phí huấn luyện tính toán ít hơn đáng kể (271 so với 962 ngày V100).
Văn bản thành hình ảnh (Text-to-image): Một mô hình 1.45 tỷ tham số (LDM-KL-8-G) đạt FID $12.63$ trên MS-COCO với 250 bước DDIM.
Siêu phân giải và inpainting: LDM-4 thiết lập kỷ lục FID inpainting mới là $1.50$ trên Places $512 \times 512$ (và $9.39$ trên các ảnh bị che 40–50%), đồng thời hoạt động ở mức thông lượng cao hơn $2.7 \times$ so với khuếch tán trong không gian điểm ảnh.

Hạn chế và các câu hỏi mở

Độ trễ lấy mẫu: Mặc dù nhanh hơn đáng kể so với các mô hình khuếch tán trên điểm ảnh, việc lấy mẫu tuần tự nhiều bước vẫn chậm hơn các bộ sinh GAN chạy trong một lượt.
Điểm nghẽn tái tạo: Ngay cả với tỷ lệ giảm mẫu thấp ( $f = 4$ ), việc nén vẫn có thể làm mất các chi tiết điểm ảnh tần số cao mức độ tinh tế, khiến nó chưa hoàn toàn tối ưu cho các tác vụ quan trọng từng điểm ảnh cực kỳ chính xác.
Tác động xã hội và an toàn: Rào cản tính toán thấp hơn giúp phổ cập hóa các công cụ sáng tạo nhưng cũng tạo điều kiện cho deepfake và việc lạm dụng, đồng thời có nguy cơ kế thừa các thiên kiến từ các tập dữ liệu huấn luyện quy mô web chưa được kiểm duyệt kỹ lưỡng.

Thuật ngữ chính

Latent Diffusion Models (LDMs): Các mô hình khuếch tán được huấn luyện bên trong một không gian ẩn có số chiều thấp hơn, tương đương về mặt tri giác, được cung cấp bởi một autoencoder đã huấn luyện.
Perceptual Image Compression: Mô hình autoencoding giai đoạn một được huấn luyện với các hàm mất mát tri giác và đối kháng theo patch nhằm loại bỏ nhiễu tần số cao không thể cảm nhận được khỏi hình ảnh.
Cross-Attention: Cơ chế chú ý được tích hợp vào các lớp trung gian của UNet, trong đó các truy vấn (queries) đến từ biểu diễn hình ảnh còn khóa (keys) và giá trị (values) đến từ các biểu diễn điều kiện.
Downsampling Factor ($f$): Tỷ lệ thu nhỏ không gian $f = H / h = W / w$ giữa kích thước điểm ảnh ban đầu và kích thước lưới ẩn của autoencoder.
KL-reg. / VQ-reg.: Các cơ chế điều chuẩn không gian ẩn được thử nghiệm: hình phạt Kullback-Leibler nhẹ hướng về phân phối chuẩn chuẩn tắc, hoặc một lớp sổ mã lượng tử hóa vector (vector quantization codebook) được tích hợp vào bộ giải mã.
Classifier-Free Guidance: Một kỹ thuật lấy mẫu đồng thời đánh giá các dự đoán mô hình có điều kiện và không điều kiện để định hướng chất lượng tạo ảnh mà không cần mạng phân loại riêng biệt.
Convolutional Sampling: Đánh giá mô hình UNet tích chập trên các lưới không gian lớn hơn kích thước thấy trong quá trình huấn luyện để tạo ra hình ảnh độ phân giải cao hoặc megapixel trong các tác vụ như tổng hợp ngữ nghĩa hoặc siêu phân giải.

Câu hỏi thường gặp

Tại sao lại huấn luyện mô hình khuếch tán trong không gian ẩn thay vì không gian điểm ảnh gốc?

Khuếch tán trong không gian điểm ảnh lãng phí lượng tính toán đáng kể để liên tục tính toán gradient và đánh giá mạng trên các chi tiết tần số cao không thể cảm nhận được. Bằng cách chuyển sang không gian ẩn của autoencoder, mô hình sinh hạt chỉ tập trung hoàn toàn vào các khái niệm ngữ nghĩa với các bản đồ đặc trưng nhỏ hơn nhiều, giúp tăng tốc cả quá trình huấn luyện lẫn suy luận.

Cách thức điều kiện hóa dựa trên dữ liệu phi hình ảnh như văn bản hoạt động thế nào trong LDM?

Các điều kiện phi hình ảnh được token hóa và xử lý bởi một bộ mã hóa đặc thù theo miền (chẳng hạn như Transformer được token hóa bởi BERT đối với văn bản) thành một biểu diễn trung gian. Biểu diễn này sau đó được đưa vào mạng xương sống UNet thông qua các lớp cross-attention.

Hệ số giảm mẫu $f$ nào mang lại hiệu năng tốt nhất?

Các hệ số giảm mẫu $f = 4$ và $f = 8$ mang lại sự cân bằng tốt nhất. Các hệ số nhỏ hơn ( $f = 1, 2$ ) giữ lại quá nhiều gánh nặng nén tri giác cho mô hình khuếch tán và huấn luyện chậm, trong khi các hệ số lớn hơn ( $f = 32$ ) lại làm mất quá nhiều chi tiết không gian ở giai đoạn một, giới hạn chất lượng tổng hợp ảnh.

Latent Diffusion Models có thể tạo ra hình ảnh lớn hơn độ phân giải huấn luyện của chúng không?

Có. Đối với các tác vụ có điều kiện không gian (như tổng hợp ngữ nghĩa, inpainting và siêu phân giải), bản chất tích chập của UNet cho phép lấy mẫu tích chập (convolutional sampling) trên các lưới ẩn lớn hơn, xuất ra các hình ảnh nhất quán ở kích thước $51 2^{2}$ hoặc megapixel từ các mô hình chỉ được huấn luyện ở mức $25 6^{2}$ .

Phần giải thích trên trang này do AI viết dựa trên bài báo và có thể có sai sót. Hãy đọc bài báo gốc để biết chi tiết.

Đọc với bản dịch và AI