Generative Adversarial Networks

Ian J. Goodfellow; Jean Pouget-Abadie; Mehdi Mirza; Bing Xu; David Warde-Farley; Sherjil Ozair; Aaron Courville; Yoshua Bengio

Bài báo · arXiv 1406.2661

Generative Adversarial Networks (Mạng đối nghịch tạo sinh)

Generative Adversarial Networks

Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio

Xuất bản 2014-06-10stat.MLcs.LG arXiv PDF

Đọc với bản dịch và AI

Tóm tắt trong ba dòng

🎯 Các mô hình tạo sinh sâu từng gặp khó khăn với các phép tính xác suất khó giải, hàm phân vùng không chuẩn hóa và sự phụ thuộc vào chuỗi Markov.
🔧 Xây dựng mô hình tạo sinh dưới dạng trò chơi minimax hai người giữa bộ tạo sinh $G$ và bộ phân biệt $D$ , có thể huấn luyện qua backpropagation.
📈 Đạt được điểm tối ưu toàn cục nơi $p_{g} = p_{data}$ và đạt log-likelihood Parzen window Gauss là $225 \pm 2$ trên MNIST và $2057 \pm 26$ trên TFD.

Tóm tắt

Chúng tôi đề xuất một khuôn khổ mới để ước lượng các mô hình tạo sinh thông qua một quá trình đối nghịch, trong đó chúng tôi huấn luyện đồng thời hai mô hình: mô hình tạo sinh G nắm bắt phân phối dữ liệu, và mô hình phân biệt D ước lượng xác suất một mẫu đến từ dữ liệu huấn luyện thay vì từ G. Quy trình huấn luyện cho G là tối đa hóa xác suất D mắc sai lầm. Khuôn khổ này tương ứng với một trò chơi minimax hai người. Trong không gian của các hàm tùy ý G và D, tồn tại một nghiệm duy nhất, với G khôi phục phân phối dữ liệu huấn luyện và D bằng 1/2 ở mọi nơi. Trong trường hợp G và D được định nghĩa bởi các multilayer perceptron, toàn bộ hệ thống có thể được huấn luyện bằng lan truyền ngược (backpropagation). Không cần bất kỳ chuỗi Markov hay mạng suy diễn xấp xỉ mở rộng nào trong cả quá trình huấn luyện lẫn sinh mẫu. Các thực nghiệm chứng minh tiềm năng của khuôn khổ này thông qua đánh giá định tính và định lượng trên các mẫu được tạo ra.

Tóm tắt gốc (tiếng Anh)

We propose a new framework for estimating generative models via an adversarial process, in which we simultaneously train two models: a generative model G that captures the data distribution, and a discriminative model D that estimates the probability that a sample came from the training data rather than G. The training procedure for G is to maximize the probability of D making a mistake. This framework corresponds to a minimax two-player game. In the space of arbitrary functions G and D, a unique solution exists, with G recovering the training data distribution and D equal to 1/2 everywhere. In the case where G and D are defined by multilayer perceptrons, the entire system can be trained with backpropagation. There is no need for any Markov chains or unrolled approximate inference networks during either training or generation of samples. Experiments demonstrate the potential of the framework through qualitative and quantitative evaluation of the generated samples.

Hướng dẫn đọc

Vấn đề và động lực

Học sâu đã đạt được thành công vang dội trong các tác vụ phân biệt nhờ tận dụng backpropagation, dropout và các đơn vị tuyến tính từng đoạn (piecewise linear units). Ngược lại, các mô hình tạo sinh sâu có ít tác động hơn nhiều do những điểm nghẽn tính toán nghiêm trọng: hàm phân vùng khó giải (intractable partition functions), suy diễn xấp xỉ phức tạp, và sự cần thiết của các phương pháp Markov Chain Monte Carlo (MCMC) trong quá trình huấn luyện và tạo mẫu. Các thuật toán MCMC thường xuyên gặp phải hiện tượng trộn chậm (slow mixing) giữa các mode. Các tác giả đặt mục tiêu thiết kế một khuôn khổ tạo sinh loại bỏ hoàn toàn nhu cầu về chuỗi Markov hoặc các mạng suy diễn xấp xỉ trong cả quá trình huấn luyện lẫn tạo mẫu.

Các ý tưởng cốt lõi

Khuôn khổ đối nghịch (Adversarial Framework): Định hình mô hình tạo sinh như một trò chơi minimax giữa hai multilayer perceptron: bộ tạo sinh $G$ (tương tự như kẻ làm tiền giả) và bộ phân biệt $D$ (tương tự như cảnh sát).
Lấy mẫu qua lan truyền xuôi (Forward Propagation): Bộ tạo sinh $G (z; θ_{g})$ trực tiếp biến đổi nhiễu ngẫu nhiên $z \sim p_{z}$ thành các mẫu dữ liệu tổng hợp bằng cách sử dụng các phép tính truyền thẳng (feedforward) tiêu chuẩn.
Dòng gradient trực tiếp: Bộ tạo sinh chỉ được cập nhật thông qua các gradient lan truyền ngược qua bộ phân biệt, thay vì khớp trực tiếp với từng mẫu huấn luyện riêng lẻ.
Mối liên hệ lý thuyết với độ phân kỳ (Divergences): Trong giới hạn phi tham số nơi $G$ và $D$ có dung lượng vô hạn, việc tối ưu hóa mục tiêu minimax sẽ tối thiểu hóa độ phân kỳ Jensen–Shannon giữa phân phối dữ liệu thực $p_{data}$ và phân phối của mô hình $p_{g}$ .

Phương pháp (kèm các phương trình chính)

Hệ thống bao gồm bộ tạo sinh $G (z; θ_{g})$ ánh xạ tiên nghiệm tiềm ẩn (latent prior) $p_{z} (z)$ sang không gian dữ liệu, và bộ phân biệt $D (x; θ_{d})$ dự đoán xác suất $x$ bắt nguồn từ $p_{data}$ thay vì $p_{g}$ .

Hàm giá trị minimax là: $G min D max V (D, G) = E_{x \sim p_{data} (x)} [lo g D (x)] + E_{z \sim p_{z} (z)} [lo g (1 - D (G (z)))]$

Với bất kỳ bộ tạo sinh $G$ cố định nào, bộ phân biệt tối ưu được rút ra bằng giải tích như sau: $D_{G}^{*} (x) = \frac{p _{data} ( x )}{p _{data} ( x ) + p _{g} ( x )}$

Thay $D_{G}^{*}$ vào $V (D, G)$ ta thu được tiêu chí huấn luyện ảo $C (G) = max_{D} V (G, D)$ , rút gọn thành: $C (G) = - lo g (4) + 2 \cdot J S D (p_{data} ∥ p_{g})$ Cực tiểu toàn cục đạt được duy nhất khi $p_{g} = p_{data}$ , mang lại $C (G) = - lo g 4$ và $D^{*} (x) = \frac{1}{2}$ ở mọi nơi.

Thuật toán huấn luyện:

Tối ưu hóa luân phiên: huấn luyện $D$ trong $k$ bước ( $k = 1$ được dùng trong thực nghiệm) bằng cách dùng gradient ascent trên các minibatch kích thước $m$ : $\nabla_{θ_{d}} \frac{1}{m} i = 1 \sum m [lo g D (x^{(i)}) + lo g (1 - D (G (z^{(i)})))]$
Cập nhật $G$ bằng một bước gradient descent. Vì $lo g (1 - D (G (z)))$ có thể bị bão hòa trong giai đoạn đầu huấn luyện khi $D$ dễ dàng bác bỏ các mẫu kém chất lượng từ bộ tạo sinh, trên thực tế $G$ được cập nhật bằng cách tối đa hóa $lo g D (G (z))$ .

Kết quả (kèm các số liệu quan trọng nhất)

Các tác giả đã đánh giá các mạng đối nghịch trên MNIST, Toronto Face Database (TFD), và CIFAR-10. Vì GANs không cung cấp dạng giải tích của likelihood, hiệu năng được đánh giá định lượng bằng cách khớp một Parzen window Gauss vào các mẫu được sinh ra và tính toán log-likelihood trên tập kiểm tra:

MNIST: Mạng đối nghịch đạt log-likelihood trung bình là $225 \pm 2$ , vượt trội hơn Deep Belief Networks ( $138 \pm 2$ ), Stacked Contractive Autoencoders ( $121 \pm 1.6$ ), và Deep Generative Stochastic Networks ( $214 \pm 1.1$ ).
TFD: Mạng đối nghịch đạt $2057 \pm 26$ , cạnh tranh với Stacked CAEs ( $2110 \pm 50$ ) và vượt qua DBNs ( $1909 \pm 66$ ) cùng Deep GSNs ( $1890 \pm 29$ ).
Khả năng tạo mẫu định tính: Đánh giá trực quan các mẫu ngẫu nhiên xác nhận chất lượng cao mà không bị học vẹt (được kiểm chứng bằng cách hiển thị các điểm dữ liệu láng giềng gần nhất trong tập huấn luyện) và thể hiện sự nội suy mượt mà trong không gian tiềm ẩn $z$ .

Hạn chế và các câu hỏi mở

Không có hàm mật độ tường minh: Mô hình lấy mẫu $p_{g} (x)$ một cách ngầm định, khiến việc đánh giá mật độ chính xác là bất khả thi và đòi hỏi các phép đánh giá theo kinh nghiệm như ước lượng Parzen window.
Sụp đổ mode (Mode Collapse / "The Helvetica Scenario"): Nếu $G$ được huấn luyện quá mức mà không có đủ các bước cập nhật của bộ phân biệt, $G$ có thể ánh xạ nhiều giá trị $z$ khác nhau về cùng các đầu ra $x$ giống hệt nhau, không bao quát được tính đa dạng của $p_{data}$ .
Bất ổn định khi huấn luyện: $D$ và $G$ phải duy trì sự cân bằng cẩn thận trong suốt quá trình huấn luyện để tránh động lực suy biến hoặc hiện tượng triệt tiêu gradient.

Thuật ngữ chính

Generative Adversarial Nets: Một khuôn khổ để huấn luyện các mô hình tạo sinh, trong đó mạng tạo sinh và mạng phân biệt cạnh tranh nhau trong một trò chơi minimax hai người.
Generator ($G$): Một mạng nơ-ron khả vi ánh xạ nhiễu tiên nghiệm tiềm ẩn $z$ vào không gian dữ liệu để xấp xỉ phân phối dữ liệu thực $p_{data}$ .
Discriminator ($D$): Một mạng nơ-ron phân loại được huấn luyện để ước tính xác suất một mẫu đầu vào đến từ tập dữ liệu thực thay vì từ bộ tạo sinh.
Jensen–Shannon Divergence (JSD): Thước đo khoảng cách đối xứng, bị chặn giữa hai phân phối xác suất; mục tiêu minimax của GAN đạt cực tiểu khi JSD giữa $p_{data}$ và $p_{g}$ bằng 0.
Helvetica Scenario: Dạng lỗi (nay thường được gọi là mode collapse hay sụp đổ mode) trong đó bộ tạo sinh ánh xạ nhiều vector nhiễu tiềm ẩn $z$ khác nhau về chính xác cùng một điểm dữ liệu $x$ do thiếu sự đa dạng.
Gaussian Parzen Window: Phương pháp ước lượng mật độ hạt nhân phi tham số được các tác giả sử dụng để xấp xỉ log-likelihood trên tập kiểm tra từ các mẫu của bộ tạo sinh.
Non-saturating game: Mục tiêu thay thế thực tế cho bộ tạo sinh là tối đa hóa $lo g D (G (z))$ thay vì tối thiểu hóa $lo g (1 - D (G (z)))$ nhằm ngăn hiện tượng triệt tiêu gradient ở giai đoạn đầu huấn luyện.

Câu hỏi thường gặp

Tại sao lại thay thế hàm mất mát minimax gốc $\log(1 - D(G(\bm{z})))$ cho bộ tạo sinh?

Ở giai đoạn đầu huấn luyện, khi bộ tạo sinh tạo ra các mẫu kém chất lượng, bộ phân biệt dễ dàng phân loại chúng là giả với độ tin cậy cao. Điều này khiến $lo g (1 - D (G (z)))$ bị bão hòa, tạo ra các gradient rất nhỏ. Việc tối đa hóa $lo g D (G (z))$ cung cấp các gradient mạnh hơn nhiều trong giai đoạn đầu trong khi vẫn giữ nguyên điểm cố định tối ưu.

Giá trị tối ưu lý thuyết của trò chơi là gì?

Khi $G$ đạt mức tối ưu toàn cục ( $p_{g} = p_{data}$ ), bộ phân biệt tối ưu dự đoán $D^{*} (x) = \frac{1}{2}$ ở mọi nơi, và hàm giá trị đạt $- lo g 4$ .

Tại sao GANs lại có ưu thế so với các mô hình tạo sinh đương thời như RBMs hay GSNs?

Chúng không yêu cầu chuỗi Markov để lấy mẫu, không cần các xấp xỉ hàm phân vùng phức tạp, tránh các bước suy diễn tường minh khi huấn luyện, và có thể được huấn luyện hoàn toàn bằng backpropagation với các hàm kích hoạt hiện đại như ReLUs và maxout.

Thiết lập siêu tham số cho số bước của bộ phân biệt $k$ trong bài báo là bao nhiêu?

Các tác giả đã sử dụng $k = 1$ bước cập nhật bộ phân biệt cho mỗi bước cập nhật bộ tạo sinh trong các thực nghiệm của họ vì đây là lựa chọn ít tốn kém chi phí tính toán nhất.

Phần giải thích trên trang này do AI viết dựa trên bài báo và có thể có sai sót. Hãy đọc bài báo gốc để biết chi tiết.

Đọc với bản dịch và AI