Generative Adversarial Networks

Ian J. Goodfellow; Jean Pouget-Abadie; Mehdi Mirza; Bing Xu; David Warde-Farley; Sherjil Ozair; Aaron Courville; Yoshua Bengio

Generative Adversarial Networks

Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio

เผยแพร่ 2014-06-10stat.MLcs.LG arXiv PDF

อ่านพร้อมคำแปลและ AI

สรุปสามบรรทัด

🎯 โมเดล deep generative แบบดั้งเดิมเผชิญปัญหาการคำนวณความน่าจะเป็นที่หาคำตอบโดยตรงไม่ได้ (intractable), ฟังก์ชันพาร์ทิชันที่ไม่ได้ปรับมาตรฐาน, และการพึ่งพา Markov chains
🔧 กำหนดนิยาม generative modeling ในรูปแบบเกมมินิแมกซ์สองผู้เล่นระหว่างตัวกำเนิด $G$ และตัวแยกแยะ $D$ ซึ่งฝึกฝนได้ผ่าน backpropagation
📈 บรรลุจุดเหมาะสมที่สุดระดับสากลที่ $p_{g} = p_{data}$ และได้ค่า Gaussian Parzen window log-likelihood อยู่ที่ $225 \pm 2$ บน MNIST และ $2057 \pm 26$ บน TFD

บทคัดย่อ

เราขอนำเสนอเฟรมเวิร์กใหม่สำหรับการประมาณ generative models ผ่านกระบวนการแข่งขัน (adversarial process) ซึ่งเราจะฝึกโมเดลสองตัวไปพร้อมกัน ได้แก่ generative model G ที่เรียนรู้การแจกแจงของข้อมูล และ discriminative model D ที่ประมาณความน่าจะเป็นที่ตัวอย่างข้อมูลจะมาจากข้อมูลฝึกอบรมแทนที่จะมาจาก G กระบวนการฝึกสำหรับ G คือการเพิ่มความน่าจะเป็นที่ D จะตัดสินใจผิดพลาดให้มากที่สุด เฟรมเวิร์กนี้สอดคล้องกับเกมมินิแมกซ์แบบผู้เล่นสองคน ในปริภูมิของฟังก์ชัน G และ D ทั่วไป จะมีคำตอบที่เหมาะสมที่สุดเพียงหนึ่งเดียว โดยที่ G สามารถจำลองการแจกแจงของข้อมูลฝึกอบรมได้อย่างสมบูรณ์ และ D มีค่าเท่ากับ 1/2 ในทุกตำแหน่ง ในกรณีที่ G และ D ถูกนิยามด้วย multilayer perceptrons ระบบทั้งหมดจะสามารถฝึกได้ด้วย backpropagation โดยไม่จำเป็นต้องใช้ Markov chains หรือ unrolled approximate inference networks ทั้งในระหว่างการฝึกหรือการสร้างตัวอย่างข้อมูล การทดลองแสดงให้เห็นถึงศักยภาพของเฟรมเวิร์กนี้ผ่านการประเมินเชิงคุณภาพและเชิงปริมาณของตัวอย่างที่สร้างขึ้น

บทคัดย่อต้นฉบับ (ภาษาอังกฤษ)

We propose a new framework for estimating generative models via an adversarial process, in which we simultaneously train two models: a generative model G that captures the data distribution, and a discriminative model D that estimates the probability that a sample came from the training data rather than G. The training procedure for G is to maximize the probability of D making a mistake. This framework corresponds to a minimax two-player game. In the space of arbitrary functions G and D, a unique solution exists, with G recovering the training data distribution and D equal to 1/2 everywhere. In the case where G and D are defined by multilayer perceptrons, the entire system can be trained with backpropagation. There is no need for any Markov chains or unrolled approximate inference networks during either training or generation of samples. Experiments demonstrate the potential of the framework through qualitative and quantitative evaluation of the generated samples.

คู่มือการอ่าน

ปัญหาและแรงจูงใจ

การเรียนรู้เชิงลึก (Deep learning) ประสบความสำเร็จอย่างโดดเด่นในงานด้านการจำแนกประเภท (discriminative tasks) โดยอาศัยประโยชน์จาก backpropagation, dropout, และ piecewise linear units ในทางกลับกัน โมเดล deep generative กลับมีผลกระทบต่อวงการน้อยกว่ามากเนื่องจากคอขวดด้านการคำนวณที่รุนแรง ไม่ว่าจะเป็นฟังก์ชันพาร์ทิชันที่ไม่สามารถคำนวณได้โดยตรง, การประมาณการอนุมาน (approximate inference) ที่ทำได้ยาก, และความจำเป็นที่ต้องพึ่งพาวิธี Markov Chain Monte Carlo (MCMC) ทั้งในระหว่างการฝึกและการสร้างตัวอย่าง โดยอัลกอริทึม MCMC มักประสบปัญหาการถ่ายโอนระหว่างโหมด (mixing between modes) ที่เชื่องช้า ผู้เขียนจึงมุ่งหวังที่จะออกแบบเฟรมเวิร์กเชิงกำเนิดที่ตัดความจำเป็นในการใช้ Markov chains หรือโครงข่ายประมาณการอนุมานออกไปอย่างสิ้นเชิง ทั้งในการฝึกฝนและการสร้างข้อมูลตัวอย่าง

แนวคิดหลัก

Adversarial Framework: วางกรอบ generative modeling ให้เป็นเกมมินิแมกซ์ระหว่าง multilayer perceptrons สองตัว ได้แก่ ตัวกำเนิด $G$ (เปรียบเสมือนผู้ปลอมแปลงธนบัตร) และตัวแยกแยะ $D$ (เปรียบเสมือนตำรวจ)
Sampling via Forward Propagation: ตัวกำเนิด $G (z; θ_{g})$ แปลงสัญญาณรบกวนแบบสุ่ม $z \sim p_{z}$ ให้กลายเป็นตัวอย่างข้อมูลสังเคราะห์ได้โดยตรงผ่านการคำนวณแบบ feedforward มาตรฐาน
Direct Gradient Flow: ตัวกำเนิดได้รับการอัปเดตผ่านเกรเดียนต์ที่แพร่ย้อนกลับ (backpropagated) ผ่านตัวแยกแยะเท่านั้น แทนที่จะเป็นการปรับให้เข้ากับตัวอย่างข้อมูลฝึกอบรมแต่ละตัวโดยตรง
Theoretical Connection to Divergences: ในขอบเขตแบบนอนพารามิเมตริกที่ $G$ และ $D$ มีความจุฟังก์ชันไม่จำกัด การปรับค่ามินิแมกซ์ให้เหมาะสมที่สุดจะเทียบเท่ากับการลด Jensen–Shannon divergence ระหว่างการแจกแจงของข้อมูลจริง $p_{data}$ และการแจกแจงของโมเดล $p_{g}$

ระเบียบวิธี (พร้อมสมการสำคัญ)

ระบบประกอบด้วยตัวกำเนิด $G (z; θ_{g})$ ซึ่งทำหน้าที่แปลง latent prior $p_{z} (z)$ ไปยังปริภูมิของข้อมูล และตัวแยกแยะ $D (x; θ_{d})$ ซึ่งทำนายความน่าจะเป็นที่ $x$ จะมาจาก $p_{data}$ มากกว่ามาจาก $p_{g}$

ฟังก์ชันค่ามินิแมกซ์ (minimax value function) คือ: $G min D max V (D, G) = E_{x \sim p_{data} (x)} [lo g D (x)] + E_{z \sim p_{z} (z)} [lo g (1 - D (G (z)))]$

สำหรับตัวกำเนิด $G$ ใดๆ ที่คงที่ ตัวแยกแยะที่เหมาะสมที่สุดสามารถหาได้จากการวิเคราะห์ทางคณิตศาสตร์คือ: $D_{G}^{*} (x) = \frac{p _{data} ( x )}{p _{data} ( x ) + p _{g} ( x )}$

เมื่อแทนค่า $D_{G}^{*}$ กลับลงใน $V (D, G)$ จะได้เกณฑ์การฝึกเสมือน (virtual training criterion) $C (G) = max_{D} V (G, D)$ ซึ่งลดทอนลงเหลือ: $C (G) = - lo g (4) + 2 \cdot J S D (p_{data} ∥ p_{g})$ ค่าต่ำสุดระดับสากลจะเกิดขึ้นเพียงกรณีเดียวเมื่อ $p_{g} = p_{data}$ ซึ่งจะให้ผลลัพธ์เป็น $C (G) = - lo g 4$ และทำให้ $D^{*} (x) = \frac{1}{2}$ ในทุกตำแหน่ง

อัลกอริทึมการฝึก (Training Algorithm):

การเพิ่มประสิทธิภาพแบบสลับขั้นตอน: ฝึก $D$ เป็นจำนวน $k$ สเต็ป (ในการทดลองใช้ $k = 1$ ) โดยใช้ gradient ascent บนมินิแบตช์ขนาด $m$ : $\nabla_{θ_{d}} \frac{1}{m} i = 1 \sum m [lo g D (x^{(i)}) + lo g (1 - D (G (z^{(i)})))]$
อัปเดต $G$ ด้วย gradient descent หนึ่งสเต็ป เนื่องจากพจน์ $lo g (1 - D (G (z)))$ อาจเกิดการอิ่มตัว (saturate) ในช่วงแรกของการฝึกเมื่อ $D$ สามารถปฏิเสธตัวอย่างคุณภาพต่ำจากตัวกำเนิดได้อย่างง่ายดาย ในทางปฏิบัติจึงอัปเดต $G$ โดยการเพิ่มค่า $lo g D (G (z))$ ให้สูงสุดแทน

ผลลัพธ์ (พร้อมตัวเลขที่สำคัญที่สุด)

คณะผู้วิจัยได้ประเมิน adversarial nets บน MNIST, Toronto Face Database (TFD) และ CIFAR-10 เนื่องจาก GANs ไม่มี closed-form likelihood ประสิทธิภาพจึงถูกประเมินเชิงปริมาณโดยการฟิต Gaussian Parzen window เข้ากับตัวอย่างที่สร้างขึ้น แล้วคำนวณค่า log-likelihood บนชุดข้อมูลทดสอบ:

MNIST: Adversarial nets ทำค่าเฉลี่ย log-likelihood ได้ที่ $225 \pm 2$ ซึ่งเอาชนะ Deep Belief Networks ( $138 \pm 2$ ), Stacked Contractive Autoencoders ( $121 \pm 1.6$ ) และ Deep Generative Stochastic Networks ( $214 \pm 1.1$ )
TFD: Adversarial nets ทำได้ $2057 \pm 26$ ซึ่งใกล้เคียงกับ Stacked CAEs ( $2110 \pm 50$ ) และเหนือกว่า DBNs ( $1909 \pm 66$ ) รวมทั้ง Deep GSNs ( $1890 \pm 29$ )
การสร้างภาพเชิงคุณภาพ: การตรวจสอบตัวอย่างแบบสุ่มด้วยสายตายืนยันถึงคุณภาพที่สูงโดยไม่มีการจดจำข้อมูลเดิม (ตรวจสอบโดยการแสดงตัวอย่างข้อมูลฝึกที่ใกล้เคียงที่สุด) และแสดงให้เห็นถึงการประมาณค่าในช่วง (interpolation) ที่ราบรื่นในปริภูมิแฝง $z$

ข้อจำกัดและประเด็นที่ยังเปิดกว้าง

ไม่มีฟังก์ชันความหนาแน่นที่ชัดเจน (No Explicit Density Function): โมเดลสร้างตัวอย่างจาก $p_{g} (x)$ โดยนัย ทำให้การประเมินความหนาแน่นที่แน่นอนทำไม่ได้โดยตรง และต้องอาศัยการประเมินแบบฮิวริสติก เช่น การประมาณด้วย Parzen window
Mode Collapse ("The Helvetica Scenario"): หาก $G$ ได้รับการฝึกมากเกินไปโดยไม่มีการอัปเดตตัวแยกแยะอย่างเพียงพอ $G$ อาจยุบรวมค่า $z$ ที่แตกต่างกันจำนวนมากให้กลายเป็นผลลัพธ์ $x$ เดียวกัน ส่งผลให้ล้มเหลวในการจับความหลากหลายทั้งหมดของ $p_{data}$
ความไม่เสถียรในการฝึก: $D$ และ $G$ ต้องรักษาสมดุลอย่างระมัดระวังตลอดการฝึก เพื่อป้องกันพฤติกรรมเสื่อมถอย (degenerate dynamics) หรือปัญหาเกรเดียนต์หาย (gradient vanishing)

คำศัพท์สำคัญ

Generative Adversarial Nets: เฟรมเวิร์กสำหรับการฝึกโมเดลเชิงกำเนิด โดยมีโครงข่ายตัวกำเนิดและโครงข่ายตัวแยกแยะแข่งขันกันในเกมมินิแมกซ์แบบผู้เล่นสองคน
Generator ($G$): โครงข่ายประสาทเทียมที่หาอนุพันธ์ได้ ทำหน้าที่แปลงสัญญาณรบกวนก่อนหน้าในปริภูมิแฝง $z$ เข้าสู่ปริภูมิของข้อมูลเพื่อประมาณการแจกแจงของข้อมูลจริง $p_{data}$
Discriminator ($D$): โครงข่ายประสาทเทียมสำหรับการจำแนกประเภท ได้รับการฝึกเพื่อประมาณความน่าจะเป็นที่ตัวอย่างข้อมูลนำเข้าจะมาจากชุดข้อมูลจริงมากกว่ามาจากตัวกำเนิด
Jensen–Shannon Divergence (JSD): มาตรวัดระยะห่างแบบสมมาตรและมีขอบเขตจำกัดระหว่างการแจกแจงความน่าจะเป็นสองชุด โดยเป้าหมายมินิแมกซ์ของ GAN จะมีค่าต่ำสุดเมื่อ JSD ระหว่าง $p_{data}$ และ $p_{g}$ มีค่าเป็นศูนย์
Helvetica Scenario: รูปแบบความล้มเหลว (ปัจจุบันรู้จักกันทั่วไปในชื่อ mode collapse) ที่ตัวกำเนิดแปลงเวกเตอร์สัญญาณรบกวนแฝง $z$ ที่แตกต่างกันจำนวนมากไปยังจุดข้อมูล $x$ เดียวกันอย่างแม่นยำเนื่องจากขาดความหลากหลาย
Gaussian Parzen Window: วิธีประมาณความหนาแน่นของเคอร์เนลแบบนอนพารามิเมตริก ซึ่งผู้เขียนใช้เพื่อประมาณค่า log-likelihood ของชุดข้อมูลทดสอบจากตัวอย่างที่สร้างโดยตัวกำเนิด
Non-saturating game: ฟังก์ชันเป้าหมายทางเลือกเชิงปฏิบัติของตัวกำเนิดที่เปลี่ยนไปเพิ่มค่า $lo g D (G (z))$ ให้สูงสุด แทนการลดค่า $lo g (1 - D (G (z)))$ เพื่อป้องกันปัญหาเกรเดียนต์หายในช่วงแรกของการฝึก

คำถามที่พบบ่อย

เหตุใดจึงต้องเปลี่ยนฟังก์ชันการสูญเสียมินิแมกซ์ดั้งเดิม $\log(1 - D(G(\bm{z})))$ ของตัวกำเนิด?

ในช่วงแรกของการฝึก เมื่อตัวกำเนิดยังสร้างตัวอย่างได้ไม่ดี ตัวแยกแยะจะสามารถจำแนกตัวอย่างเหล่านั้นว่าเป็นของปลอมได้อย่างง่ายดายและมั่นใจสูง ส่งผลให้ $lo g (1 - D (G (z)))$ เกิดการอิ่มตัวและให้เกรเดียนต์ที่น้อยมาก การเปลี่ยนไปเพิ่มค่า $lo g D (G (z))$ สูงสุดจะช่วยให้ได้เกรเดียนต์ที่แรงกว่ามากในช่วงแรก ในขณะที่ยังคงรักษาจุดตรึง (fixed point) เดียวกันไว้ได้

ค่าที่เหมาะสมที่สุดในทางทฤษฎีของเกมนี้คือเท่าใด?

เมื่อ $G$ บรรลุจุดเหมาะสมที่สุดระดับสากล ( $p_{g} = p_{data}$ ) ตัวแยกแยะที่เหมาะสมที่สุดจะทำนายค่าเป็น $D^{*} (x) = \frac{1}{2}$ ในทุกตำแหน่ง และฟังก์ชันค่า (value function) จะมีค่าเท่ากับ $- lo g 4$

เหตุใด GANs จึงได้เปรียบกว่าโมเดลเชิงกำเนิดร่วมสมัยอย่าง RBMs หรือ GSNs?

เนื่องจาก GANs ไม่จำเป็นต้องใช้ Markov chains สำหรับการสุ่มตัวอย่าง ไม่ต้องพึ่งพาการประมาณฟังก์ชันพาร์ทิชันที่คำนวณไม่ได้ เลี่ยงขั้นตอนการอนุมานที่ซับซ้อนในระหว่างการฝึก และสามารถฝึกได้โดยใช้เพียง backpropagation ร่วมกับฟังก์ชันกระตุ้นสมัยใหม่อย่าง ReLUs และ maxout

ไฮเปอร์พารามิเตอร์ของจำนวนสเต็ปตัวแยกแยะ $k$ ในบทความถูกตั้งค่าไว้อย่างไร?

ผู้เขียนใช้การอัปเดตตัวแยกแยะ $k = 1$ ครั้งต่อการอัปเดตตัวกำเนิดหนึ่งครั้งในการทดลอง เนื่องจากเป็นตัวเลือกที่ใช้ต้นทุนการคำนวณน้อยที่สุด

คำอธิบายในหน้านี้เขียนโดย AI จากงานวิจัยและอาจมีข้อผิดพลาด โปรดอ่านต้นฉบับเพื่อดูรายละเอียด

อ่านพร้อมคำแปลและ AI