Generative Adversarial Networks

Ian J. Goodfellow; Jean Pouget-Abadie; Mehdi Mirza; Bing Xu; David Warde-Farley; Sherjil Ozair; Aaron Courville; Yoshua Bengio

Generative Adversarial Networks

Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio

تاريخ النشر 2014-06-10stat.MLcs.LG arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 عانت النماذج التوليدية العميقة من العمليات الحسابية الاحتمالية المستعصية، ودوال التوزيع غير المعيارية، والاعتماد على سلاسل ماركوف.
🔧 صياغة النمذجة التوليدية كلعبة minimax ثنائية اللاعبين بين مولد $G$ ومميز $D$ ، قابلة للتدريب عبر backpropagation.
📈 الوصول إلى الأمثلية الشاملة حيث $p_{g} = p_{data}$ وتحقيق لوغاريتم أرجحية نافذة Parzen الغاوسية بمقدار $225 \pm 2$ على MNIST و $2057 \pm 26$ على TFD.

الملخص

نقترح إطار عمل جديد لتقدير النماذج التوليدية عبر عملية خصومية، حيث نقوم في آن واحد بتدريب نموذجين: نموذج توليدي G يلتقط توزيع البيانات، ونموذج تمييزي D يقدّر احتمالية أن تكون العينة قادمة من بيانات التدريب بدلاً من G. يتمثل إجراء تدريب G في زيادة احتمالية وقوع D في الخطأ. يتوافق إطار العمل هذا مع لعبة minimax ثنائية اللاعبين. في فضاء الدوال التعسفية لـ G وD، يوجد حل فريد، حيث يستعيد G توزيع بيانات التدريب ويكون D مساوياً لـ 1/2 في كل مكان. في الحالة التي يتم فيها تعريف G وD بواسطة perceptrons متعددة الطبقات، يمكن تدريب النظام بأكمله باستخدام backpropagation. ليست هناك حاجة لأي سلاسل ماركوف أو شبكات استدلال تقريبي مفكوكة أثناء التدريب أو أثناء توليد العينات. توضح التجارب إمكانات إطار العمل من خلال التقييم النوعي والكمي للعينات المُولّدة.

الملخص الأصلي (بالإنجليزية)

We propose a new framework for estimating generative models via an adversarial process, in which we simultaneously train two models: a generative model G that captures the data distribution, and a discriminative model D that estimates the probability that a sample came from the training data rather than G. The training procedure for G is to maximize the probability of D making a mistake. This framework corresponds to a minimax two-player game. In the space of arbitrary functions G and D, a unique solution exists, with G recovering the training data distribution and D equal to 1/2 everywhere. In the case where G and D are defined by multilayer perceptrons, the entire system can be trained with backpropagation. There is no need for any Markov chains or unrolled approximate inference networks during either training or generation of samples. Experiments demonstrate the potential of the framework through qualitative and quantitative evaluation of the generated samples.

دليل القراءة

المشكلة والدافع

حقّق التعلم العميق نجاحاً هائلاً في المهام التمييزية من خلال الاستفادة من backpropagation، وdropout، والوحدات الخطية المجزأة. في المقابل، كان للنماذج التوليدية العميقة تأثير أقل بكثير بسبب اختناقات حسابية شديدة: دوال التوزيع (partition functions) المستعصية، والاستدلال التقريبي الصعب، والحاجة إلى أساليب Markov Chain Monte Carlo (MCMC) أثناء التدريب وتوليد العينات. غالباً ما تعاني خوارزميات MCMC من بطء الخلط (slow mixing) بين الأنماط (modes). انطلق المؤلفون لتصميم إطار عمل توليدي يلغي الحاجة إلى سلاسل ماركوف أو شبكات الاستدلال التقريبي أثناء التدريب والتوليد على حد سواء.

الأفكار الرئيسية

الإطار الخصومي (Adversarial Framework): صياغة النمذجة التوليدية كلعبة minimax بين نموذجي perceptrons متعددي الطبقات: مولد $G$ (يشبه المزورين) ومميز $D$ (يشبه الشرطة).
أخذ العينات عبر الانتشار الأمامي: يقوم المولد $G (z; θ_{g})$ بتحويل الضوضاء العشوائية $z \sim p_{z}$ مباشرة إلى عينات بيانات اصطناعية باستخدام حسابات التمرير الأمامي القياسية.
تدفق التدرج المباشر: يتم تحديث المولد فقط عبر التدرجات المنتشرة عكسياً عبر المميز بدلاً من ملائمة أمثلة التدريب الفردية مباشرة.
الارتباط النظري بالتباعدات (Divergences): في الحد غير المعلمي (non-parametric) حيث يمتلك $G$ و $D$ سعة غير محدودة، يؤدي تحسين دالة هدف minimax إلى تقليل تباعد Jensen–Shannon بين توزيع البيانات الحقيقية $p_{data}$ وتوزيع النموذج $p_{g}$ .

الطريقة (مع المعادلات الرئيسية)

يتكون النظام من المولد $G (z; θ_{g})$ الذي يربط التوزيع المسبق الكامن $p_{z} (z)$ بفضاء البيانات، والمميز $D (x; θ_{d})$ الذي يتنبأ باحتمالية أن تكون $x$ صادرة من $p_{data}$ بدلاً من $p_{g}$ .

دالة قيمة minimax هي: $G min D max V (D, G) = E_{x \sim p_{data} (x)} [lo g D (x)] + E_{z \sim p_{z} (z)} [lo g (1 - D (G (z)))]$

لأي مولد ثابت $G$ ، يتم اشتقاق المميز الأمثل تحليلياً على النحو التالي: $D_{G}^{*} (x) = \frac{p _{data} ( x )}{p _{data} ( x ) + p _{g} ( x )}$

يؤدي تعويض $D_{G}^{*}$ في $V (D, G)$ إلى معيار التدريب الافتراضي $C (G) = max_{D} V (G, D)$ ، والذي يختزل إلى: $C (G) = - lo g (4) + 2 \cdot J S D (p_{data} ∥ p_{g})$ يتحقق الحد الأدنى الشامل بشكل فريد عندما يكون $p_{g} = p_{data}$ ، مما يعطي $C (G) = - lo g 4$ و $D^{*} (x) = \frac{1}{2}$ في كل مكان.

خوارزمية التدريب:

التحسين المتناوب: تدريب $D$ لعدد $k$ من الخطوات (تم استخدام $k = 1$ تجريبياً) باستخدام الصعود مع التدرج على دفعات صغيرة (minibatches) بحجم $m$ : $\nabla_{θ_{d}} \frac{1}{m} i = 1 \sum m [lo g D (x^{(i)}) + lo g (1 - D (G (z^{(i)})))]$
تحديث $G$ بخطوة واحدة من الانحدار التدريجي. نظراً لأن $lo g (1 - D (G (z)))$ يمكن أن يتشبع مبكراً أثناء التدريب عندما يرفض $D$ عينات المولد الضعيفة بسهولة، يتم تحديث $G$ عملياً عن طريق تعظيم $lo g D (G (z))$ بدلاً من ذلك.

النتائج (مع أهم الأرقام)

قيّم المؤلفون الشبكات الخصومية على MNIST، وقاعدة بيانات وجوه تورونتو (TFD)، وCIFAR-10. ونظراً لأن GANs لا توفر دالة أرجحية مغلقة، فقد تم تقييم الأداء كمياً عن طريق ملائمة نافذة Parzen الغاوسية مع العينات المولدة وحساب لوغاريتم الأرجحية لمجموعة الاختبار:

MNIST: حققت الشبكات الخصومية متوسط لوغاريتم أرجحية قدره $225 \pm 2$ ، متفوقة على Deep Belief Networks بقيمة ( $138 \pm 2$ )، وStacked Contractive Autoencoders بقيمة ( $121 \pm 1.6$ )، وDeep Generative Stochastic Networks بقيمة ( $214 \pm 1.1$ ).
TFD: حققت الشبكات الخصومية $2057 \pm 26$ ، منافسةً لـ Stacked CAEs التي حققت ( $2110 \pm 50$ ) ومتجاوزة كلاً من DBNs بقيمة ( $1909 \pm 66$ ) وDeep GSNs بقيمة ( $1890 \pm 29$ ).
التوليد النوعي: أكد الفحص البصري للعينات العشوائية جودتها العالية دون حفظ البيانات عن ظهر قلب (تم التحقق من ذلك بعرض أقرب الجيران في بيانات التدريب) وأظهر استيفاءً سلساً في الفضاء الكامن لـ $z$ .

القيود والأسئلة المفتوحة

غياب دالة الكثافة الصريحة: يأخذ النموذج عينات ضمنية من $p_{g} (x)$ ، مما يجعل تقييم الكثافة الدقيق مستعصياً ويتطلب تقييمات استكشافية (heuristics) مثل تقديرات نافذة Parzen.
انهيار النمط ("The Helvetica Scenario"): إذا تم تدريب $G$ بشكل مفرط دون تحديثات كافية للمميز، فقد ينهار $G$ ليطابق العديد من قيم $z$ المختلفة مع مخرجات $x$ متطابقة، فاشلاً في التقاط التنوع الكامل لـ $p_{data}$ .
عدم استقرار التدريب: يجب أن يظل $D$ و $G$ متوازنين بعناية طوال فترة التدريب لمنع الديناميكيات المتردية أو تلاشي التدرج.

المصطلحات الرئيسية

Generative Adversarial Nets (شبكات الخصومة التوليدية): إطار عمل لتدريب النماذج التوليدية حيث تتنافس شبكة مولد وشبكة مميز في لعبة minimax ثنائية اللاعبين.
Generator ($G$) (المولد): شبكة عصبية قابلة للاشتقاق تربط الضوضاء الكامنة المسبقة $z$ بفضاء البيانات لتقريب توزيع البيانات الحقيقي $p_{data}$ .
Discriminator ($D$) (المميز): مصنف شبكة عصبية مدرّب لتقدير احتمالية أن تكون عينة الإدخال قادمة من مجموعة البيانات الحقيقية بدلاً من المولد.
Jensen–Shannon Divergence (JSD) (تباعد جينسن-شانون): مقياس متماثل ومحدود للمسافة بين توزيعين احتماليين؛ يتم تقليل دالة هدف minimax لـ GAN إلى أدنى حد عندما يكون JSD بين $p_{data}$ و $p_{g}$ صفراً.
Helvetica Scenario (سيناريو هيلفيتيكا): نمط الفشل (المعروف الآن عموماً بانهيار النمط mode collapse) حيث يربط المولد العديد من متجهات الضوضاء الكامنة المختلفة $z$ بنفس نقطة البيانات $x$ بالضبط نتيجة لنقص التنوع.
Gaussian Parzen Window (نافذة بارزن الغاوسية): طريقة لتقدير الكثافة اللامعلمية باستخدام النواة (kernel)، استخدمها المؤلفون لتقريب لوغاريتم الأرجحية لمجموعة الاختبار من عينات المولد.
Non-saturating game (لعبة غير مشبعة): الهدف البديل العملي للمولد المتمثل في تعظيم $lo g D (G (z))$ بدلاً من تقليل $lo g (1 - D (G (z)))$ لمنع تلاشي التدرج في المراحل المبكرة من التدريب.

أسئلة شائعة

لماذا تم استبدال دالة خسارة minimax الأصلية للمولد $\log(1 - D(G(\bm{z})))$؟

في مرحلة التدريب المبكرة، عندما ينتج المولد عينات رديئة، يصنفها المميز بسهولة على أنها مزيفة وبثقة عالية. يؤدي هذا إلى تشبع $lo g (1 - D (G (z)))$ ، مما ينتج تدرجات صغيرة جداً. يؤدي تعظيم $lo g D (G (z))$ إلى توفير تدرجات أقوى بكثير في البداية مع الحفاظ على نفس النقطة الثابتة.

ما هي القيمة المثلى النظرية للعبة؟

عندما يصل $G$ إلى الأمثلية الشاملة ( $p_{g} = p_{data}$ )، يتنبأ المميز الأمثل بـ $D^{*} (x) = \frac{1}{2}$ في كل مكان، وتحقق دالة القيمة $- lo g 4$ .

لماذا تميزت GANs مقارنة بالنماذج التوليدية المعاصرة مثل RBMs أو GSNs؟

لا تتطلب سلاسل ماركوف لأخذ العينات، ولا تتطلب تقريبات لدوال التوزيع المستعصية، وتتجنب خطوات الاستدلال الصريحة أثناء التدريب، ويمكن تدريبها بالكامل باستخدام backpropagation مع دوال التنشيط الحديثة مثل ReLUs وmaxout.

ما هو إعداد المعلمة الفائقة (hyperparameter) لخطوات المميز $k$ في الورقة البحثية؟

استخدم المؤلفون $k = 1$ من تحديثات المميز لكل تحديث واحد للمولد في تجاربهم كخيار أقل تكلفة من الناحية الحسابية.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي