شبکه‌های زایای دشمن‌گونه

شبکه‌های زایای دشمن‌گونه، شبکه‌های زایای رودررو، شبکه‌های زایای رقابتی یا شبکه‌های زایای صفر (به انگلیسی: Generative Adversarial Networks)، یک کلاس از چارچوب‌های یادگیری ماشین است که ایان گودفلو و همکارانش در سال ۲۰۱۴ آن را پیشنهاد کردند. در این کلاس، دو شبکه عصبی در یک بازی روبروی یکدیگر قرار می‌گیرند (در چارچوب یک بازی با گردایش صفر، که آن را به نام بازی با مجموع صفر نیز در حوزهٔ نظریه بازی‌ها می‌شناسیم، در چنین بازی‌هایی سود یک بازیکن به ضرر بازیکن دیگر است و هر گاه بازیکنی یک امتیاز می‌گیرد در واقع امتیازی از بازیکن مقابل کم می‌شود در نتیجه همواره مجموع امتیازات صفر است).

در این روش شبکه فرا می‌گیرد که چگونه از داده‌های آموزش، داده‌های جدیدی به وجود بیاورد که از دید آماری داده‌های آموزش و به وجود آمده همسان باشند. به عبارت دیگر، روش در نهایت قرار است داده‌هایی که برای آموزش استفاده می‌شوند و خروجی شبکه از لحاظ برخی ویژگی‌ها شباهت داشته باشند، وظیفه تولید خروجی بر عهدهٔ بخش زایا و وظیفهٔ بررسی کافی بودن این شباهت بر عهدهٔ بخش دشمن‌گونه است، مانند یک بازی که اگر بخش دشمن‌گونه بتواند حدس بزند که ورودی اصلی شبکه با خروجی ساخته شده توسط بخش زایا اختلاف دارند یا به عبارتی همسان نیستند، برنده می‌شود و بخش زایا ناچار است تا خروجی بهتری تولید کند تا جایی که بخش زایا بتواند بخش دشمن‌گونه را بفریبد در نتیجه بازی تمام شود.

برای نمونه، شبکه‌های مولد رقابتی آموزش‌یافته می‌تواند عکس‌های جدیدی را به وجود آورد که از دید بیننده درست باشد و بسیاری از ویژگی‌های داده‌های آموزشی را در بر بگیرد. تصور کنید قرار است از تصاویر با وضوح پایین تصاویر با وضوح بالای معادل آنها را بسازیم که علاوه بر بزرگتر بودن و با کیفیت تر بودن دقیقاً معادل تصویر ورودی باشد در چنین شرایطی شبکه زایای دشمن‌گونه بسیار مفید و کمک کننده است.

گرچه در ابتدا یک گونه از مدل زایا برای یادگیری بدون ناظر (Unsupervised learning) پیشنهاد شده بود، ولی شبکه‌های زایای دشمن‌گونه برای یادگیری نیمه‌نظارتی (Semi-supervised learning)، یادگیری با ناظر^[۱] (Supervised learning) و یادگیری تقویتی^[۲] (Reinforcement learning) نیز می‌تواند مفید باشد.

ایده بنیادی شبکه‌های مولد رقابتی بر پایه آموزش «ناراسته» با جداکننده می‌باشد که خود نیز در فرایند آموزش بگونه پویا در حال به‌روزرسانی می‌باشد.^[۳] بدین سان شبکه مولد به جای اینکه در پی کاهش فاصله با یک عکس باشد، در تلاش برای گمراه کردن شبکه تفکیک‌کننده خواهد بود؛ بنابراین، مدل توانمند می‌شود تا به روش بدون ناظر به وجود آوردن عکس‌ها را فرا بگیرد.

روش

شبکه مولد نامزدها را به وجود می‌آورد و شبکه تفکیک‌کننده آنها ارزیابی می‌کند. این چالش بر پایه توزیع داده‌ها انجام می‌شود. در طی بازی، شبکه مولد یادمی‌گیرد تا یک متغیر پنهان را به توزیع داده نگاشت کند. شبکه تفکیک‌کننده نمونه‌های به وجود آمده به دست شبکه مولد را از توزیع راستین داده‌ها جدا می‌کند. انگیزه آموزش شبکه مولد این است که میزان خطای شبکه تفکیک کننده را افزایش دهد (به سخن دیگر «گمراه» کردن شبکه تفکیک کننده با به وجود آوردن نمونه‌های جدیدی که تفکیک‌کننده می‌پندارد آمیخته نشده‌اند (بخشی از توزیع راستین داده‌ها هستند).^[۴]

یک دادگان شناخته شده در جایگاه داده‌های راستین آموزشی برای شبکه تفکیک‌کننده بکار برده می‌شود. فرایند آموزش با نمونه‌هایی از دادگان آموزشی ادامه پیدا می‌کند تا زمانی که به درستی پذیرفتنی دست یابد. آموزش شبکه مولد بر پایه توانا شدن آن در گول‌زدن شبکه جداکننده انجام می‌شود. ورودی‌های شبکه زایا به گونه شانسی از یک متغیر پنهان دانسته (مانند یک پراکندگی نرمال چند متغیره) نمونه‌برداری می‌شود. پس از آن، شبکه جدا کننده نامزدهای ساخته شده به دست شبکه زایا را ارزیابی می‌کند. رویه‌های نشراندن وارون (Backpropagation‎) جداگانه در هر دو شبکه انجام می‌شود تا شبکه زایا نگاره‌های بهتری به وجود آورد و شبکه جداکننده در شناسایی نگاره‌های ساختگی زبدگی بیشتری پیدا کند.^[۵] شبکه زایا بیشتر یک شبکه عصبی پادپیچشی (Deconvolution) است و شبکه جداکننده یک شبکه پیچشی (Convolution) می‌باشد.

شبکه‌های زایای دشمن‌گونه گاهی با از دست دادن چارچوب‌های دادگان راستین با «فروپاشی نهادمان» روبرو می‌شوند و نمی‌توانند به درستی ویژگی‌های دادگان را فرا بگیرند. برای نمونه، یک شبکه زایای دشمن‌گونه با دادگان MNIST آموزش دیده‌است و دارای بسیاری از نمونه‌های هر رقم نیز می‌باشد ولی نگاره‌های به وجود می‌آورد که تنها با بخشی از دادگان راستین همسانی دارند. برخی از پژوهشگران چالش بنیادی را یک شبکه جداکننده ناکارامد می‌دانند که از الگوهای بخش‌های دیده‌نشده دادگان آگاهی ندارد، برخی دیگر نیز چالش را در انتخاب نادرست تابع هزینه (Objective function) می‌بینند. راهکارهای گوناگونی برای گره‌گشایی از این چالش پیشنهاد شده‌است.^[۶]

کاربردها

کاربردهای شبکه‌های زایای دشمن‌گونه به سرعت افزایش یافته‌اند.^[۷]

مد، هنر و آگهی

از شبکه زایای دشمن‌گونه می‌توان برای به وجود آوردن هنر استفاده کرد. ورج در مارس ۲۰۱۹ نوشت «نگاره‌های به وجود آمده به دست شبکه‌های زایای دشمن‌گونه نشانگر چشم‌انداز امروزی هنر هوش مصنوعی است.»^[۸] همچنین می‌توان از شبکه‌های زایای دشمن‌گونه برای رنگ‌آمیزی نگاره‌ها^[۹] یا به وجود آوردن نگاره‌هایی از مدل‌های فانتزی استفاده کرد، بدون اینکه نیازی به هنرمند، نگاره‌گر یا آرایشگر یا پرداخت هزینه استودیو و حمل‌ونقل باشد.^[۱۰]

دانش

شبکه‌های زایای دشمن‌گونه می‌توانند نگاره‌های اخترشناسی را بهبود بخشند^[۱۱] و عدسی گرانشی را برای پژوهش دربارهٔ ماده تاریک شبیه‌سازی کنند.^{[۱۲][۱۳][۱۴]} آنها از شبکه زایا در سال ۲۰۱۹ برای مدل‌سازی پراکندگی ماده تاریک در یک جهت ویژه در فضا و پیش‌بینی عدسی گرانشی که رخ خواهد داد، بهره جسته‌اند.^[۱۵][۱۶]

شبکه‌های زایای دشمن‌گونه همچون یک روش چابک و کارا برای مدل‌سازی ساختمان جت‌های پر انرژی^[۱۷] و مدل‌سازی دوش‌ها از راه آزمایش‌های گرماسنج‌های فیزیک ذرات پیشنهاد شده‌اند.^{[۱۸][۱۹][۲۰][۲۱]} شبکه‌های زایای دشمن‌گونه همچنین برای برآورد درست گلوگاه در شبیه‌سازی محاسبات سنگین آزمایش‌های فیزیک ذرات بکار برده می‌شوند. کاربردها در زمینه آزمایش‌های کنونی و پیشنهادی سرن نشان می‌دهد این روش‌ها پتانسیل شبیه‌سازی چابک و/یا بهبود پشتوانه شبیه‌سازی را دارند.^[۲۲][۲۳]

بازی‌های ویدیویی

در سال ۲۰۱۸، شبکه‌های زایای دشمن‌گونه بازی‌های ویدئویی قدیمی را با بزرگ‌نمایی بافت‌های دو سویه با رزولوشن پایین به رزولوشن‌های ۴ک یا بالاتر و سپس کوچک‌نمایی آنها به اندازه پیشین (همسان با نمونه‌برداری‌ممتاز در روش ضدپلگی) بازسازی کردند.^[۲۴] با آموزش خوب، شبکه‌های زایای دشمن‌گونه نگاره‌های دو سویه با نگهداری ریزگان، رنگ و … به نگاره‌هایی شفاف‌تر و روشن‌تر جز می‌کنند. نمونه‌هایی شناخته شده از شبکه‌های زایای دشمن‌گونه: Final Fantasy VIII، Final Fantasy IX، Resident Evil REmake HD Remaster و Max Payne.^{[نیازمند منبع]}

نگرانی دربارهٔ کاربردهای تباهگر

نگاره به دست آمده از StyleGAN که مانند یک شخص راستین می‌باشد. این نگاره به دست StyleGAN بر پایه کاوش چهرسان‌ها به وجود آمده‌است.

نگرانی‌هایی در مورد بهره‌گیری به‌هم‌پیوستگی نگاره انسانی بر پایه شبکه‌های زایای دشمن‌گونه برای کاربردهای شوم وجود دارد، برای نمونه، به وجود آوردن نگاره‌ها و فیلم‌های ساختگی ممکن است کسی را بزه‌کار کند.^[۲۵] شبکه‌های زایای دشمن‌گونه می‌توانند نگاره‌های از افراد ناموجود برای پروفایل شبکه‌های اجتماعی ایجاد کنند تا برای کارهای غیرمجاز استفاده شود.^[۲۶]

در سال ۲۰۱۹ ایالت کالیفرنیا^[۲۷] لایحه AB-602 را ایجاد کرد و در ۳ اکتبر ۲۰۱۹ برنهاد تا از فن‌آوری‌های به‌هم‌پیوستگی نگاره‌های انسان برای ساخت پورنوگرافی بدون پذیرش افراد بهره‌جویی نشود. لایحه AB-730 را پخش فیلم‌های دستکاری شده یک نامزد سیاسی را ظرف ۶۰ روز پس از انتخابات منع می‌کند. هر دو لایحه به دست انجمن مارک برمن گردآوری شده و به دست فرماندار گاوین نیوسام امضا شده‌است. این قوانین از سال ۲۰۲۰ به اجرا گذاشته شده‌است.^[۲۸]

برنامه DARPA به روش‌های رویارویی با رسانه‌های ساختگی از جمله رسانه‌های ساختگی بر پایه شبکه‌های زایای دشمن‌گونه می‌پردازد.

برنامه‌های پراکنده

از شبکه‌های زایای دشمن‌گونه می‌توان برای شناسایی زودهنگام نگاره‌های دچاراب سبز بهره جست که برای جلوگیری از کاهش ناچیز یا فراگیر بینایی ناگزیر است.^[۲۹]

شبکه‌های زایای دشمن‌گونه که نگاره‌های راستین‌گرایانه به وجود می‌آورند در انگارش طراحی داخلی، طراحی صنعتی، کفش،^[۳۰] کیف و پوشاک یا بازی‌های رایانه‌ای.^{[نیازمند منبع]} گزارش‌هایی از بهره جویی فیس‌بوک از شبکه‌های زایا نیز وجود دارد.^[۳۱]

شبکه‌های زایای دشمن‌گونه در بازسازی سه سویه از چندین نگاره،^[۳۲] و مدل‌سازی الگوهای پویشی فیلم کاربرد دارند.^[۳۳]

از شبکه‌های زایای دشمن‌گونه می‌توان برای پیر کردن نگاره‌های چهره بهره جست تا نشان دهد که چگونه نمای فرد با افزایش سن دگرگون می‌شود.^[۳۴]

همچنین می‌توان از شبکه زایای دشمن‌گونه برای ترابرد سبک‌های نقشه در نقشه‌نگاری^[۳۵] یا توان‌بخشی به نگاره‌سازی نمای خیابان بهره جست.^[۳۶]

از بازخوردهای با شبکه زایای دشمن‌گونه می‌توان برای به وجود آوردن نگاره‌ها و جایگزینی سامانه‌های جستجوی نگاره بهره جست.^[۳۷]

شبکه‌های زایای دشمن‌گونه گوناگونی در آموزش یک شبکه برای به وجود آوردن ورودی‌های کنترل بهینه در سامانه پویای غیرخطی کاربرد دارد. جایی که شبکه جداکننده همچون خرده‌گیر شناخته شده‌است که بهینه بودن راهکار را بررسی می‌کند و شبکه زایا همچون یک شبکه سازگار شناخته می‌شود که کنترل بهینه را ایجاد می‌کند. خرده‌گیر و شبکه سازگار یکدیگر را برای برآورد یک کنترل بهینه غیرخطی آموزش می‌دهند.^[۳۸]

از شبکه‌های زایای دشمن‌گونه در بررسی نشانه‌های دگرگونی آب‌وهوایی بر خانه‌هایی ویژه نیز بهره‌کشی شده‌است.

یک مدل شبکه زایای دشمن‌گونه به نام Speech2Face می‌تواند پس از گوش دادن به صدای او، تصویری از چهره او را بازسازی کند.^[۳۹]

در سال ۲۰۱۶ از شبکه زایای دشمن‌گونه برای به وجود آوردن مولکول‌های جدید پروتئینی که در سرطان، التهاب و فیبروز نقش دارند بهره‌کشی شده‌است. در سال ۲۰۱۹، ارزیابی مولکول‌های به وجود آمده از شبکه‌هایی زایای دشمن‌گونه به گونه آزمایشی روی موش‌ها پذیرفته شد.^[۴۰][۴۱]

پیشینه

شروع ایده شبکه‌های زایای دشمن‌گونه را می‌توان با برآورد انقباضی نویز دانست،^[۴۲] که از همان تابع خطای شبکه‌های زایای دشمن‌گونه بهره می‌برند و گودفلو در دوره دکتری خود در سال‌های ۲۰۱۰ تا ۲۰۱۴ خوانده بوده‌است.

دیگران نیز ایده‌هایی داشتند ولی آنها ایده‌های خود را گسترش ندادند. ایده‌ای دربرگیرنده شبکه‌های دشمن‌گونه در یک پست وبلاگ به دست اولی نیمیتالو (Olli Niemitalo) در سال ۲۰۱۰ پخش شد.^[۴۳] این ایده هرگز اجرا نشده و زاینده آن شانسی برخورد نمی‌کند و بنابراین یک مدل زایا نیست. اکنون شبکه زایای دشمن‌گونه قراردادی شناخته می‌شود.^[۴۴] ایده‌ای همانند شبکه‌های زایای دشمن‌گونه برای مدل‌سازی رفتار حیوانات توسط لی، گاوسی و گروس در سال ۲۰۱۳ پیشنهاد شده‌است.

یادگیری ماشین دشمن‌گونه علاوه بر مدل‌سازی شبکه زایا، کاربردهای دیگری نیز دارد و می‌تواند در دیگر مدل‌های شبکه‌های عصبی نیز به کار رود. در سال ۲۰۰۶ در زمینه تئوری کنترل از یادگیری دشمن‌گونه بر پایه شبکه‌های عصبی برای آموزش کنترل‌کننده‌های توانمند بهره برده شده‌است، در یک رویه نظریه بازی با پیاپی کردن تکرارها بین یک سیاست کاهنده کنترل‌کننده و یک سیاست افزاینده آشوب.^[۴۵][۴۶]

در سال ۲۰۱۷، از شبکه زایای دشمن‌گونه به جای درستی-پیکسل برای بهبود نگاره‌های راستین‌گرایانه بافت‌ها بهره برده شد و نگاره‌های شفاف‌تری به وجود آورده شد.^[۴۷] در سال ۲۰۱۷، نخستین چهره‌ها به وجود آمد.^[۴۸] اینها در فوریه ۲۰۱۸ در گرند پلی (Grand Palais) به نمایش درآمد.^[۴۹][۵۰] چهره‌های به وجود آمده به دست StyleGAN^[۵۱] در سال ۲۰۱۹ هم‌سنجی با جعل عمیق (به انگلیسی: deepfakes) را به دنبال داشت.^{[۵۲][۵۳][۵۴]}

از سال ۲۰۱۷، فناوری شبکه زایای دشمن‌گونه با پیاده‌سازی‌های نو توانست در زمینه هنری از خود بهبود نشان دهد بگونه‌ای که با به وجود آوردن نقاشی‌های فانتزی بی‌همتا و فریبنده، مرزهای خود را تا پهنه هنرهای زیبا گسترش دهد و بنابراین "CAN" (شبکه دشمن‌گونه آفریننده) نام گرفته‌است. برای ایجاد نقاشی Edmond de Belamy در سال ۲۰۱۸ یک شبکه زایای دشمن‌گونه بکار رفته‌است که به قیمت ۴۳۲٬۵۰۰ دلار آمریکا فروخته شد.^[۵۵] تیم نخستین CAN در سال ۲۰۱۹ در مقاله‌ای پیشرفت بیشتر با این سامانه را بررسی کرده‌اند و همچنین به چشم‌انداز فراگیر هنر با هوش‌مصنوعی را پرداخته‌اند.^[۵۶]

در ماه مه سال ۲۰۱۹، پژوهشگران سامسونگ یک سامانه بر پایه شبکه زایای دشمن‌گونه را نشان دادند که تنها با دریافت یک نگاره انسان، فیلم‌هایی از سخن گفتن آن را تولید می‌کند.

در اوت ۲۰۱۹، یک دادگان بزرگ با ۱۲۱۹۷ آهنگ MIDI همراه با متن و ملودی تراز شده ساخته شد تا در به وجود آوردن عصبی مولدی با کمک شبکه زایای دشمن‌گونه قراردادی بر پایه LSTM بکار برده شود (AI Melody Generation).^[۵۷]

در ماه مه سال ۲۰۲۰، پژوهشگران انویدیا با ساخت یک سامانه هوش‌مصنوعی ("GameGAN")، بازی پک-من به گونه ساده با تماشای بازی از نو ساختند.^[۵۸]

رده‌بندی

شبکه زایای دشمن‌گونه دو طرفه

شبکه زایای دشمن‌گونه دو راهبردی (BiGAN) با انگیزه ساخت یک مدل زایا که مانند جداکننده واکنش نشان دهد پیشنهاد شد، در چارچوب آن جداکننده خود بخود همه پهنه برگردان را درنگر خواهد داشت تا پیچیدگی آموزش نابسنده زدوده شود. برای دستیابی به این ویژگی، زایا و جداکننده هر دو برای مدل‌سازی احتمال مشترک جفت گزاره‌ها ساخته شده‌اند، با این تفاوت که زایا احتمال مشترک را به یک مدل زبان آغازین و یک مدل برگردان آغازین به انتهایی تجزیه می‌کند، در حالی که جداکننده همچون یک مدل زبان انتهایی و یک مدل برگردان انتهایی به آغازین فراهم شده‌است. برای بهره‌گیری بیشتر از تقارن آنها، یک شبکه زایا دشمن‌گونه کمکی پیشنهاد شده و مدل‌های زایا و جداکننده مدل آغازین را به ترتیب به عنوان جداکننده و زایا خود برمی‌گزیند. دو شبکه زایا دشمن‌گونه به‌طور پی‌درپی برای به روزرسانی پارامترها آموزش می‌بینند. دستاوردهای این روش در کار جداکننده کمکی با نظارت مفید است و کارایی آن در سنج با رویکردهای جدید برای یادگیری ویژگی‌های بی‌وارسی و خود-وارسی ارزشمند می‌باشد.^[۵۹]

شبکه زایای دشمن گونه چرخه ای

شبکه زایای دشمن گونه چرخه ای مدلی برای تولید تصاویر جدید از تصاویر موجود است. این مدل با یادگیری نگاشت بین دو حوضه تصویر مختلف مانند عکس‌ها و طرح‌ها، با آموزش یک شبکه زایای دشمن‌گونه بر روی یک مجموعه داده کار می‌کند.

تاریخچه

شبکه زایای دشمن گونه چرخه ای در سال ۲۰۱۷ توسط Jun_YanZhu, Tuesung Park, Phillip Isola و Alexei A. Efros راه اندازی شد.

نحوه عملکرد شبکه زایای دشمن گونه چرخه ای

شبکه زایای دشمن گونه چرخه ای یک مدل یادگیری عمیق است که بدون نیاز به داده‌های آموزشی جفتی، تصویر را به تصویر تبدیل می‌کند که برای این تبدیل از دو شبکه زایای دشمن‌گونه برای یادگیری نگاشت بین دو حوضه تصویر استفاده می‌کند. این مدل قدرتمند می‌تواند تصاویر جدیدی را از تصاویر موجود بدون نیاز به داده‌های آموزشی جفت تولید کند. از دو شبکه زایای دشمن گونه برای یادگیری نگاشت بین دو حوزه تصویر مختلف استفاده می‌کنند. این مدل برای گرفتن ویژگی‌های دامنه هدف و تولید تصاویر جدید از دامنه منبع که آن ویژگی‌ها را به اشتراک می‌گذارد، آموزش داده شده‌است. فرایند آموزش شامل آموزش شبکه‌های زایای دشمن گونه به‌طور جداگانه است، به طوری که یکی از شبکه زایای دشمن گونه تصاویر دامنه هدف را از تصاویر دامنه منبع تولید می‌کند و شبکه زایای دشمن گونه دیگر، تصاویر دامنه منبع را از تصاویر دامنه هدف تولید می‌کند. هنگامی که شبکه‌های زایای دشمن گونه آموزش داده می‌شوند، برای تشکیل شبکه زایای دشمن گونه چرخه ای ترکیب می‌شوند. سپس این مدل برای تولید تصاویری شبیه به دامنه هدف از دامنه منبع و بالعکس، با استفاده از یک فقدان سازگار با چرخه و یک مؤلفه نگاشت هویت برای بهبود کیفیت تصاویر تولید شده، آموزش داده می‌شود.

معماری شبکه زایای دشمن گونه چرخه ای

مانند شبکه زایای دشمن‌گونه، شبکه زایای دشمن گونه چرخه ای نیز دارای دو بخش ژنراتور(Generator) و متمایز کننده (Discriminator) است. کار ژنراتور این چنین است که از توزیع مورد نظر، نمونه تولید می‌کند و کار متمایز کننده نیز این چنین است که تشخیص دهد نمونه از توزیع واقعی است یا از نمونه ساخته شده توسط ژنراتور است.

معماری شبکه زایای دشمن گونه چرخه ای با سایر شبکه‌های زایای دشمن گونه متفاوت است به گونه ای که شامل ۲ تابع نگاشت ژنراتور به نام‌های (${\displaystyle {\begin{alignedat}{2}G(X)\end{alignedat}}}$ و ${\displaystyle {\begin{alignedat}{2}F(Y)\end{alignedat}}}$) است و شامل دو متمایز کننده به نام‌های (${\displaystyle D_{X}}$ و ${\displaystyle D_{Y}}$) است که به صورت زیر عمل می‌کنند:

${\displaystyle G:X\longrightarrow Y,\quad F:Y\longrightarrow X}$

که در آن ${\displaystyle X}$ توزیع تصویر ورودی و ${\displaystyle Y}$ توزیع خروجی مورد نظر است.

${\displaystyle D_{X}}$ : متمایز کننده ${\displaystyle {\begin{alignedat}{2}G(X)\end{alignedat}}}$ (خروجی تولید شده) از ${\displaystyle Y}$ (خروجی واقعی)

${\displaystyle D_{Y}}$ : متمایز کننده ${\displaystyle {\begin{alignedat}{2}F(Y)\end{alignedat}}}$ (خروجی معکوس تولید شده) از ${\displaystyle X}$ (ورودی توزیع)

تصویر معماری شبکه زایای دشمن گونه

مزایا و معایب شبکه زایای دشمن‌گونه چرخه ای

مزایا

1. دقت بالا: چون از داده‌های جفت نشده استفاده می‌کند می‌تواند نتایج بهتری را بدون نیاز به تعداد زیادی تصاویر آموزشی جفت شده ایجاد کند در نتیجه نسبت به نسخه‌های قبلی خود عملکرد و دقت بالاتری دارد.
2. قوی: شبکه زایای دشمن گونه چرخه ای قوی است زیرا اگر تصاویر ورودی از دامنه‌های مختلف آمده باشند، می‌تواند عملکرد خوبی داشته باشد. در نتیجه می‌توان از ان برای طیف وسیعی از کارهای تبدیل تصویر به تصویر، مانند تغییر سبک یک تصویر، تبدیل از یک دامنه به دامنه دیگر، یا حتی ترجمه از یک زبان به زبان دیگر، استفاده کرد.
3. مجموعه داده کوچک: از شبکه زایای دشمن گونه چرخه ای برای تولید تصاویر با کیفیت بالا با داده‌های آموزشی نسبتاً کمی استفاده کرد. این برای کارهایی که داده‌های آموزشی در آنها محدود است، مانند تبدیل تصویر به تصویر پزشکی، مهم است.

معایب

1. کند :شبکه زایای دشمن گونه چرخه ای به کندی آموزش می‌بیند به خصوص در زمانی که تعداد عکس‌هایی که باید از ان آموزش ببیند، زیاد باشد.
2. بیش برازش: این شبکه مستعد به بیش برازش است.
3. پیچیدگی عملکرد: تفسیر شبکه زایای دشمن گونه چرخه ای دشوار است و درک اینکه چرا مدل نتایجی دلخواه را ایجاد می‌کند به آسانی مدل‌های تفسیر پذیر نیست.

جزئیات ریاضی

شبکه‌های زایای دشمن‌گونه بر مبنای بخشی از نظریه بازی‌ها به نام بازی مینیماکس کار می‌کنند. در اینجا تفکیک‌کننده ${\displaystyle D(x,\theta _{d})}$ و مولد ${\displaystyle G(z,\theta _{g})}$ با یکدیگر رقابت می‌کنند. هر دو شبکه‌های عصبی‌ی هستند که با پارامترهای ${\displaystyle \theta _{d}}$ و ${\displaystyle \theta _{g}}$ مدل‌سازی شده‌اند. در ادامه برای سهولت کار پارامترها و ورودی‌های مدل را حذف می‌کنیم. شبکه مولد یا همان ${\displaystyle G}$ داده‌هایی را از نویزهای تصادفی (${\displaystyle z}$) تولید می‌کند و تفکیک کننده یا همان ${\displaystyle D}$ در تلاش است تا تشخیص دهد که داده واقعی است (از داده‌های مجموعه آموزشی است) یا ساختگی (تولید شده توسط مولد). در نهایت بازی به جایی می‌رسد که داده‌های تولید شده توسط مولد به قدری شبیه داده‌های واقعی (داده‌های آموزشی) می‌شوند که تشخیص آن توسط تفکیک‌کننده سخت یا غیرممکن باشد. هر دو شبکه در حالیکه سعی می‌کنند بهتر از دیگری عمل کنند به‌طور همزمان یادمی‌گیرند و پارامترهای خود (${\displaystyle \theta _{d}}$ و ${\displaystyle \theta _{g}}$) را بهینه می‌کنند.^[۶۰] شبکه مولد را می‌توان به صورت یک تابع مشتق‌پذیر مدل‌سازی کرد به عنوان ورودی نویز تصادفی را از یک فضای پنهان ${\displaystyle Z}$ با توزیع ${\displaystyle p_{z}(x)}$ می‌گیرد و داده‌های خروجی از فضایی مشابه داده‌های واقعی و به‌طور خوشبینانه از توزیع مشابه ${\displaystyle p_{data}(x)}$ هستند:

${\displaystyle {\mathcal {G}}:Z\to \mathbb {R} ^{n}}$

که ${\displaystyle Z}$ فضای پنهان و ${\displaystyle n}$ بعد فضای داده‌است. شبکه تفکیک کننده ${\displaystyle D}$ یک طبقه‌بند شبکه عصبی ساده است که می‌تواند به عنوان تابعی که توزیع داده‌ها را به احتمال ${\displaystyle p\in [0,1]}$ نگاشت می‌کند، در نظر گرفته شود و نمایانگر این است که بردار داده‌های ورودی تا چه حد واقعی هستند:

${\displaystyle {\mathcal {D}}:\mathbb {R} ^{n}\to [0,1]}$

بازی مجموع-صفر به‌صورت بهینه‌سازی زیر مدل‌سازی می‌شود. تابع هزینه در این بهینه‌سازی ${\displaystyle \min \max }$ نام دارد و بر اساس تابع هزینه کراس آنتروپی تعریف می‌شود:^[۶۰]

${\displaystyle \min _{\,{\mathcal {G}}}\max _{\,D}\,V({\mathcal {G}},D)}$

عبارت ${\displaystyle \min }$ اشاره به حداقل کردن هزینه مولد و عبارت ${\displaystyle \max }$ اشاره به حداکثر کردن هزینه تفکیک‌کننده دارد. در حقیقت تفکیک‌کننده به دنبال حداکثر کردن لگاریتم احتمال برای داده‌های واقعی و لگاریتم احتمال ساختگی بودن برای داده‌های ساختگی می‌باشد؛ و در عین حال مولد به دنبال حداقل کردن لگاریتم احتمال ساختگی بودن توسط تفکیک کننده برای داده‌های ساختگی می‌باشد. به عبارت دیگر مولد در صدد فریب دادن تفکیک کننده است و تفکیک کننده در صدد تفکیک درست داده‌ها. به این ترتیب پارامترهای بهینه از این طریق به دست می‌آیند.^[۶۰]

${\displaystyle \min _{\,{\mathcal {G}}}\max _{\,D}\,V\left({\mathcal {G}},D\right)=\min _{\,{\mathcal {G}}}\max _{\,D}\left(\mathbb {E} _{x\sim p_{data}\left(x\right)}[log\left(D\left(x\right)\right)]+\mathbb {E} _{z\sim p_{z}\left(z\right)}\left[\log \left(1-D\left({\mathcal {G}}\left(z\right)\right)\right)\right]\right)}$

یادگیری

شروع کار با آموزش تفکیک کننده بر روی داده‌های واقعی برای چند دور (به انگلیسی: epoch) آغاز می‌شود. هدف از این کار این است که تفکیک کننده به داده‌های واقعی ارزش بالاتری اختصاص دهد. سپس همان شبکه را روی داده‌های جعلی تولید شده توسط شبکه مولد آموزش می‌دهیم. در این مرحله، مولد در حال توقف است و هیچ بازخوردی از آموزش دریافت نمی‌کند و تنها تفکیک کننده است که آموزش می‌بیند. به عبارت دیگر، خطا در شبکه مولد پس انتشار نمی‌شود. در نتیجه مراحل قبل، شبکه تفکیک کننده به‌طور قابل توجهی به نسبت شبکه مولد که تا کنون هیچ آموزشی ندیده‌است و همچنان نویز تولید می‌کند، در کار خود بهتر است؛ بنابراین، تفکیک کننده را در حالت توقف قرار می‌دهیم و شبکه مولد را با استفاده از بازخورد تفکیک کننده آموزش می‌دهیم. هدف از این کار این است که تفکیک کننده را به نحوی فریب دهد که داده جعلی را به عنوان داده حقیقی طبقه‌بندی کند. به محض اینکه این اتفاق افتاد، مولد را متوقف می‌کنیم و دوباره آموزش تفکیک کننده را شروع می‌کنیم. این آموزش متناوب بین دو شبکه را تا زمانی که نتایج خوبی روی داده‌های تولید شده به دست آوریم ادامه می‌دهیم. می‌توانیم به‌طور دستی بررسی کنیم که آیا نتایج رضایت بخش بوده‌اند یا خیر.

برای آموزش تفکیک‌کننده به تعداد مشخصی (${\displaystyle k}$ بار) از طریق گرادیان صعودی تصادفی سعی در بیشینه کردن تابع ${\displaystyle V({\mathcal {G}},D)}$ داریم. برای این‌کار ${\displaystyle \{z^{(1)},\cdots ,z^{(m)}\}}$ را از توزیع ${\displaystyle p_{g}(z)}$ نمونه‌گیری می‌کنیم. همچنین ${\displaystyle \{x^{(1)},\cdots ,x^{(m)}\}}$ را از داده‌های آموزشی نمونه‌گیری می‌کنیم. با این داده‌ها میانگین گرادیان ${\displaystyle V({\mathcal {G}},D)}$ را نسبت به پارامترهای ${\displaystyle D}$ (مولد) که ${\displaystyle \theta _{d}}$ باشد حساب می‌کنیم. پارامترهای ${\displaystyle \theta _{d}}$ را در جهت این میانگین تغییر می‌دهیم تا باعث افزایش ${\displaystyle V({\mathcal {G}},D)}$ شود. میانگین گرادیان با عبارت پایین برابر است:^[۶۰]

${\displaystyle \nabla _{\theta _{d}}{\frac {1}{m}}\sum _{i=1}^{m}\left(log\left(D\left(x^{(i)}\right)\right)+\log \left(1-D\left({\mathcal {G}}\left(z^{(i)}\right)\right)\right)\right)}$

حال بهینه‌سازی را برای مولد اعمال می‌کنیم. برای این‌کار میانگین گرادیان ${\displaystyle V({\mathcal {G}},D)}$ را نسبت به پارامترهای ${\displaystyle {\mathcal {G}}}$ (مولد) که ${\displaystyle \theta _{g}}$ باشد حساب می‌کنیم. مانند مرحله قبلی یکی سری نویز جدید که از ${\displaystyle p_{g}(z)}$ نمونه‌گیری کرده‌ایم را برای محاسبه میانگین به کار می‌بریم. پارامترهای ${\displaystyle \theta _{g}}$ را در خلاف جهت این میانگین تغییر می‌دهیم تا باعث کاهش ${\displaystyle V({\mathcal {G}},D)}$ شود. میانگین گرادیان با عبارت پایین برابر است:^[۶۰]

${\displaystyle \nabla _{\theta _{d}}{\frac {1}{m}}\sum _{i=1}^{m}\log \left(1-D\left({\mathcal {G}}\left(z^{(i)}\right)\right)\right)}$

این دو مرحله را به صورت متناوب چندین بار انجام می‌دهیم تا تفکیک‌کننده دیگر قادر به تشخیص داده‌های واقعی از ساختگی نباشد.^[۶۰]

منابع

1. Isola, Phillip; Zhu, Jun-Yan; Zhou, Tinghui; Efros, Alexei (2017). "Image-to-Image Translation with Conditional Adversarial Nets". Computer Vision and Pattern Recognition.
2. Ho, Jonathon; Ermon, Stefano (2016). "Generative Adversarial Imitation Learning". Advances in Neural Information Processing Systems: 4565–4573. arXiv:1606.03476. Bibcode:2016arXiv160603476H.
3. "Vanilla GAN (GANs in computer vision: Introduction to generative learning)". theaisummer.com. AI Summer. Archived from the original on 2020-06-03. Retrieved 20 September 2020.
4. Luc, Pauline; Couprie, Camille; Chintala, Soumith; Verbeek, Jakob (2016-11-25). "Semantic Segmentation using Adversarial Networks". NIPS Workshop on Adversarial Training, Dec, Barcelona, Spain. 2016. arXiv:1611.08408. Bibcode:2016arXiv161108408L.
5. Andrej Karpathy; Pieter Abbeel; Greg Brockman; Peter Chen; Vicki Cheung; Rocky Duan; Ian Goodfellow; Durk Kingma; Jonathan Ho, Generative Models, OpenAI, retrieved April 7, 2016
6. Lin, Zinan; et al. (December 2018). "PacGAN: the power of two samples in generative adversarial networks". NIPS'18: Proceedings of the 32nd International Conference on Neural Information Processing Systems. pp. 1505–1514. (also available آرخیو:1712.04086 )
7. Caesar, Holger (2019-03-01), A list of papers on Generative Adversarial (Neural) Networks: nightrome/really-awesome-gan, retrieved 2019-03-02
8. Vincent, James (5 March 2019). "A never-ending stream of AI art goes up for auction". The Verge (به انگلیسی). Retrieved 13 June 2020.
9. Yu, Jiahui, et al. "Generative image inpainting with contextual attention." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.
10. Wong, Ceecee. "The Rise of AI Supermodels". CDO Trends.
11. Schawinski, Kevin; Zhang, Ce; Zhang, Hantian; Fowler, Lucas; Santhanam, Gokula Krishnan (2017-02-01). "Generative Adversarial Networks recover features in astrophysical images of galaxies beyond the deconvolution limit". Monthly Notices of the Royal Astronomical Society: Letters. 467 (1): L110–L114. arXiv:1702.00403. Bibcode:2017MNRAS.467L.110S. doi:10.1093/mnrasl/slx008.
12. Kincade, Kathy. "Researchers Train a Neural Network to Study Dark Matter". R&D Magazine.
13. Kincade, Kathy (May 16, 2019). "CosmoGAN: Training a neural network to study dark matter". Phys.org.
14. "Training a neural network to study dark matter". Science Daily. May 16, 2019.
15. at 06:13, Katyanna Quach 20 May 2019. "Cosmoboffins use neural networks to build dark matter maps the easy way". www.theregister.co.uk (به انگلیسی). Retrieved 2019-05-20.
16. Mustafa, Mustafa; Bard, Deborah; Bhimji, Wahid; Lukić, Zarija; Al-Rfou, Rami; Kratochvil, Jan M. (2019-05-06). "CosmoGAN: creating high-fidelity weak lensing convergence maps using Generative Adversarial Networks". Computational Astrophysics and Cosmology. 6 (1): 1. arXiv:1706.02390. Bibcode:2019ComAC...6....1M. doi:10.1186/s40668-019-0029-9. ISSN 2197-7909.
17. Paganini, Michela; de Oliveira, Luke; Nachman, Benjamin (2017). "Learning Particle Physics by Example: Location-Aware Generative Adversarial Networks for Physics Synthesis". Computing and Software for Big Science. 1: 4. arXiv:1701.05927. Bibcode:2017arXiv170105927D. doi:10.1007/s41781-017-0004-6.
18. Paganini, Michela; de Oliveira, Luke; Nachman, Benjamin (2018). "Accelerating Science with Generative Adversarial Networks: An Application to 3D Particle Showers in Multi-Layer Calorimeters". Physical Review Letters. 120 (4): 042003. arXiv:1705.02355. Bibcode:2018PhRvL.120d2003P. doi:10.1103/PhysRevLett.120.042003. PMID 29437460.
19. Paganini, Michela; de Oliveira, Luke; Nachman, Benjamin (2018). "CaloGAN: Simulating 3D High Energy Particle Showers in Multi-Layer Electromagnetic Calorimeters with Generative Adversarial Networks". Phys. Rev. D. 97 (1): 014021. arXiv:1712.10321. Bibcode:2018PhRvD..97a4021P. doi:10.1103/PhysRevD.97.014021.
20. Erdmann, Martin; Glombitza, Jonas; Quast, Thorben (2019). "Precise Simulation of Electromagnetic Calorimeter Showers Using a Wasserstein Generative Adversarial Network". Computing and Software for Big Science. 3: 4. arXiv:1807.01954. doi:10.1007/s41781-018-0019-7.
21. Musella, Pasquale; Pandolfi, Francesco (2018). "Fast and Accurate Simulation of Particle Detectors Using Generative Adversarial Networks". Computing and Software for Big Science. 2: 8. arXiv:1805.00850. Bibcode:2018arXiv180500850M. doi:10.1007/s41781-018-0015-y.
22. ATLAS, Collaboration (2018). "Deep generative models for fast shower simulation in ATLAS".
23. SHiP, Collaboration (2019). "Fast simulation of muons produced at the SHiP experiment using Generative Adversarial Networks". Journal of Instrumentation. 14 (11): P11028. arXiv:1909.04451. Bibcode:2019JInst..14P1028A. doi:10.1088/1748-0221/14/11/P11028.
24. Tang, Xiaoou; Qiao, Yu; Loy, Chen Change; Dong, Chao; Liu, Yihao; Gu, Jinjin; Wu, Shixiang; Yu, Ke; Wang, Xintao (2018-09-01). "ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks" (به انگلیسی). arXiv:1809.00219. Bibcode:2018arXiv180900219W.
25. msmash (2019-02-14). "'This Person Does Not Exist' Website Uses AI To Create Realistic Yet Horrifying Faces". Slashdot. Retrieved 2019-02-16.
26. Doyle, Michael (May 16, 2019). "John Beasley lives on Saddlehorse Drive in Evansville. Or does he?". Courier and Press.
27. Targett, Ed (May 16, 2019). "California moves closer to making deepfake pornography illegal". Computer Business Review.
28. Mihalcik, Carrie (2019-10-04). "California laws seek to crack down on deepfakes in politics and porn". cnet.com. CNET. Retrieved 2019-10-13.
29. Bisneto, Tomaz Ribeiro Viana; de Carvalho Filho, Antonio Oseas; Magalhães, Deborah Maria Vieira (February 2020). "Generative adversarial network and texture features applied to automatic glaucoma detection". Applied Soft Computing. 90: 106165. doi:10.1016/j.asoc.2020.106165.
30. Wei, Jerry (2019-07-03). "Generating Shoe Designs with Machine Learning". Medium (به انگلیسی). Retrieved 2019-11-06.
31. Greenemeier, Larry (June 20, 2016). "When Will Computers Have Common Sense? Ask Facebook". Scientific American. Retrieved July 31, 2016.
32. "3D Generative Adversarial Network". 3dgan.csail.mit.edu.
33. Vondrick, Carl; Pirsiavash, Hamed; Torralba, Antonio (2016). "Generating Videos with Scene Dynamics". carlvondrick.com. arXiv:1609.02612. Bibcode:2016arXiv160902612V.
34. Antipov, Grigory; Baccouche, Moez; Dugelay, Jean-Luc (2017). "Face Aging With Conditional Generative Adversarial Networks". arXiv:1702.01983 [cs.CV].
35. Kang, Yuhao; Gao, Song; Roth, Rob (2019). "Transferring Multiscale Map Styles Using Generative Adversarial Networks". International Journal of Cartography. 5 (2–3): 115–141. arXiv:1905.02200. Bibcode:2019arXiv190502200K. doi:10.1080/23729333.2019.1615729.
36. Wijnands, Jasper; Nice, Kerry; Thompson, Jason; Zhao, Haifeng; Stevenson, Mark (2019). "Streetscape augmentation using generative adversarial networks: Insights related to health and wellbeing". Sustainable Cities and Society. 49: 101602. arXiv:1905.06464. Bibcode:2019arXiv190506464W. doi:10.1016/j.scs.2019.101602.
37. Ukkonen, Antti; Joona, Pyry; Ruotsalo, Tuukka (2020). "Generating Images Instead of Retrieving Them: Relevance Feedback on Generative Adversarial Networks". Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval: 1329–1338. doi:10.1145/3397271.3401129.
38. Padhi, Radhakant; Unnikrishnan, Nishant (2006). "A single network adaptive critic (SNAC) architecture for optimal control synthesis for a class of nonlinear systems". Neural Networks. 19 (10): 1648–1660. doi:10.1016/j.neunet.2006.08.010. PMID 17045458.
39. Christian, Jon (May 28, 2019). "ASTOUNDING AI GUESSES WHAT YOU LOOK LIKE BASED ON YOUR VOICE". Futurism.
40. Zhavoronkov, Alex (2019). "Deep learning enables rapid identification of potent DDR1 kinase inhibitors". Nature Biotechnology. 37 (9): 1038–1040. doi:10.1038/s41587-019-0224-x. PMID 31477924.
41. Gregory, Barber. "A Molecule Designed By AI Exhibits 'Druglike' Qualities". Wired.
42. Gutmann, Michael; Hyvärinen, Aapo. "Noise-Contrastive Estimation" (PDF). International Conference on AI and Statistics.
43. Niemitalo, Olli (February 24, 2010). "A method for training artificial neural networks to generate missing data within a variable context". Archived from the original on March 12, 2012. Retrieved February 22, 2019.
44. "GANs were invented in 2010?". reddit r/MachineLearning (به انگلیسی). 2019. Retrieved 2019-05-28.
45. Abu-Khalaf, Murad; Lewis, Frank L.; Huang, Jie (July 1, 2008). "Neurodynamic Programming and Zero-Sum Games for Constrained Control Systems". IEEE Transactions on Neural Networks. 19 (7): 1243–1252. doi:10.1109/TNN.2008.2000204.
46. Abu-Khalaf, Murad; Lewis, Frank L.; Huang, Jie (December 1, 2006). "Policy Iterations on the Hamilton–Jacobi–Isaacs Equation for State Feedback Control With Input Saturation". doi:10.1109/TAC.2006.884959.
47. A bot will complete this citation soon. Click here to jump the queue arXiv:[۱].
48. "This Person Does Not Exist: Neither Will Anything Eventually with AI". March 20, 2019.
49. "ARTificial Intelligence enters the History of Art". December 28, 2018.
50. Tom Février (2019-02-17). "Le scandale de l'intelligence ARTificielle".
51. "StyleGAN: Official TensorFlow Implementation". March 2, 2019.
52. Paez, Danny (2019-02-13). "This Person Does Not Exist Is the Best One-Off Website of 2019". Retrieved 2019-02-16.
53. BESCHIZZA, ROB (2019-02-15). "This Person Does Not Exist". Boing-Boing. Retrieved 2019-02-16.
54. Horev, Rani (2018-12-26). "Style-based GANs – Generating and Tuning Realistic Artificial Faces". Lyrn.AI. Archived from the original on 5 November 2020. Retrieved 2019-02-16.
55. Cohn, Gabe (2018-10-25). "AI Art at Christie's Sells for $432,500". The New York Times.
56. Mazzone, Marian; Ahmed Elgammal (21 February 2019). "Art, Creativity, and the Potential of Artificial Intelligence". Arts. 8: 26. doi:10.3390/arts8010026.
57. Yu, Yi; Canales, Simon (August 15, 2019). "Conditional LSTM-GAN for Melody Generation from Lyrics". arXiv:1908.05551 [cs.AI].
58. "Nvidia's AI recreates Pac-Man from scratch just by watching it being played". The Verge. 2020-05-22. {{cite news}}: Cite has empty unknown parameter: |1= (help)
59. Zhirui Zhang; Shujie Liu; Mu Li; Ming Zhou; Enhong Chen (October 2018). "Bidirectional Generative Adversarial Networks for Neural Machine Translation" (PDF). pp. 190–199.
60. Goodfellow, Ian; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua (2014). Generative Adversarial Networks (PDF). Proceedings of the International Conference on Neural Information Processing Systems (NIPS 2014). pp. 2672–2680.

پیوند به بیرون

• Knight, Will. "5 Big Predictions for Artificial Intelligence in 2017". MIT Technology Review. Retrieved 2017-01-05.
• A Style-Based Generator Architecture for Generative Adversarial Networks
• This Person Does Not Exist – photorealistic images of people who do not exist, generated by StyleGAN
• "Generative Adversarial Networks: A Survey and Taxonomy", recent review by Zhengwei Wang, Qi She, Tomas E. Ward
• https://medium.com/imagescv/what-is-cyclegan-and-how-to-use-it-2bfc772e6195
• https://www.geeksforgeeks.org/cycle-generative-adversarial-network-cyclegan-2/
• https://phamdinhkhanh.github.io/2021/01/20/CycleGAN.html