Генеративні Змагальні Мережі (GANs)

Генеративні змагальні мережі (GANs) — це клас генеративних моделей, запропонований Яном Гудфеллоу у 2014 році. Вони складаються з двох нейронних мереж — Генератора та Дискримінатора, які навчаються одночасно у рамках ігрової теорії. Генератор намагається створювати дані, схожі на реальні, тоді як дискримінатор намагається відрізнити реальні дані від згенерованих.

GAN навчаються генерувати зразки даних із шуму, розв'язуючи задачу мінімакс. У процесі навчання генератор поступово покращує здатність створювати реалістичні дані, а дискримінатор — розрізняти справжні та штучні дані.

Архітектура GAN

Базова модель GAN складається з двох основних компонентів:

1. Генератор (G)

Приймає на вхід випадковий вектор шуму $z \sim p_z(z)$ ;
Перетворює його за допомогою нейронної мережі у зразок даних $G(z)$ , який має бути схожим на дані з істинного розподілу.

2. Дискримінатор (D)

Приймає або справжній зразок даних $x \sim p_x(x)$ , або згенерований зразок $G(z)$ ;
Виводить скаляр у діапазоні від 0 до 1, оцінюючи ймовірність того, що вхід є справжнім.

Ці дві компоненти навчаються одночасно. Генератор прагне створювати реалістичні зразки, щоб обдурити дискримінатор, у той час як дискримінатор прагне правильно визначати справжні та згенеровані зразки.

Мінімаксна гра GAN

В основі GAN лежить мінімаксна гра, поняття з теорії ігор. У цій схемі:

Генератор $G$ і дискримінатор $D$ — це конкуруючі гравці;
$D$ прагне максимізувати свою здатність розрізняти справжні та згенеровані дані;
$G$ прагне мінімізувати здатність $D$ виявляти його підроблені дані.

Ця динаміка визначає гру з нульовою сумою, де виграш одного гравця є втратою іншого. Оптимізація визначається як:

\underset{G}{\min} \, \underset{D}{\max} \, V(D, G) = \mathbb{E}_{\mathbf{x} \sim p_{x}}[\log D(\mathbf{x})] + \mathbb{E}_{\mathbf{z} \sim p_z}[\log(1 - D(G(\mathbf{z})))]

Генератор намагається обдурити дискримінатор, генеруючи зразки $G(z)$ , які максимально наближені до справжніх даних.

Функції втрат

Хоча оригінальна цільова функція GAN визначає гру з мінімаксом, на практиці для стабілізації навчання використовуються альтернативні функції втрат.

Несатурована функція втрат генератора:

L_G=-\mathbb{E}_{z \sim p_z}[\log{D(G(z))}]

Це допомагає генератору отримувати сильні градієнти навіть тоді, коли дискримінатор працює добре.

Функція втрат дискримінатора:

L_D = -\mathbb{E}_{x \sim p_x}[\log{D(x)}] - \mathbb{E}_{z \sim p_z}[\log{(1-D(G(z)))}]

Ці функції втрат стимулюють генератор створювати зразки, які підвищують невизначеність дискримінатора та покращують збіжність під час навчання.

Основні варіанти архітектур GAN

Було розроблено кілька типів GAN для вирішення конкретних обмежень або підвищення продуктивності:

Conditional GAN (cGAN)

Conditional GAN розширюють стандартну архітектуру GAN шляхом введення додаткової інформації (зазвичай міток) як у генератор, так і в дискримінатор. Замість генерації даних лише з випадкового шуму, генератор отримує як шум $z$ , так і умову $y$ (наприклад, класову мітку). Дискримінатор також отримує $y$ для оцінки, чи є зразок реалістичним за цієї умови.

Сфери застосування: генерація зображень за класами, трансляція зображення в зображення, генерація з тексту в зображення.

Глибока згорткова GAN (DCGAN)

DCGAN замінюють повнозв'язні шари в оригінальних GAN на згорткові та транспоновані згорткові шари, що підвищує їхню ефективність для генерації зображень. Також впроваджуються архітектурні рекомендації, такі як видалення повнозв'язних шарів, використання пакетної нормалізації та застосування активацій ReLU/LeakyReLU.

Сфери застосування: фотореалістична генерація зображень, навчання візуальних представлень, безнаглядове навчання ознак.

CycleGAN CycleGAN вирішують задачу непарного перетворення зображення в зображення. На відміну від інших моделей, які потребують парних датасетів (наприклад, одне й те саме фото у двох різних стилях), CycleGAN можуть навчатися відображенням між двома доменами без парних прикладів. Вони використовують два генератори та два дискримінатори, кожен з яких відповідає за відображення в одному напрямку (наприклад, фото в картину і навпаки), і впроваджують втрату циклічної узгодженості, щоб гарантувати, що перетворення з одного домену і назад повертає оригінальне зображення. Ця втрата є ключовою для збереження змісту та структури.

Втрата циклічної узгодженості гарантує:

G_{BA}(G_{AB}(x)) \approx x\ \text{та}\ G_{AB}(G_{BA}(y))\approx y

де:

$G_{AB}$ відображає зображення з домену A в домен B;
$G_{BA}$ відображає з домену B в домен A.
$x \in A, y \in B$ .

Сфери застосування: перетворення фото в мистецтво, трансляція "кінь-зебра", конвертація голосу між мовцями.

StyleGAN

StyleGAN, розроблений компанією NVIDIA, впроваджує стильове керування у генераторі. Замість прямої подачі вектора шуму до генератора, він проходить через мережу відображення, яка створює "стильові вектори", що впливають на кожен шар генератора. Це забезпечує тонке керування візуальними ознаками, такими як колір волосся, вираз обличчя чи освітлення.

Важливі інновації:

Змішування стилів дозволяє комбінувати кілька латентних кодів;
Адаптивна нормалізація інстансів (AdaIN) контролює карти ознак у генераторі;
Поступове нарощування: навчання починається з низької роздільної здатності та поступово збільшується.

Сфери застосування: генерація зображень надвисокої роздільної здатності (наприклад, обличчя), керування візуальними атрибутами, генерація мистецтва.

Порівняння: GANs та VAEs

GANs — це потужний клас генеративних моделей, здатних створювати надзвичайно реалістичні дані завдяки змагальному процесу навчання. Їх основа — гра мінімакс між двома мережами, які використовують змагальні функції втрат для поступового вдосконалення обох компонентів. Ґрунтовне розуміння їхньої архітектури, функцій втрат — включаючи варіанти, такі як cGAN, DCGAN, CycleGAN та StyleGAN — а також їх відмінностей від інших моделей, зокрема VAEs, забезпечує необхідну базу для застосування у сферах, таких як генерація зображень, синтез відео, аугментація даних тощо.

1. Яке з наведеного найкраще описує компоненти базової архітектури GAN?

2. Яка мета гри мінімакс у GAN?

3. Яке з наступних тверджень є правильним щодо різниці між GAN та VAE?

Яке з наведеного найкраще описує компоненти базової архітектури GAN?

Select the correct answer

Енкодер і декодер, які навчаються незалежно.

Генератор, що кодує справжні дані, і дискримінатор, який їх реконструює.

Генератор, який створює дані, і дискримінатор, що оцінює їх реалістичність.

Варіаційний енкодер і класифікаційний дискримінатор.

Яка мета гри мінімакс у GAN?

Select the correct answer

Мінімізація помилки реконструкції між вхідними та вихідними даними.

Навчання як генератора, так і дискримінатора для максимізації однієї й тієї ж функції втрат.

Генератор мінімізує KL-дивергенцію, а дискримінатор максимізує точність.

Генератор намагається обдурити дискримінатор, а дискримінатор намагається виявити підробки.

Яке з наступних тверджень є правильним щодо різниці між GAN та VAE?

Select the correct answer

GAN явно моделюють ймовірність даних, VAE — ні.

GAN генерують чіткіші результати, але навчання часто менш стабільне, ніж у VAE.

VAE використовують змагальне навчання для створення даних.

Обидві моделі покладаються на зворотний зв'язок дискримінатора для оновлення генератора.

Все було зрозуміло?

Як ми можемо покращити це?

Дякуємо за ваш відгук!

Секція 2. Розділ 7

Запитати АІ

Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат

Awesome!

Completion rate improved to 4.76

Генеративні Змагальні Мережі (GANs)

Свайпніть щоб показати меню

Архітектура GAN

Базова модель GAN складається з двох основних компонентів:

1. Генератор (G)

Приймає на вхід випадковий вектор шуму $z \sim p_z(z)$ ;
Перетворює його за допомогою нейронної мережі у зразок даних $G(z)$ , який має бути схожим на дані з істинного розподілу.

2. Дискримінатор (D)

Приймає або справжній зразок даних $x \sim p_x(x)$ , або згенерований зразок $G(z)$ ;
Виводить скаляр у діапазоні від 0 до 1, оцінюючи ймовірність того, що вхід є справжнім.

Мінімаксна гра GAN

В основі GAN лежить мінімаксна гра, поняття з теорії ігор. У цій схемі:

Генератор $G$ і дискримінатор $D$ — це конкуруючі гравці;
$D$ прагне максимізувати свою здатність розрізняти справжні та згенеровані дані;
$G$ прагне мінімізувати здатність $D$ виявляти його підроблені дані.

\underset{G}{\min} \, \underset{D}{\max} \, V(D, G) = \mathbb{E}_{\mathbf{x} \sim p_{x}}[\log D(\mathbf{x})] + \mathbb{E}_{\mathbf{z} \sim p_z}[\log(1 - D(G(\mathbf{z})))]

Функції втрат

Несатурована функція втрат генератора:

L_G=-\mathbb{E}_{z \sim p_z}[\log{D(G(z))}]

Це допомагає генератору отримувати сильні градієнти навіть тоді, коли дискримінатор працює добре.

Функція втрат дискримінатора:

L_D = -\mathbb{E}_{x \sim p_x}[\log{D(x)}] - \mathbb{E}_{z \sim p_z}[\log{(1-D(G(z)))}]

Основні варіанти архітектур GAN

Було розроблено кілька типів GAN для вирішення конкретних обмежень або підвищення продуктивності:

Conditional GAN (cGAN)

Сфери застосування: генерація зображень за класами, трансляція зображення в зображення, генерація з тексту в зображення.

Глибока згорткова GAN (DCGAN)

Сфери застосування: фотореалістична генерація зображень, навчання візуальних представлень, безнаглядове навчання ознак.

Втрата циклічної узгодженості гарантує:

G_{BA}(G_{AB}(x)) \approx x\ \text{та}\ G_{AB}(G_{BA}(y))\approx y

де:

$G_{AB}$ відображає зображення з домену A в домен B;
$G_{BA}$ відображає з домену B в домен A.
$x \in A, y \in B$ .

StyleGAN

Важливі інновації:

Змішування стилів дозволяє комбінувати кілька латентних кодів;
Адаптивна нормалізація інстансів (AdaIN) контролює карти ознак у генераторі;
Поступове нарощування: навчання починається з низької роздільної здатності та поступово збільшується.

Порівняння: GANs та VAEs

1. Яке з наведеного найкраще описує компоненти базової архітектури GAN?

2. Яка мета гри мінімакс у GAN?

3. Яке з наступних тверджень є правильним щодо різниці між GAN та VAE?

Яке з наведеного найкраще описує компоненти базової архітектури GAN?

Select the correct answer

Енкодер і декодер, які навчаються незалежно.

Генератор, що кодує справжні дані, і дискримінатор, який їх реконструює.

Генератор, який створює дані, і дискримінатор, що оцінює їх реалістичність.

Варіаційний енкодер і класифікаційний дискримінатор.

Яка мета гри мінімакс у GAN?

Select the correct answer

Мінімізація помилки реконструкції між вхідними та вихідними даними.

Навчання як генератора, так і дискримінатора для максимізації однієї й тієї ж функції втрат.

Генератор мінімізує KL-дивергенцію, а дискримінатор максимізує точність.

Генератор намагається обдурити дискримінатор, а дискримінатор намагається виявити підробки.

Яке з наступних тверджень є правильним щодо різниці між GAN та VAE?

Select the correct answer

GAN явно моделюють ймовірність даних, VAE — ні.

GAN генерують чіткіші результати, але навчання часто менш стабільне, ніж у VAE.

VAE використовують змагальне навчання для створення даних.

Обидві моделі покладаються на зворотний зв'язок дискримінатора для оновлення генератора.

Все було зрозуміло?

Як ми можемо покращити це?

Дякуємо за ваш відгук!

Секція 2. Розділ 7