Автокодери та варіаційні автокодери

Автокодери — це нейронні мережі, призначені для навчання ефективних представлень даних за допомогою процесів кодування та декодування. Стандартний автокодер складається з двох компонентів:

1. Кодувальник: стискає вхідні дані до представлення з меншою розмірністю.
2. Декодувальник: відновлює початкові дані зі стисненого представлення.

Традиційні автокодери навчаються детермінованим відображенням, тобто стискають дані у фіксований латентний простір. Однак їм важко генерувати різноманітні результати, оскільки їхній латентний простір позбавлений структури та плавності.

Відмінності між стандартними автокодерами та VAE

Варіаційні автокодери (VAE) вдосконалюють стандартні автокодери шляхом введення ймовірнісного латентного простору, що дозволяє структуровано та осмислено генерувати нові дані.

Структура енкодера-декодера та представлення латентного простору

VAE складаються з двох основних компонентів:

1. Енкодер: Відображає вхідні дані у ймовірнісний розподіл у нижчовимірному латентному просторі $z$.
2. Декодер: Виконує вибірку з латентного простору та відновлює вхідні дані.

Математичне формулювання:

Енкодер генерує середнє значення та дисперсію для латентного простору:

де:

• $\mu$ — середнє значення розподілу латентного простору;
• $\sigma^2$ — дисперсія;
• $f_\mu$ та $f_\sigma$ — функції, параметризовані $\theta$, зазвичай реалізовані у вигляді нейронних мереж.

Замість прямої передачі цих параметрів декодеру, ми здійснюємо вибірку з гаусівського розподілу, використовуючи трюк репараметризації:

де:

• $\odot$ позначає поелементне множення;
• $\epsilon$ — випадкова змінна, вибрана зі стандартного нормального розподілу.

Цей трюк дозволяє градієнтам проходити через процес вибірки, що робить можливим застосування зворотного поширення помилки. Без цього трюку стохастична вибірка унеможливлює навчання на основі градієнтів.

Декодер реконструює вхідні дані з $z$, навчаючись функції $g(z; \phi)$, яка повертає параметри розподілу даних. Мережа декодера навчається мінімізувати різницю між реконструйованими та оригінальними даними, забезпечуючи якісну реконструкцію.

Ймовірнісне моделювання у VAE

VAE базуються на байєсівському висновку, що дозволяє моделювати зв'язок між спостережуваними даними $x$ та латентними змінними $z$ за допомогою ймовірнісних розподілів. Основний принцип ґрунтується на теоремі Байєса:

Оскільки обчислення $p(x)$ вимагає інтегрування по всіх можливих латентних змінних, що є обчислювально складним, VAE апроксимують апостеріорний розподіл $p(z∣x)$ простішою функцією $q(z∣x)$, що забезпечує ефективний висновок.

Нижня межа доказу (ELBO)

Замість максимізації обчислювально складної маргінальної ймовірності $p(x)$, VAE максимізують її нижню межу, яка називається нижньою межею доказу (ELBO):

де:

• Перший доданок, $\mathbb{E}_{q(z|x)}[\log{p(x|z)}]$, є втратою реконструкції, що забезпечує схожість вихідних даних з вхідними;
• Другий доданок, $D_{KL}(q(z|x)\ ||\ p(z))$, є дивергенцією Кульбака-Лейблера, яка регуляризує латентний простір, забезпечуючи близькість $q(z∣x)$ до апріорного розподілу $p(z)$.

Збалансовуючи ці два доданки, VAE досягають компромісу між точною реконструкцією та гладким представленням латентного простору.

Застосування VAE

1. Виявлення аномалій

VAE здатні навчатися нормальній структурі даних. При зустрічі з аномальними вхідними даними модель не може якісно їх реконструювати, що призводить до вищих помилок реконструкції, які можна використовувати для виявлення аномалій.

2. Синтез зображень

VAE можуть генерувати нові зображення шляхом вибірки з вивченого латентного простору. Вони широко застосовуються у таких задачах, як:

• Генерація облич (наприклад, створення нових людських облич);
• Стильовий трансфер (наприклад, поєднання художніх стилів).

3. Генерація тексту

VAE можна адаптувати для задач обробки природної мови (NLP), де вони використовуються для створення різноманітних і зв'язних текстових послідовностей.

4. Розробка лікарських засобів

VAE застосовуються в біоінформатиці та розробці лікарських засобів, де вони генерують молекулярні структури з бажаними властивостями.

Висновок

Варіаційні автокодери — це потужний клас генеративних моделей, які впроваджують ймовірнісне моделювання в автокодери. Їхня здатність генерувати різноманітні та реалістичні дані зробила їх фундаментальним компонентом сучасного генеративного ШІ.

У порівнянні з традиційними автокодерами, VAE забезпечують структурований латентний простір, покращуючи генеративні можливості. З розвитком досліджень VAE продовжують відігравати ключову роль у застосуваннях ШІ, що охоплюють комп'ютерний зір, NLP та інші сфери.