Ймовірнісні розподіли та випадковість лежать в основі генеративних моделей, дозволяючи системам штучного інтелекту створювати різноманітні та реалістичні результати. Замість явного визначення теорії ймовірностей, цей розділ зосереджується на тому, як ймовірність використовується в генеративному ШІ для моделювання невизначеності, вибірки даних і навчання генеративних моделей.

Роль ймовірнісних розподілів у генеративному ШІ

Генеративні моделі використовують ймовірнісні розподіли для вивчення закономірностей у даних і створення нових вибірок. Основні ідеї включають:

• Латентне просторове представлення: багато генеративних моделей (наприклад, VAE, GAN) відображають вхідні дані у ймовірнісний розподіл меншої розмірності. Вибірка з цього розподілу дозволяє генерувати нові точки даних;
• Оцінка правдоподібності: ймовірнісні моделі оцінюють правдоподібність спостереження точки даних відповідно до вивченого розподілу, що спрямовує навчання;
• Вибірка та генерація: процес випадкового вибору з вивчених розподілів для створення нових синтетичних даних.

Ключові математичні поняття:

Для розподілу ймовірностей $p(x)$, ймовірність даних $X$ за заданих параметрів моделі $\theta$ визначається як:

Максимізація цієї ймовірності допомагає генеративним моделям вивчати закономірності у даних. У генеративному ШІ моделі часто припускають певні форми розподілів ймовірностей — такі як гаусівський, бінарний або категоріальний — для представлення даних. Вибір розподілу впливає на те, як моделі навчаються та генерують нові зразки. Наприклад, у генерації тексту категоріальні розподіли використовуються для моделювання ймовірності кожного можливого слова з урахуванням попередніх слів.

Випадковість і шум у генеративних моделях

Шум відіграє важливу роль у генеративному ШІ, забезпечуючи різноманітність і підвищуючи стійкість:

• Латентний шум у GAN: у GAN вектор шуму $z \sim p(x)$ (часто вибирається з гаусівського або рівномірного розподілу) перетворюється генератором у реалістичні зразки. Ця випадковість забезпечує варіативність згенерованих зображень;
• Варіаційний висновок у VAE: у VAE в латентному просторі додається гаусівський шум, що дозволяє плавно інтерполювати між згенерованими зразками. Це гарантує, що незначні зміни латентних змінних призводять до суттєвих варіацій у вихідних даних;
• Дифузійні моделі та стохастичні процеси: ці моделі навчаються зворотному процесу поступового додавання шуму для генерації якісних даних. Поступово вдосконалюючи зашумлені вхідні дані, вони здатні створювати складні, реалістичні зображення.

Приклад: Гаусівський латентний простір у VAE

У VAE енкодер формує параметри гаусівського розподілу:

Замість використання детермінованого відображення, VAE здійснюють вибірку з цього розподілу, вводячи контрольовану випадковість, що забезпечує різноманітність генерації. Такий підхід дозволяє VAE генерувати нові обличчя шляхом інтерполяції між різними представленнями у латентному просторі.

Методи вибірки у генеративному ШІ

Техніки вибірки є ключовими для генерації нових точок даних із вивчених розподілів:

• Монте-Карло вибірка: використовується у ймовірнісних моделях, таких як байєсівський висновок, для апроксимації математичних сподівань. Інтегрування Монте-Карло оцінює математичне сподівання як:

де $X_i$ вибираються з цільового розподілу.

• Трюк репараметризації: у VAE забезпечує проходження градієнта через стохастичні вузли шляхом вираження $z$ як:

Цей трюк дозволяє ефективно виконувати зворотне поширення через стохастичні шари.

• Анцестральне вибіркове моделювання: в авторегресивних моделях (наприклад, GPT) зразки генеруються послідовно на основі умовних ймовірностей. Наприклад, при генерації тексту модель прогнозує наступне слово з урахуванням попередніх:

Цей послідовний процес забезпечує зв’язність згенерованого тексту.

Приклад: Анцестральне вибіркове моделювання у генерації тексту

Припустимо, ми навчаємо генеративну модель створювати англійські речення. Для вхідних даних "The cat" модель вибирає наступне слово з вивченої ймовірнісної розподілу, отримуючи такі результати:

• "The cat sleeps."
• "The cat jumps."
• "The cat is hungry."

Кожне передбачення наступного слова залежить від раніше згенерованих слів, створюючи змістовні послідовності.

Практичні застосування у генеративному ШІ

• GAN: використовують вектори шуму для генерації високоякісних зображень;
• VAE: кодують дані у ймовірнісний розподіл для плавної інтерполяції у латентному просторі;
• Диффузійні моделі: використовують стохастичне видалення шуму для поетапної генерації зображень;
• Баєсівські генеративні моделі: моделюють невизначеність у генеративних завданнях.

Висновок

Ймовірність і випадковість є основою генеративного ШІ, дозволяючи моделям вивчати розподіли, генерувати різноманітні результати та наближати варіативність реального світу. Наступні розділи будуть ґрунтуватися на цих поняттях для вивчення ймовірнісного моделювання, нейронних мереж і генеративних архітектур.