Розуміння байєсівського висновування в штучному інтелекті

Що таке байєсівське висновування?

Байєсівське висновування — це статистичний метод, який використовується для оновлення ймовірностей на основі нових доказів. Системи штучного інтелекту застосовують байєсівське висновування для уточнення своїх прогнозів у міру накопичення нових даних.

Уявіть, що ви прогнозуєте погоду. Якщо у вашому місті зазвичай сонячно, але ви бачите, як збираються темні хмари, ви коригуєте свої очікування та прогнозуєте дощ. Саме так працює байєсівське висновування — починається з початкового припущення (апріорі), враховується нова інформація, і відповідно оновлюється припущення.

де:

• $P(H|D)$ — апостеріорна ймовірність, оновлена ймовірність гіпотези $H$ за умови даних $D$;
• $P(D|H)$ — правдоподібність, що відображає, наскільки добре гіпотеза $H$ пояснює дані $D$;
• $P(H)$ — апріорна ймовірність, початкове припущення до спостереження $D$;
• $P(D)$ — маргінальна правдоподібність, яка виконує роль нормалізуючої константи.

Постановка задачі: AI-фільтр спаму використовує байєсівську класифікацію.

• 20% електронних листів є спамом (P(Spam) = 0.2);
• 80% електронних листів не є спамом (P(Not Spam) = 0.8);
• 90% спам-листів містять слово «urgent» (P(Urgent | Spam) = 0.9);
• 10% звичайних листів містять слово «urgent» (P(Urgent | Not Spam) = 0.1).

Питання:
Якщо електронний лист містить слово "urgent", яка ймовірність того, що це спам (P(Spam | Urgent))?

Марковські процеси: прогнозування майбутнього

Що таке марковський ланцюг?

Марковський ланцюг — це математична модель, у якій наступний стан залежить лише від поточного стану, а не від попередніх. Широко використовується в AI для моделювання послідовних даних і процесів прийняття рішень. Ось основні формули, що використовуються в марковських процесах:

1. Формула ймовірності переходу
Ймовірність того, що система перебуває у стані $S_j$ у момент часу $t$ за умови, що попередній стан був $S_i$ у момент часу $t-1$:

де $T_{ij}$ — ймовірність переходу зі стану $S_i$ у стан $S_j$;

2. Оновлення ймовірності стану
Розподіл ймовірностей по станах у момент часу $t$:

де:

• $P_t$ — ймовірність стану у момент часу $t$.
• $P_{t-1}$ — ймовірність стану у момент часу $t-1$.
• $T$ — матриця переходів.

3. Ймовірність стаціонарного стану (Довгострокова поведінка)
Для марківського процесу, що триває довго, ймовірність стаціонарного стану $P_s$ задовольняє умову:

Це рівняння розв'язується для знаходження розподілу рівноваги, при якому ймовірності не змінюються з часом.

Постановка задачі: У певному місті погода змінюється між Сонячними та Дощовими днями. Ймовірності переходу між цими станами задані наступною матрицею переходів:

Де:

• 0.7 — ймовірність того, що після Сонячного дня знову буде Сонячний день;
• 0.3 — ймовірність того, що Сонячний день зміниться на Дощовий;
• 0.6 — ймовірність того, що Дощовий день зміниться на Сонячний;
• 0.4 — ймовірність того, що після Дощового дня знову буде Дощовий день.

Якщо сьогодні погода Сонячна, яка ймовірність того, що через два дні буде Дощова погода?

Марковські процеси прийняття рішень (MDP): Навчання ШІ приймати рішення

MDP розширюють марковські ланцюги, вводячи дії та винагороди, що дозволяє ШІ приймати оптимальні рішення, а не лише передбачати стани.

Приклад: Робот у лабіринті

Робот, що рухається лабіринтом, навчається, які шляхи ведуть до виходу, враховуючи:

• Дії: рух ліворуч, праворуч, вгору або вниз;
• Винагороди: успішне досягнення цілі, зіткнення зі стіною або перешкодою;
• Оптимальна стратегія: вибір дій, що максимізують винагороду.

MDP широко застосовуються в ігровому ШІ, робототехніці та системах рекомендацій для оптимізації прийняття рішень.

Приховані марковські моделі (HMM): Розпізнавання невидимих закономірностей

HMM — це марковська модель, у якій деякі стани приховані, і ШІ має робити висновки про них на основі спостережуваних даних.

Приклад: Розпізнавання мовлення

Коли ви говорите з Siri або Alexa, ШІ не бачить слова безпосередньо. Замість цього він обробляє звукові хвилі та намагається визначити найбільш ймовірну послідовність слів.

HMM є ключовими у:

• Розпізнаванні мовлення та тексту: ШІ розшифровує усну мову та рукописний текст;
• Прогнозуванні фондового ринку: ШІ моделює приховані тенденції для прогнозування коливань ринку;
• Робототехніці та іграх: агенти під керуванням ШІ роблять висновки про приховані стани на основі спостережуваних подій.

Висновок

Баєсівський висновок забезпечує строгий спосіб оновлення переконань у моделях ШІ, а марковські процеси надають потужні інструменти для моделювання послідовних залежностей. Ці принципи лежать в основі ключових застосувань генеративного ШІ, включаючи навчання з підкріпленням, ймовірнісні графові моделі та структуровану генерацію послідовностей.