Як Працює RNN?

• Послідовна обробка: RNN обробляє дані крок за кроком, відстежуючи попередню інформацію;
• Завершення речення: при незавершеному реченні "My favourite dish is sushi. So, my favourite cuisine is _____." RNN обробляє слова по черзі. Після слова "sushi" мережа прогнозує наступне слово як "Japanese" на основі попереднього контексту;
• Пам'ять у RNN: на кожному кроці RNN оновлює свій внутрішній стан (пам'ять) новою інформацією, зберігаючи контекст для наступних кроків;
• Навчання RNN: RNN навчаються за допомогою зворотного поширення через час (BPTT), коли помилки передаються назад через кожен часовий крок для коригування ваг з метою покращення прогнозів.

Пряме поширення

Під час прямого поширення RNN обробляє вхідні дані крок за кроком:

1. Вхід на часовому кроці $t$: мережа отримує вхід $x_t$ на кожному часовому кроці;
2. Оновлення прихованого стану: поточний прихований стан $h_t$ оновлюється на основі попереднього прихованого стану $h_{t-1}$ та поточного входу $x_t$ за наступною формулою:

• Де:
  • $W$ — матриця ваг;
  • $b$ — вектор зсуву;
  • $f$ — функція активації.

3. Генерація виходу: вихід $y_t$ генерується на основі поточного прихованого стану $h_t$ за формулою:

• Де:
  • $V$ — матриця ваг виходу;
  • $c$ — зсув виходу;
  • $g$ — функція активації на вихідному шарі.

Процес зворотного поширення

Зворотне поширення в RNN є ключовим для оновлення ваг і покращення моделі. Процес модифікується з урахуванням послідовної природи RNN через зворотне поширення у часі (BPTT):

1. Обчислення помилки: перший крок у BPTT — обчислення помилки на кожному часовому кроці. Зазвичай ця помилка — це різниця між передбаченим виходом і фактичною ціллю;
2. Обчислення градієнта: у рекурентних нейронних мережах градієнти функції втрат обчислюються шляхом диференціювання помилки відносно параметрів мережі та поширюються назад у часі від останнього до початкового кроку, що може призводити до зникнення або вибуху градієнтів, особливо на довгих послідовностях;
3. Оновлення ваг: після обчислення градієнтів ваги оновлюються за допомогою методу оптимізації, такого як стохастичний градієнтний спуск (SGD). Ваги коригуються так, щоб помилка зменшувалася у майбутніх ітераціях. Формула для оновлення ваг:

• Де:
  • $\eta$ — швидкість навчання;
  • $\frac{\partial \text{Loss}}{\partial W}$ — градієнт функції втрат відносно матриці ваг.

Підсумовуючи, RNN є потужними, оскільки здатні запам'ятовувати та використовувати попередню інформацію, що робить їх придатними для задач, пов'язаних із послідовностями.