Summary  
This chapter covers implementing, training, and evaluating two recurrent neural network architectures (LSTM and GRU) by defining their model structures, running training loops with measured execution time and loss metrics, and comparing their prediction performance through plotting.

General domain of usage  
Time series forecasting

Наведено порівняння, що підкреслює основні відмінності між мережами **довготривалої короткочасної пам'яті (LSTM)** та **рекурентним блоком із затворами (GRU)**.


Вирішення проблеми зникнення градієнта в RNN, захоплення довгострокових залежностей.

Вирішення проблеми зникнення градієнта в RNN, захоплення довгострокових залежностей із простішою структурою.

Використовує три затвори.

Використовує два затвори.

1. Затвор забування: визначає, яку інформацію відкинути;2. Вхідний затвор: визначає, яку нову інформацію зберегти;3. Вихідний затвор: визначає, яку частину стану комірки вивести.

1. Затвор скидання: визначає, скільки минулої інформації забути;2. Затвор оновлення: контролює оновлення прихованого стану.

Підтримує окремий стан комірки (довготривала пам'ять).

Не має окремого стану комірки. Використовує лише прихований стан для передачі інформації.

Потік інформації регулюється трьома затворами та окремим станом комірки.

Потік інформації регулюється двома затворами та прихованим станом.

Більш складна через окремі стани комірки та приховані стани і додатковий затвор.

Простіша, ніж LSTM, що може забезпечити швидше навчання та інференс.

Повільніше через складнішу архітектуру.

Швидше завдяки меншій кількості параметрів і простішим обчисленням.

Може показувати кращі результати у завданнях, що потребують вивчення довготривалих залежностей.

Порівнянна з LSTM у багатьох завданнях, іноді краща на менших наборах даних.

Широко використовується у розпізнаванні мовлення, мовному моделюванні, прогнозуванні часових рядів.

Також використовується у подібних завданнях, часто обирається при обмежених обчислювальних ресурсах.

Більше параметрів через додатковий затвор і окремий стан комірки.

Менше параметрів, що може зменшити ризик перенавчання та покращити узагальнення.

Завантажити код до цього розділу

Скільки вентилів має мережа GRU?

Опановуйте рекурентні нейронні мережі та їхні розширені варіанти, такі як LSTM і GRU, використовуючи PyTorch. Отримайте практичний досвід обробки послідовних даних для реальних застосувань. Застосовуйте ці потужні моделі для вирішення практичних завдань прогнозування часових рядів і різноманітних задач обробки природної мови.

Охоплює обмеження традиційних нейронних мереж для послідовних даних та знайомить з основами рекурентних нейронних мереж. Пояснює архітектуру RNN, типи та покрокову реалізацію на базових прикладах і через практичне завдання з програмування.

Розглядаються поширені проблеми навчання, такі як зникнення та вибух градієнтів. Представляються просунуті варіанти RNN, зокрема LSTM та GRU, з акцентом на їхні внутрішні механізми та сфери застосування, а також практичні приклади реалізації для кожного.

Зосереджено на обробці та прогнозуванні даних часових рядів за допомогою моделей на основі RNN. Містить завантаження даних, методи попередньої обробки, навчання моделей і оцінювання продуктивності з акцентом на порівнянні архітектур LSTM і GRU.

Демонструє застосування RNN до завдань класифікації тексту. Охоплює основні поняття NLP, методи кодування тексту, етапи підготовки даних та побудову моделі на основі LSTM для прогнозування сентименту.

LSTM проти GRU для Часових Рядів

LSTM проти GRU для Часових Рядів