Summary  
This chapter covers how to implement Long Short-Term Memory (LSTM) networks by detailing the forget, input, and output gates that regulate information flow and update cell state to learn long-term dependencies in sequential data.

General domain of usage  
Time series forecasting (e.g., stock market prediction)

**Довготривала короткочасна пам’ять** (**LSTM**) — це тип архітектури RNN, розроблений для вирішення проблем **зникнення градієнтів** та **довгострокових залежностей**. LSTM здатні зберігати інформацію протягом тривалого часу, що робить їх особливо корисними для задач, пов’язаних із послідовностями.


Визначення

- **Структура LSTM**: LSTM складається з трьох основних компонентів — **забувальна комірка** (forget gate), **вхідна комірка** (input gate) та **вихідна комірка** (output gate). Ці комірки керують потоком інформації в мережі, дозволяючи вирішувати, що зберігати, а що забувати;  
- **Забувальна комірка**: забувальна комірка визначає, яку інформацію з попереднього кроку часу слід відкинути. Вона видає число від 0 до 1, де 0 означає "забути", а 1 — "залишити" інформацію;  
- **Вхідна комірка**: вхідна комірка контролює, яка нова інформація буде додана до стану комірки. Вона також видає значення від 0 до 1, визначаючи, скільки нових даних слід включити;  
- **Вихідна комірка**: вихідна комірка визначає, яка частина стану комірки буде виведена. Стан комірки оновлюється на кожному кроці часу на основі взаємодії між цими комірками;  
- **Переваги LSTM**: LSTM краще справляються з довгостроковими залежностями порівняно з традиційними RNN. Комірки в LSTM допомагають уникнути **проблеми зникнення градієнта**, що дозволяє мережі навчатися та зберігати інформацію протягом багатьох кроків часу.



Підсумовуючи, LSTM є потужним розширенням RNN, яке вирішує ключові обмеження традиційних RNN, особливо при роботі з довгими послідовностями або завданнями, що вимагають збереження інформації протягом часу.

Який із наведених компонентів НЕ є частиною архітектури LSTM?

Опановуйте рекурентні нейронні мережі та їхні розширені варіанти, такі як LSTM і GRU, використовуючи PyTorch. Отримайте практичний досвід обробки послідовних даних для реальних застосувань. Застосовуйте ці потужні моделі для вирішення практичних завдань прогнозування часових рядів і різноманітних задач обробки природної мови.

Охоплює обмеження традиційних нейронних мереж для послідовних даних та знайомить з основами рекурентних нейронних мереж. Пояснює архітектуру RNN, типи та покрокову реалізацію на базових прикладах і через практичне завдання з програмування.

Розглядаються поширені проблеми навчання, такі як зникнення та вибух градієнтів. Представляються просунуті варіанти RNN, зокрема LSTM та GRU, з акцентом на їхні внутрішні механізми та сфери застосування, а також практичні приклади реалізації для кожного.

Зосереджено на обробці та прогнозуванні даних часових рядів за допомогою моделей на основі RNN. Містить завантаження даних, методи попередньої обробки, навчання моделей і оцінювання продуктивності з акцентом на порівнянні архітектур LSTM і GRU.

Демонструє застосування RNN до завдань класифікації тексту. Охоплює основні поняття NLP, методи кодування тексту, етапи підготовки даних та побудову моделі на основі LSTM для прогнозування сентименту.

Мережі Довготривалої Короткочасної Пам'яті (LSTM)