Summary  
This chapter explains the sigmoid and tanh activation functions, detailing how they squash input values into bounded ranges (0 to 1 for sigmoid, –1 to 1 for tanh) and how those ranges influence gradient behavior and gating decisions in network layers.

General domain of usage  
Recurrent neural networks

**Сигмоїдна** та **tanh** функції активації розглядаються як такі, що відіграють ключову роль у роботі **RNN**.

**Сигмоїдна** та **tanh** функції перетворюють вхідні дані у вихідні, дозволяючи моделі здійснювати передбачення.


Визначення

- **Сигмоїдна активація**: сигмоїдна функція відображає вхідні значення у вихідний діапазон від 0 до 1. Зазвичай використовується для задач бінарної класифікації, оскільки її вихід можна інтерпретувати як ймовірність. Однак вона страждає від **проблеми зникнення градієнта** при дуже великих або дуже малих вхідних значеннях;  
- **Tanh-активація**: функція **tanh** подібна до сигмоїдної, але відображає вхідні значення у вихідний діапазон від -1 до 1. Це допомагає центрирувати дані навколо нуля, що може сприяти навчанню. Незважаючи на переваги, вона також страждає від проблеми зникнення градієнта в певних ситуаціях;  
- **Робота сигмоїдної та tanh-функцій**: обидві функції стискають вхідні значення у обмежений діапазон. Основна відмінність полягає у їхньому вихідному діапазоні: **sigmoid** (0 до 1) проти **tanh** (-1 до 1), що впливає на те, як мережа обробляє та оновлює інформацію.

У наступному розділі розглянемо, яку роль ці функції активації відіграють у мережах **LSTM** та як вони допомагають долати деякі обмеження стандартних RNN.


Який вихідний діапазон сигмоїдної функції активації?

Опановуйте рекурентні нейронні мережі та їхні розширені варіанти, такі як LSTM і GRU, використовуючи PyTorch. Отримайте практичний досвід обробки послідовних даних для реальних застосувань. Застосовуйте ці потужні моделі для вирішення практичних завдань прогнозування часових рядів і різноманітних задач обробки природної мови.

Охоплює обмеження традиційних нейронних мереж для послідовних даних та знайомить з основами рекурентних нейронних мереж. Пояснює архітектуру RNN, типи та покрокову реалізацію на базових прикладах і через практичне завдання з програмування.

Розглядаються поширені проблеми навчання, такі як зникнення та вибух градієнтів. Представляються просунуті варіанти RNN, зокрема LSTM та GRU, з акцентом на їхні внутрішні механізми та сфери застосування, а також практичні приклади реалізації для кожного.

Зосереджено на обробці та прогнозуванні даних часових рядів за допомогою моделей на основі RNN. Містить завантаження даних, методи попередньої обробки, навчання моделей і оцінювання продуктивності з акцентом на порівнянні архітектур LSTM і GRU.

Демонструє застосування RNN до завдань класифікації тексту. Охоплює основні поняття NLP, методи кодування тексту, етапи підготовки даних та побудову моделі на основі LSTM для прогнозування сентименту.

Сигмоїдальні та Тангенціальні Функції Активації