Summary  
This chapter explains how the sigmoid and tanh activation functions map inputs into fixed ranges—[0,1] for sigmoid and [–1,1] for tanh—and how these ranges are used as gating mechanisms in recurrent neural networks to control information retention and state updates.  

General domain of usage  
Recurrent neural networks

**Сигмоїдна** та **tanh** функції активації розглядаються як такі, що відіграють ключову роль у роботі **RNN**.

**Сигмоїдна** та **tanh** функції перетворюють вхідні дані на вихідні, дозволяючи моделі здійснювати прогнозування.


Визначення

- **Сигмоїдна активація**: сигмоїдна функція відображає вхідні значення у вихідний діапазон від 0 до 1. Зазвичай використовується для задач бінарної класифікації, оскільки її вихід можна трактувати як ймовірність. Проте вона має проблему **зникнення градієнта** при дуже великих або дуже малих вхідних значеннях;
- **Tanh-активація**: функція **tanh** подібна до сигмоїдної, але відображає вхідні значення у вихідний діапазон від -1 до 1. Це допомагає центрирувати дані навколо нуля, що може сприяти навчанню. Незважаючи на переваги, вона також страждає від проблеми зникнення градієнта в певних ситуаціях;
- **Робота сигмоїдної та tanh-функцій**: обидві функції стискають вхідні значення у обмежений діапазон. Основна відмінність полягає у вихідному діапазоні: **sigmoid** (від 0 до 1) проти **tanh** (від -1 до 1), що впливає на те, як мережа обробляє та оновлює інформацію.

У наступному розділі розглянемо, яку роль ці функції активації відіграють у мережах **LSTM** та як вони допомагають долати деякі обмеження стандартних RNN.


Який вихідний діапазон сигмоїдної функції активації?

Зосередження виключно на рекурентних нейронних мережах (RNN) та їх застосуванні для генерації послідовностей. Цей поглиблений модуль охоплює основну теорію RNN і практичні підходи до моделювання послідовних даних, готуючи до практичної роботи з мережами LSTM і GRU на Python.

Сигмоїдальні та Тангенсні Активації для RNN