Summary  
This chapter covers the mathematical behavior and implementation of the sigmoid and tanh activation functions to squash inputs into fixed ranges and control information flow in a neural network’s memory units.  

General domain of usage  
Recurrent neural networks (RNNs)

As funções de ativação **sigmoid** e **tanh** são analisadas, pois desempenham um papel fundamental no funcionamento das **RNNs**. Essas funções transformam entradas em saídas, permitindo que o modelo faça previsões.


- **Ativação sigmoid**: a função sigmoid mapeia valores de entrada para um intervalo de saída entre 0 e 1. É comumente utilizada em tarefas de classificação binária, pois sua saída pode ser interpretada como uma probabilidade. No entanto, sofre com o **problema do gradiente desaparecendo** quando os valores de entrada são muito grandes ou muito pequenos;  
- **Ativação tanh**: a função **tanh** é semelhante à sigmoid, mas mapeia os valores de entrada para um intervalo de saída entre -1 e 1. Isso ajuda a centralizar os dados em torno de zero, o que pode facilitar o aprendizado. Apesar dos benefícios, também sofre com o problema do gradiente desaparecendo em certas situações;  
- **Funcionamento do sigmoid e tanh**: ambas as funções atuam comprimindo os valores de entrada em um intervalo limitado. A principal diferença está no intervalo de saída: **sigmoid** (0 a 1) vs. **tanh** (-1 a 1), o que afeta como a rede processa e atualiza as informações.

No próximo capítulo, será abordado como essas funções de ativação desempenham um papel nas redes **LSTM** e como ajudam a superar algumas das limitações das RNNs padrão.


Qual é o intervalo de saída da função de ativação sigmoid?

Domine redes neurais recorrentes e suas variantes avançadas, como LSTMs e GRUs, utilizando PyTorch. Adquira experiência prática no processamento de dados sequenciais para aplicações reais. Aplique esses modelos poderosos para enfrentar desafios do mundo real em previsão de séries temporais e diversas tarefas de processamento de linguagem natural.

Aborda as limitações das redes neurais tradicionais para dados sequenciais e apresenta os fundamentos das Redes Neurais Recorrentes. Explica a arquitetura das RNNs, seus tipos e a implementação passo a passo por meio de exemplos básicos e um desafio de programação.

Explora desafios comuns de treinamento, como gradientes desaparecendo e explodindo. Introduz variantes avançadas de RNN, incluindo LSTM e GRU, destacando seus mecanismos internos e casos de uso, com exemplos práticos de implementação para cada uma.

Foca no processamento e previsão de dados de séries temporais utilizando modelos baseados em RNN. Inclui carregamento de dados, técnicas de pré-processamento, treinamento de modelos e avaliação de desempenho, com ênfase na comparação entre as arquiteturas LSTM e GRU.

Demonstra a aplicação de RNNs em tarefas de classificação de texto. Aborda conceitos fundamentais de PLN, métodos de codificação de texto, etapas de preparação de dados e construção de um modelo baseado em LSTM para predição de sentimento.

Ativação Sigmoid e Tanh

Awesome!

Ativação Sigmoid e Tanh