Summary  
This chapter explains the sigmoid and tanh activation functions, detailing how they squash input values into bounded ranges (0 to 1 for sigmoid, –1 to 1 for tanh) and how those ranges influence gradient behavior and gating decisions in network layers.

General domain of usage  
Recurrent neural networks

Se exploran las funciones de activación **sigmoide** y **tanh**, ya que desempeñan un papel fundamental en el funcionamiento de las **RNNs**.

Las funciones **sigmoide** y **tanh** transforman las entradas en salidas, permitiendo que el modelo realice predicciones.


Definición

- **Activación sigmoide**: la función sigmoide transforma los valores de entrada a un rango de salida entre 0 y 1. Se utiliza comúnmente en tareas de clasificación binaria, ya que su salida puede interpretarse como una probabilidad. Sin embargo, presenta el **problema del gradiente desvanecido** cuando los valores de entrada son muy grandes o muy pequeños;  
- **Activación tanh**: la función **tanh** es similar a la sigmoide, pero transforma los valores de entrada a un rango de salida entre -1 y 1. Ayuda a centrar los datos alrededor de cero, lo que puede facilitar el aprendizaje. A pesar de sus ventajas, también sufre el problema del gradiente desvanecido en ciertas situaciones;  
- **Funcionamiento de sigmoide y tanh**: ambas funciones comprimen los valores de entrada en un rango acotado. La diferencia principal radica en su rango de salida: **sigmoide** (0 a 1) frente a **tanh** (-1 a 1), lo que afecta cómo la red procesa y actualiza la información.

En el próximo capítulo, se analizará cómo estas funciones de activación desempeñan un papel en las redes **LSTM** y cómo ayudan a superar algunas de las limitaciones de las RNN estándar.


¿Cuál es el rango de salida de la función de activación sigmoide?

Domina las redes neuronales recurrentes y sus variantes avanzadas como LSTMs y GRUs utilizando PyTorch. Adquiere experiencia práctica procesando datos secuenciales para aplicaciones reales. Aplica estos potentes modelos para abordar desafíos del mundo real en la predicción de series temporales y diversas tareas de procesamiento de lenguaje natural.

Aborda las limitaciones de las redes neuronales tradicionales para datos secuenciales e introduce los fundamentos de las Redes Neuronales Recurrentes. Explica la arquitectura de las RNN, sus tipos y la implementación paso a paso mediante ejemplos básicos y un desafío de codificación.

Explora desafíos comunes de entrenamiento como los gradientes desvanecientes y explosivos. Presenta variantes avanzadas de RNN, incluyendo LSTM y GRU, destacando sus mecanismos internos y casos de uso, con ejemplos prácticos de implementación para cada una.

Se centra en el procesamiento y la predicción de datos de series temporales utilizando modelos basados en RNN. Incluye carga de datos, técnicas de preprocesamiento, entrenamiento de modelos y evaluación del rendimiento, con énfasis en la comparación de las arquitecturas LSTM y GRU.

Demuestra la aplicación de RNN a tareas de clasificación de texto. Cubre conceptos fundamentales de PLN, métodos de codificación de texto, pasos de preparación de datos y construcción de un modelo basado en LSTM para la predicción de sentimientos.

Activaciones Sigmoid y Tanh

Awesome!

Activaciones Sigmoid y Tanh