Se exploran las funciones de activación sigmoide y tanh, ya que desempeñan un papel crucial en el funcionamiento de las RNNs. Estas funciones transforman las entradas en salidas, permitiendo que el modelo realice predicciones.

• Activación sigmoide: la función sigmoide asigna valores de entrada a un rango de salida entre 0 y 1. Se utiliza comúnmente en tareas de clasificación binaria, ya que su salida puede interpretarse como una probabilidad. Sin embargo, presenta el problema del gradiente desvanecido cuando los valores de entrada son muy grandes o muy pequeños;
• Activación tanh: la función tanh es similar a la sigmoide, pero asigna los valores de entrada a un rango de salida entre -1 y 1. Ayuda a centrar los datos alrededor de cero, lo que puede facilitar el aprendizaje. A pesar de sus beneficios, también sufre el problema del gradiente desvanecido en ciertas situaciones;
• Funcionamiento de sigmoide y tanh: ambas funciones operan comprimiendo los valores de entrada en un rango acotado. La diferencia principal radica en su rango de salida: sigmoide (0 a 1) vs. tanh (-1 a 1), lo que afecta cómo la red procesa y actualiza la información.

En el próximo capítulo, se analizará cómo estas funciones de activación desempeñan un papel en las redes LSTM y cómo ayudan a superar algunas de las limitaciones de las RNN estándar.