Le funzioni di attivazione sigmoid e tanh vengono analizzate poiché svolgono un ruolo fondamentale nel funzionamento delle RNN. Queste funzioni trasformano gli input in output, consentendo al modello di effettuare previsioni.

• Attivazione sigmoid: la funzione sigmoid mappa i valori di input in un intervallo di output compreso tra 0 e 1. È comunemente utilizzata nei compiti di classificazione binaria, poiché il suo output può essere interpretato come una probabilità. Tuttavia, soffre del problema del gradiente che svanisce quando i valori di input sono molto grandi o molto piccoli;
• Attivazione tanh: la funzione tanh è simile alla sigmoid ma mappa i valori di input in un intervallo di output compreso tra -1 e 1. Aiuta a centrare i dati intorno allo zero, il che può facilitare l'apprendimento. Nonostante i suoi vantaggi, anche questa funzione può soffrire del problema del gradiente che svanisce in determinate situazioni;
• Funzionamento di sigmoid e tanh: entrambe le funzioni operano comprimendo i valori di input in un intervallo limitato. La differenza principale risiede nell'intervallo di output: sigmoid (da 0 a 1) vs. tanh (da -1 a 1), il che influisce su come la rete elabora e aggiorna le informazioni.

Nel prossimo capitolo, verrà illustrato come queste funzioni di attivazione svolgano un ruolo nelle reti LSTM e come contribuiscano a superare alcune delle limitazioni delle RNN standard.