Le reti Long Short-Term Memory (LSTM) sono introdotte come una tipologia di architettura RNN progettata per affrontare i problemi di vanishing gradients e dipendenze a lungo termine. Le LSTM sono in grado di memorizzare informazioni per periodi prolungati, risultando particolarmente utili per compiti che coinvolgono sequenze.

• Struttura LSTM: Le LSTM sono composte da tre componenti principali—forget gate (porta di dimenticanza), input gate (porta di ingresso) e output gate (porta di uscita). Queste porte controllano il flusso di informazioni nella rete, permettendo di decidere cosa ricordare e cosa dimenticare;
• Forget gate: la forget gate determina quali informazioni dal passo temporale precedente devono essere scartate. Restituisce un valore compreso tra 0 e 1, dove 0 significa "dimenticare" e 1 significa "mantenere" l'informazione;
• Input gate: la input gate controlla quali nuove informazioni saranno aggiunte allo stato della cella. Anch'essa restituisce un valore tra 0 e 1, decidendo quanta parte dei nuovi dati deve essere incorporata;
• Output gate: la output gate decide quale parte dello stato della cella verrà prodotta in uscita. Lo stato della cella viene aggiornato a ogni passo temporale in base alle interazioni tra queste porte;
• Vantaggi delle LSTM: Le LSTM gestiscono meglio le dipendenze a lungo termine rispetto alle RNN tradizionali. Le porte nelle LSTM aiutano a prevenire il problema del vanishing gradient, rendendo possibile per la rete apprendere e memorizzare informazioni su molti passi temporali.

In sintesi, le LSTM rappresentano un'estensione potente delle RNN che affronta le principali limitazioni delle RNN tradizionali, in particolare quando si lavora con sequenze lunghe o compiti che richiedono la memorizzazione di informazioni nel tempo.