Reti Long Short-Term Memory (LSTM)

• Struttura LSTM: Gli LSTM sono composti da tre componenti principali—forget gate (porta di dimenticanza), input gate (porta di ingresso) e output gate (porta di uscita). Queste porte controllano il flusso di informazioni nella rete, permettendo di decidere cosa ricordare e cosa dimenticare;
• Forget gate: la forget gate determina quali informazioni del passo temporale precedente devono essere scartate. Restituisce un valore compreso tra 0 e 1, dove 0 significa "dimenticare" e 1 significa "mantenere" l'informazione;
• Input gate: la input gate controlla quali nuove informazioni verranno aggiunte allo stato della cella. Anch'essa restituisce un valore tra 0 e 1, decidendo quanta parte dei nuovi dati deve essere incorporata;
• Output gate: la output gate decide quale parte dello stato della cella verrà restituita in output. Lo stato della cella viene aggiornato a ogni passo temporale in base alle interazioni tra queste porte;
• Vantaggi degli LSTM: Gli LSTM gestiscono meglio le dipendenze a lungo termine rispetto agli RNN tradizionali. Le porte in un LSTM aiutano a prevenire il problema del vanishing gradient, rendendo possibile per la rete apprendere e memorizzare informazioni su molti passi temporali.

In sintesi, le LSTM rappresentano un'estensione potente delle RNN che superano le principali limitazioni delle RNN tradizionali, in particolare quando si lavora con sequenze lunghe o compiti che richiedono la memorizzazione di informazioni nel tempo.