Long short-term memory (LSTM) netwerken worden geïntroduceerd als een type RNN-architectuur die is ontworpen om de problemen van vervagende gradiënten en lange-termijn afhankelijkheden aan te pakken. LSTMs zijn in staat om informatie gedurende langere perioden te onthouden, waardoor ze bijzonder nuttig zijn voor taken die sequenties omvatten.

• LSTM-structuur: LSTMs bestaan uit drie hoofdcomponenten—forget gate, input gate en output gate. Deze poorten regelen de informatiestroom in het netwerk, waardoor het kan bepalen wat onthouden en wat vergeten moet worden;
• Forget gate: de forget gate bepaalt welke informatie van de vorige tijdstap moet worden weggegooid. Het geeft een waarde tussen 0 en 1, waarbij 0 "vergeten" betekent en 1 "behouden" van de informatie;
• Input gate: de input gate regelt welke nieuwe informatie aan de celstatus wordt toegevoegd. Ook deze geeft een waarde tussen 0 en 1, waarmee wordt bepaald hoeveel van de nieuwe data moet worden opgenomen;
• Output gate: de output gate bepaalt welk deel van de celstatus wordt uitgevoerd. De celstatus wordt bij elke tijdstap bijgewerkt op basis van de interacties tussen deze poorten;
• Voordelen van LSTMs: LSTMs zijn beter in het omgaan met lange-termijn afhankelijkheden in vergelijking met traditionele RNNs. De poorten in een LSTM helpen het vervagende gradiëntenprobleem te voorkomen, waardoor het netwerk in staat is om informatie over veel tijdstappen te leren en te onthouden.

Samengevat zijn LSTMs een krachtige uitbreiding van RNNs die belangrijke beperkingen van traditionele RNNs aanpakken, met name bij het werken met lange sequenties of taken die het onthouden van informatie over tijd vereisen.