Long short-term memory (LSTM) são introduzidas como um tipo de arquitetura de RNN projetada para resolver os problemas de gradientes desaparecendo e dependências de longo prazo. As LSTMs são capazes de reter informações por períodos prolongados, tornando-as especialmente úteis para tarefas que envolvem sequências.

• Estrutura do LSTM: LSTMs consistem em três componentes principais—porta de esquecimento, porta de entrada e porta de saída. Essas portas controlam o fluxo de informações na rede, permitindo decidir o que lembrar e o que esquecer;
• Porta de esquecimento: a porta de esquecimento determina quais informações do passo de tempo anterior devem ser descartadas. Ela gera um número entre 0 e 1, onde 0 significa "esquecer" e 1 significa "reter" a informação;
• Porta de entrada: a porta de entrada controla quais novas informações serão adicionadas ao estado da célula. Ela também gera um valor entre 0 e 1, decidindo quanto dos novos dados deve ser incorporado;
• Porta de saída: a porta de saída decide qual parte do estado da célula será emitida. O estado da célula é atualizado a cada passo de tempo com base nas interações entre essas portas;
• Vantagens das LSTMs: LSTMs são mais eficazes em lidar com dependências de longo prazo em comparação com RNNs tradicionais. As portas em uma LSTM ajudam a evitar o problema do gradiente desaparecendo, tornando possível que a rede aprenda e retenha informações ao longo de muitos passos de tempo.

Em resumo, as LSTMs são uma extensão poderosa das RNNs que solucionam limitações importantes das RNNs tradicionais, especialmente ao lidar com sequências longas ou tarefas que exigem retenção de informações ao longo do tempo.