Summary  
This chapter covers implementing, training, and evaluating two recurrent neural network architectures (LSTM and GRU) by defining their model structures, running training loops with measured execution time and loss metrics, and comparing their prediction performance through plotting.

General domain of usage  
Time series forecasting

Uma comparação é apresentada destacando as principais diferenças entre as redes **long short-term memory (LSTM)** e **gated recurrent unit (GRU)**.


Resolver o problema do gradiente desaparecendo em RNNs, captura dependências de longo prazo.

Resolver o problema do gradiente desaparecendo em RNNs, captura dependências de longo prazo com uma estrutura mais simples.

1. Porta de esquecimento: decide quais informações descartar;2. Porta de entrada: decide quais novas informações armazenar;3. Porta de saída: decide qual parte do estado da célula será saída.

1. Porta de redefinição: decide quanto das informações passadas esquecer;2. Porta de atualização: controla a atualização do estado oculto.

Mantém um estado de célula separado (memória de longo prazo).

Não possui um estado de célula separado. Utiliza apenas o estado oculto para transportar informações.

O fluxo de informação é regulado pelas três portas e pelo estado de célula separado.

O fluxo de informação é regulado pelas duas portas e pelo estado oculto.

Mais complexo devido ao estado de célula e oculto separados e porta adicional.

Mais simples que o LSTM, o que pode levar a treinamento e inferência mais rápidos.

Mais lento devido à arquitetura mais complexa.

Mais rápido devido a menos parâmetros e cálculos mais simples.

Pode apresentar melhor desempenho em tarefas que exigem aprendizado de dependências de longo prazo.

Comparável ao LSTM em muitas tarefas, às vezes melhor em conjuntos de dados menores.

Amplamente utilizado em reconhecimento de fala, modelagem de linguagem, previsão de séries temporais.

Também utilizado em tarefas semelhantes, frequentemente escolhido quando há limitação de recursos computacionais.

Mais parâmetros devido à porta adicional e ao estado de célula separado.

Menos parâmetros, o que pode reduzir o risco de overfitting e melhorar a generalização.

Baixar o código deste capítulo

Domine redes neurais recorrentes e suas variantes avançadas, como LSTMs e GRUs, utilizando PyTorch. Adquira experiência prática no processamento de dados sequenciais para aplicações práticas. Aplique esses modelos poderosos para enfrentar desafios reais em previsão de séries temporais e diversas tarefas de processamento de linguagem natural.

Aborda as limitações das redes neurais tradicionais para dados sequenciais e apresenta os fundamentos das Redes Neurais Recorrentes. Explica a arquitetura das RNNs, seus tipos e a implementação passo a passo por meio de exemplos básicos e um desafio de programação.

Explora desafios comuns de treinamento, como gradientes desaparecendo e explodindo. Introduz variantes avançadas de RNN, incluindo LSTM e GRU, destacando seus mecanismos internos e casos de uso, com exemplos práticos de implementação para cada uma.

Foca no processamento e previsão de dados de séries temporais utilizando modelos baseados em RNN. Inclui carregamento de dados, técnicas de pré-processamento, treinamento de modelos e avaliação de desempenho, com ênfase na comparação entre as arquiteturas LSTM e GRU.

Demonstra a aplicação de RNNs em tarefas de classificação de texto. Aborda conceitos fundamentais de PLN, métodos de codificação de texto, etapas de preparação de dados e construção de um modelo baseado em LSTM para previsão de sentimento.

LSTM vs. GRU para Séries Temporais