Summary  
This chapter covers implementing, training, and evaluating two recurrent neural network architectures (LSTM and GRU) by defining their model structures, running training loops with measured execution time and loss metrics, and comparing their prediction performance through plotting.

General domain of usage  
Time series forecasting

Een vergelijking waarin de belangrijkste verschillen tussen **long short-term memory (LSTM)** en **gated recurrent unit (GRU)** netwerken worden belicht.


Aanpakken van het verdwijnende gradiëntprobleem in RNN's, vastleggen van langetermijnafhankelijkheden.

Aanpakken van het verdwijnende gradiëntprobleem in RNN's, vastleggen van langetermijnafhankelijkheden met een eenvoudigere structuur.

1. Forget gate: beslist welke informatie wordt weggegooid;2. Input gate: beslist welke nieuwe informatie wordt opgeslagen;3. Output gate: beslist welk deel van de celstatus wordt uitgevoerd.

1. Reset gate: beslist hoeveel oude informatie wordt vergeten;2. Update gate: regelt de update van de verborgen status.

Beheert een aparte celstatus (langetermijngeheugen).

Heeft geen aparte celstatus. Gebruikt alleen de verborgen status om informatie te dragen.

Informatiedoorstroming wordt geregeld door de drie poorten en een aparte celstatus.

Informatiedoorstroming wordt geregeld door de twee poorten en de verborgen status.

Complexer door aparte cel- en verborgen status en extra poort.

Eenvoudiger dan LSTM, wat kan leiden tot snellere training en inferentie.

Sneller door minder parameters en eenvoudigere berekeningen.

Kan beter presteren bij taken die het leren van langetermijnafhankelijkheden vereisen.

Vergelijkbaar met LSTM bij veel taken, soms beter bij kleinere datasets.

Veel gebruikt bij spraakherkenning, taalmodellering, tijdreeksvoorspelling.

Ook gebruikt bij vergelijkbare taken, vaak gekozen wanneer rekenkracht beperkt is.

Meer parameters door extra poort en aparte celstatus.

Minder parameters, wat het risico op overfitting kan verminderen en de generalisatie kan verbeteren.

Download de code voor dit hoofdstuk

Beheers terugkerende neurale netwerken en hun geavanceerde varianten zoals LSTMs en GRUs met behulp van PyTorch. Verkrijg praktische ervaring met het verwerken van sequentiële data voor praktische toepassingen. Pas deze krachtige modellen toe om echte uitdagingen aan te pakken op het gebied van tijdreeksvoorspelling en diverse Natural language processing-taken.

Behandelt de beperkingen van traditionele neurale netwerken voor sequentiële data en introduceert de basisprincipes van Recurrent Neural Networks. Verklaart de RNN-architectuur, typen en stapsgewijze implementatie aan de hand van eenvoudige voorbeelden en een programmeeruitdaging.

Behandelt veelvoorkomende trainingsuitdagingen zoals verdwijnende en exploderende gradiënten. Introduceert geavanceerde RNN-varianten, waaronder LSTM en GRU, met nadruk op hun interne mechanismen en toepassingsgebieden, voorzien van praktische implementatievoorbeelden voor elk.

Richt zich op het verwerken en voorspellen van tijdreeksgegevens met behulp van RNN-gebaseerde modellen. Bevat gegevensinvoer, preprocessietechnieken, modeltraining en prestatie-evaluatie, met nadruk op het vergelijken van LSTM- en GRU-architecturen.

Toont de toepassing van RNN's op tekstclassificatietaken. Behandelt kernbegrippen van NLP, methoden voor tekstcodering, stappen voor gegevensvoorbereiding en de opbouw van een LSTM-gebaseerd model voor sentimentvoorspelling.

LSTM Versus GRU voor Tijdreeksen

LSTM Versus GRU voor Tijdreeksen