Summary  
This chapter covers implementing, training, and evaluating two recurrent neural network architectures (LSTM and GRU) by defining their model structures, running training loops with measured execution time and loss metrics, and comparing their prediction performance through plotting.

General domain of usage  
Time series forecasting

En jämförelse som belyser de viktigaste skillnaderna mellan **long short-term memory (LSTM)** och **gated recurrent unit (GRU)**-nätverk.


Löser problemet med försvinnande gradient i RNN och fångar långsiktiga beroenden.

Löser problemet med försvinnande gradient i RNN och fångar långsiktiga beroenden med en enklare struktur.

1. Forget gate: avgör vilken information som ska tas bort;2. Input gate: avgör vilken ny information som ska sparas;3. Output gate: avgör vilken del av celltillståndet som ska användas.

1. Reset gate: avgör hur mycket tidigare information som ska glömmas;2. Update gate: styr uppdateringen av det dolda tillståndet.

Bibehåller ett separat celltillstånd (långtidsminne).

Har inget separat celltillstånd. Använder endast dolt tillstånd för att bära information.

Informationsflödet regleras av de tre grindarna och ett separat celltillstånd.

Informationsflödet regleras av de två grindarna och dolt tillstånd.

Mer komplex på grund av separata cell- och dolda tillstånd samt ytterligare grind.

Enklare än LSTM, vilket kan leda till snabbare träning och inferens.

Långsammare på grund av mer komplex arkitektur.

Snabbare tack vare färre parametrar och enklare beräkningar.

Kan prestera bättre vid uppgifter som kräver inlärning av långsiktiga beroenden.

Jämförbar med LSTM i många uppgifter, ibland bättre på mindre datamängder.

Vanligt förekommande inom taligenkänning, språkmodellering, tidsserieprognoser.

Används också för liknande uppgifter, ofta vald när beräkningsresurser är begränsade.

Fler parametrar på grund av ytterligare grind och separat celltillstånd.

Färre parametrar, vilket kan minska risken för överanpassning och förbättra generalisering.

Ladda ner koden för detta kapitel

Behärska rekurrenta neurala nätverk och deras avancerade varianter som LSTM och GRU med PyTorch. Få praktisk erfarenhet av att bearbeta sekventiell data för tillämpningar i verkliga situationer. Använd dessa kraftfulla modeller för att lösa utmaningar inom tidsserieprognoser och olika uppgifter inom naturlig språkbehandling.

Behandlar begränsningarna hos traditionella neurala nätverk för sekventiell data och introducerar grunderna i rekurrenta neurala nätverk. Förklarar RNN-arkitektur, typer och steg-för-steg-implementering genom grundläggande exempel och en kodningsutmaning.

Utforskar vanliga träningsutmaningar såsom försvinnande och exploderande gradienter. Introducerar avancerade RNN-varianter inklusive LSTM och GRU, med fokus på deras interna mekanismer och användningsområden, samt praktiska implementeringsexempel för varje.

Fokuserar på bearbetning och prognostisering av tidsseriedata med hjälp av RNN-baserade modeller. Inkluderar datainläsning, förbehandlingstekniker, modellträning och prestandautvärdering, med tonvikt på jämförelse mellan LSTM- och GRU-arkitekturer.

Demonstrerar tillämpningen av RNN:er på textklassificeringsuppgifter. Täcker grundläggande NLP-koncept, metoder för textkodning, steg för databereddning samt konstruktion av en LSTM-baserad modell för sentimentprediktion.

LSTM Kontra GRU för Tidsserier

LSTM Kontra GRU för Tidsserier