Summary  
This chapter covers implementing, training, and evaluating two recurrent neural network architectures (LSTM and GRU) by defining their model structures, running training loops with measured execution time and loss metrics, and comparing their prediction performance through plotting.

General domain of usage  
Time series forecasting

En sammenligning som fremhever de viktigste forskjellene mellom **long short-term memory (LSTM)** og **gated recurrent unit (GRU)** nettverk.


Løser problemet med forsvinnende gradient i RNN-er, fanger opp langtidssammenhenger.

Løser problemet med forsvinnende gradient i RNN-er, fanger opp langtidssammenhenger med en enklere struktur.

1. Glemselsport: avgjør hvilken informasjon som skal forkastes;2. Inngangsport: avgjør hvilken ny informasjon som skal lagres;3. Utgangsport: avgjør hvilken del av celletilstanden som skal gis ut.

1. Tilbakestillingsport: avgjør hvor mye tidligere informasjon som skal glemmes;2. Oppdateringsport: styrer oppdateringen av den skjulte tilstanden.

Opprettholder en separat celletilstand (langtidsminne).

Har ikke en separat celletilstand. Bruker kun skjult tilstand for å bære informasjon.

Informasjonsflyten reguleres av de tre portene og en separat celletilstand.

Informasjonsflyten reguleres av de to portene og skjult tilstand.

Mer kompleks på grunn av separat celle- og skjult tilstand samt ekstra port.

Enklere enn LSTM, noe som kan gi raskere trening og inferens.

Tregere på grunn av mer kompleks arkitektur.

Raskere på grunn av færre parametere og enklere beregninger.

Kan prestere bedre på oppgaver som krever læring av langtidssammenhenger.

Sammenlignbar med LSTM i mange oppgaver, noen ganger bedre på mindre datasett.

Utstrakt brukt i talegjenkjenning, språkmodellering, tidsserieprediksjon.

Også brukt i lignende oppgaver, ofte valgt når datakraften er begrenset.

Flere parametere på grunn av ekstra port og separat celletilstand.

Færre parametere, noe som kan redusere risikoen for overtilpasning og forbedre generalisering.

Last ned koden for dette kapittelet

Bli ekspert på rekursive nevrale nettverk og deres avanserte varianter som LSTM og GRU ved bruk av PyTorch. Få praktisk erfaring med behandling av sekvensielle data for anvendelser i praksis. Bruk disse kraftige modellene til å løse reelle utfordringer innen tidsserieprognoser og ulike oppgaver innen naturlig språkprosessering.

Dekker begrensningene ved tradisjonelle nevrale nettverk for sekvensielle data og introduserer grunnleggende prinsipper for rekurrente nevrale nettverk. Forklarer RNN-arkitektur, typer og trinnvis implementering gjennom grunnleggende eksempler og en kodeutfordring.

Utforsker vanlige treningsutfordringer som forsvinnende og eksploderende gradienter. Introduserer avanserte RNN-varianter, inkludert LSTM og GRU, med fokus på deres interne mekanismer og bruksområder, samt praktiske implementeringseksempler for hver.

Fokuserer på behandling og prediksjon av tidsseriedata ved bruk av RNN-baserte modeller. Inkluderer datainnhenting, forhåndsbehandlingsteknikker, modelltrening og ytelsesevaluering, med vekt på sammenligning av LSTM- og GRU-arkitekturer.

Demonstrerer anvendelsen av RNN-er på tekstklassifiseringsoppgaver. Dekker sentrale NLP-konsepter, metoder for tekstkoding, trinn for datapreparering og konstruksjon av en LSTM-basert modell for prediksjon av sentiment.

LSTM vs. GRU for Tidsserier

LSTM vs. GRU for Tidsserier