Summary  
This chapter covers implementing, training, and evaluating two recurrent neural network architectures (LSTM and GRU) by defining their model structures, running training loops with measured execution time and loss metrics, and comparing their prediction performance through plotting.

General domain of usage  
Time series forecasting

En sammenligning, der fremhæver de vigtigste forskelle mellem **long short-term memory (LSTM)** og **gated recurrent unit (GRU)** netværk.


Løser problemet med forsvindende gradient i RNN'er, opfanger langtidshukommelse.

Løser problemet med forsvindende gradient i RNN'er, opfanger langtidshukommelse med en enklere struktur.

1. Forget gate: beslutter hvilken information der skal kasseres;2. Input gate: beslutter hvilken ny information der skal gemmes;3. Output gate: beslutter hvilken del af cell state der skal outputtes.

1. Reset gate: beslutter hvor meget tidligere information der skal glemmes;2. Update gate: styrer opdateringen af hidden state.

Vedligeholder en separat cell state (langtidshukommelse).

Har ikke en separat cell state. Bruger kun hidden state til at bære information.

Informationsflow reguleres af de tre gates og en separat cell state.

Informationsflow reguleres af de to gates og hidden state.

Mere kompleks på grund af separat cell og hidden states samt ekstra gate.

Mere enkel end LSTM, hvilket kan føre til hurtigere træning og inferens.

Langsommere på grund af mere kompleks arkitektur.

Hurtigere på grund af færre parametre og enklere beregninger.

Kan yde bedre ved opgaver, der kræver læring af langtidshukommelse.

Sammenlignelig med LSTM i mange opgaver, nogle gange bedre på mindre datasæt.

Udbredt brugt i talegenkendelse, sprogmodellering, tidsserieforudsigelse.

Også brugt til lignende opgaver, ofte valgt når der er begrænsede beregningsressourcer.

Flere parametre på grund af ekstra gate og separat cell state.

Færre parametre, hvilket kan reducere risikoen for overfitting og forbedre generalisering.

Download koden til dette kapitel

Behersk rekurrente neurale netværk og deres avancerede varianter som LSTM og GRU ved hjælp af PyTorch. Opnå praktisk erfaring med behandling af sekventielle data til anvendelser i praksis. Anvend disse kraftfulde modeller til at løse virkelige udfordringer inden for tidsserieprognoser og forskellige opgaver i naturlig sprogbehandling.

Dækker begrænsningerne ved traditionelle neurale netværk for sekventielle data og introducerer grundlæggende principper for Recurrent Neural Networks. Forklarer RNN-arkitektur, typer og trinvis implementering gennem grundlæggende eksempler og en kodningsudfordring.

Undersøger almindelige træningsudfordringer såsom forsvindende og eksploderende gradienter. Introducerer avancerede RNN-varianter, herunder LSTM og GRU, med fokus på deres interne mekanismer og anvendelsesområder samt praktiske implementeringseksempler for hver.

Fokuserer på behandling og prognose af tidsseriedata ved hjælp af RNN-baserede modeller. Omfatter dataindlæsning, forbehandlingsteknikker, modeltræning og præstationsvurdering med vægt på sammenligning af LSTM- og GRU-arkitekturer.

Demonstrerer anvendelsen af RNN'er til tekstklassificeringsopgaver. Dækker centrale NLP-begreber, tekstkodningsmetoder, trin til dataklargøring og opbygning af en LSTM-baseret model til sentimentforudsigelse.

LSTM vs. GRU for Tidsserier