Rekursive neurale netværk (RNN'er) er designet til at håndtere sekventielle data ved at bevare information fra tidligere input i deres interne tilstande. Dette gør dem ideelle til opgaver som sproglig modellering og sekvensforudsigelse.

• Sekventiel behandling: RNN behandler data trin for trin og holder styr på tidligere information;
• Sætningsfuldførelse: givet den ufuldstændige sætning "My favourite dish is sushi. So, my favourite cuisine is _____." behandler RNN ordene én ad gangen. Efter at have set "sushi", forudsiger den det næste ord som "Japanese" baseret på tidligere kontekst;
• Hukommelse i RNN'er: ved hvert trin opdaterer RNN sin interne tilstand (hukommelse) med ny information, hvilket sikrer, at konteksten bevares til fremtidige trin;
• Træning af RNN: RNN'er trænes ved hjælp af backpropagation gennem tid (BPTT), hvor fejl føres baglæns gennem hvert tidssteg for at justere vægte og opnå bedre forudsigelser.

Fremadrettet Propagering

Under fremadrettet propagering behandler RNN inputdataene trin for trin:

1. Input ved tidssteg $t$: netværket modtager et input $x_t$ ved hvert tidssteg;

2. Opdatering af skjult tilstand: den nuværende skjulte tilstand $h_t$ opdateres baseret på den forrige skjulte tilstand $h_{t-1}$ og det nuværende input $x_t$ ved hjælp af følgende formel:

   $$h_t=f(W\cdot \left[\begin{array}{c}{h}_{t-1},x_t\end{array}\right]+b)$$

   • Hvor:
     • $W$ er vægtmatricen;
     • $b$ er biasvektoren;
     • $f$ er aktiveringsfunktionen.

3. Outputgenerering: outputtet $y_t$ genereres baseret på den nuværende skjulte tilstand $h_t$ ved hjælp af formlen:

   $$y_t=g(V\cdot h_t+c)$$

   • Hvor:
     • $V$ er outputvægtmatricen;
     • $c$ er outputbias;
     • $g$ er aktiveringsfunktionen brugt i outputlaget.

Tilbagepropageringsproces

Tilbagepropagering i RNN'er er afgørende for at opdatere vægtene og forbedre modellen. Processen tilpasses for at tage højde for RNN'ers sekventielle karakter gennem tilbagepropagering gennem tid (BPTT):

1. Fejlberegning: det første trin i BPTT er at beregne fejlen ved hvert tidssteg. Denne fejl er typisk forskellen mellem den forudsagte output og det faktiske mål;

2. Gradientberegning: i rekurrente neurale netværk beregnes gradienterne af tabfunktionen ved at differentiere fejlen med hensyn til netværksparametrene og propagere dem bagud gennem tiden fra det sidste til det første trin, hvilket kan føre til forsvindende eller eksploderende gradienter, især i lange sekvenser;

3. Vægtopdatering: når gradienterne er beregnet, opdateres vægtene ved hjælp af en optimeringsteknik som stokastisk gradientnedstigning (SGD). Vægtene justeres således, at fejlen minimeres i fremtidige iterationer. Formlen for opdatering af vægte er:

   $$W:=W-\eta \frac{\partial \text{Loss}}{\partial W}$$

   • Hvor:
     • $\eta$ er indlæringsraten;
     • $\frac{\partial \text{Loss}}{\partial W}$ er gradienten af tabfunktionen med hensyn til vægtmatricen.

Sammenfattende er RNN'er kraftfulde, fordi de kan huske og udnytte tidligere information, hvilket gør dem velegnede til opgaver, der involverer sekvenser.