Rekurrente nevrale nettverk (RNN-er) er utviklet for å håndtere sekvensielle data ved å beholde informasjon fra tidligere inndata i sine interne tilstander. Dette gjør dem ideelle for oppgaver som språkmodellering og sekvensprediksjon.

• Sekvensiell prosessering: RNN behandler data steg for steg, og holder oversikt over hva som har kommet tidligere;
• Setningsfullføring: gitt den ufullstendige setningen "My favourite dish is sushi. So, my favourite cuisine is _____." behandler RNN ordene én etter én. Etter å ha sett "sushi", forutsier den neste ord som "Japanese" basert på tidligere kontekst;
• Minne i RNN-er: ved hvert steg oppdaterer RNN sin interne tilstand (minne) med ny informasjon, slik at den beholder kontekst for fremtidige steg;
• Trening av RNN: RNN-er trenes ved hjelp av tilbakepropagering gjennom tid (BPTT), der feil sendes bakover gjennom hvert tidssteg for å justere vekter for bedre prediksjoner.

Fremoverpropagering

Under fremoverpropagering behandler RNN inndata steg for steg:

1. Inndata ved tidssteg $t$: nettverket mottar en inndata $x_t$ ved hvert tidssteg;

2. Oppdatering av skjult tilstand: den nåværende skjulte tilstanden $h_t$ oppdateres basert på forrige skjulte tilstand $h_{t-1}$ og nåværende inndata $x_t$ ved hjelp av følgende formel:

   $$h_t=f(W\cdot \left[\begin{array}{c}{h}_{t-1},x_t\end{array}\right]+b)$$

   • Hvor:
     • $W$ er vektmatrisen;
     • $b$ er bias-vektoren;
     • $f$ er aktiveringsfunksjonen.

3. Generering av output: output $y_t$ genereres basert på den nåværende skjulte tilstanden $h_t$ ved hjelp av formelen:

   $$y_t=g(V\cdot h_t+c)$$

   • Hvor:
     • $V$ er output-vektmatrisen;
     • $c$ er output-bias;
     • $g$ er aktiveringsfunksjonen brukt i output-laget.

Tilbakepropageringsprosess

Tilbakepropagering i RNN-er er avgjørende for å oppdatere vektene og forbedre modellen. Prosessen tilpasses for å ta hensyn til den sekvensielle naturen til RNN-er gjennom tilbakepropagering gjennom tid (BPTT):

1. Feilberegning: det første steget i BPTT er å beregne feilen ved hvert tidsskritt. Denne feilen er vanligvis forskjellen mellom den predikerte utgangen og det faktiske målet;

2. Gradientberegning: i rekurrente nevrale nettverk beregnes gradientene til tapsfunksjonen ved å derivere feilen med hensyn til nettverksparametrene og propagere dem bakover gjennom tid fra siste til første steg, noe som kan føre til forsvinnende eller eksploderende gradienter, spesielt i lange sekvenser;

3. Vektoppdatering: når gradientene er beregnet, oppdateres vektene ved hjelp av en optimaliseringsteknikk som stokastisk gradientnedstigning (SGD). Vektene justeres slik at feilen minimeres i fremtidige iterasjoner. Formelen for å oppdatere vektene er:

   $$W:=W-\eta \frac{\partial \text{Loss}}{\partial W}$$

   • Hvor:
     • $\eta$ er læringsraten;
     • $\frac{\partial \text{Loss}}{\partial W}$ er gradienten til tapsfunksjonen med hensyn til vektmatrisen.

Oppsummert er RNN-er kraftige fordi de kan huske og benytte tidligere informasjon, noe som gjør dem egnet for oppgaver som involverer sekvenser.