Recurrent neural networks (RNN's) zijn ontworpen om sequentiële data te verwerken door informatie van eerdere inputs te behouden in hun interne toestanden. Dit maakt ze ideaal voor taken zoals taalmodellering en sequentievoorspelling.

• Sequentiële verwerking: RNN verwerkt data stap voor stap en houdt bij wat er eerder is geweest;
• Zin aanvullen: gegeven de onvolledige zin "My favourite dish is sushi. So, my favourite cuisine is _____." verwerkt de RNN de woorden één voor één. Na het zien van "sushi", voorspelt het het volgende woord als "Japanese" op basis van eerdere context;
• Geheugen in RNN's: bij elke stap werkt de RNN zijn interne toestand (geheugen) bij met nieuwe informatie, zodat de context behouden blijft voor toekomstige stappen;
• RNN trainen: RNN's worden getraind met backpropagation through time (BPTT), waarbij fouten achterwaarts door elke tijdstap worden doorgegeven om gewichten aan te passen voor betere voorspellingen.

Voorwaartse propagatie

Tijdens de voorwaartse propagatie verwerkt de RNN de invoergegevens stap voor stap:

1. Input op tijdstap $t$: het netwerk ontvangt een input $x_t$ bij elke tijdstap;

2. Update van verborgen toestand: de huidige verborgen toestand $h_t$ wordt bijgewerkt op basis van de vorige verborgen toestand $h_{t-1}$ en de huidige input $x_t$ volgens de volgende formule:

   $$h_t=f(W\cdot \left[\begin{array}{c}{h}_{t-1},x_t\end{array}\right]+b)$$

   • Waar:
     • $W$ is de gewichtenmatrix;
     • $b$ is de biasvector;
     • $f$ is de activatiefunctie.

3. Outputgeneratie: de output $y_t$ wordt gegenereerd op basis van de huidige verborgen toestand $h_t$ met de formule:

   $$y_t=g(V\cdot h_t+c)$$

   • Waar:
     • $V$ is de outputgewichtenmatrix;
     • $c$ is de outputbias;
     • $g$ is de activatiefunctie gebruikt in de outputlaag.

Backpropagatieproces

Backpropagatie in RNN's is essentieel voor het bijwerken van de gewichten en het verbeteren van het model. Het proces wordt aangepast aan de sequentiële aard van RNN's via backpropagation through time (BPTT):

1. Foutberekening: de eerste stap in BPTT is het berekenen van de fout op elk tijdstip. Deze fout is doorgaans het verschil tussen de voorspelde output en het werkelijke doel;

2. Gradiëntberekening: in Recurrent Neural Networks worden de gradiënten van de verliesfunctie berekend door de fout te differentiëren ten opzichte van de netwerkparameters en terug in de tijd te propageren van de laatste naar de eerste stap, wat kan leiden tot verdwijnende of exploderende gradiënten, met name bij lange reeksen;

3. Gewichtsupdate: zodra de gradiënten zijn berekend, worden de gewichten bijgewerkt met behulp van een optimalisatietechniek zoals stochastic gradient descent (SGD). De gewichten worden zo aangepast dat de fout in toekomstige iteraties wordt geminimaliseerd. De formule voor het bijwerken van gewichten is:

   $$W:=W-\eta \frac{\partial \text{Loss}}{\partial W}$$

   • Waarbij:
     • $\eta$ de leersnelheid is;
     • $\frac{\partial \text{Loss}}{\partial W}$ de gradiënt van de verliesfunctie ten opzichte van de gewichts matrix is.

Samengevat zijn RNN's krachtig omdat ze informatie uit het verleden kunnen onthouden en benutten, waardoor ze geschikt zijn voor taken die reeksen omvatten.