Rekurrenta neurala nätverk (RNNs) är utformade för att hantera sekventiell data genom att behålla information från tidigare indata i sina interna tillstånd. Detta gör dem idealiska för uppgifter som språkmodellering och sekvensprediktion.

• Sekventiell bearbetning: RNN bearbetar data steg för steg, och håller reda på vad som har kommit tidigare;
• Meningskomplettering: givet den ofullständiga meningen "My favourite dish is sushi. So, my favourite cuisine is _____." bearbetar RNN orden ett i taget. Efter att ha sett "sushi", förutspår den nästa ord som "Japanese" baserat på tidigare kontext;
• Minne i RNNs: vid varje steg uppdaterar RNN sitt interna tillstånd (minne) med ny information, vilket säkerställer att kontexten bevaras för framtida steg;
• Träning av RNN: RNN tränas med hjälp av backpropagation through time (BPTT), där fel förs bakåt genom varje tidssteg för att justera vikter för bättre prediktioner.

Framåtriktad propagiering

Under framåtriktad propagiering bearbetar RNN indata steg för steg:

1. Indata vid tidssteg $t$: nätverket tar emot en indata $x_t$ vid varje tidssteg;

2. Uppdatering av dolt tillstånd: det aktuella dolda tillståndet $h_t$ uppdateras baserat på det föregående dolda tillståndet $h_{t-1}$ och den aktuella indata $x_t$ med följande formel:

   $$h_t=f(W\cdot \left[\begin{array}{c}{h}_{t-1},x_t\end{array}\right]+b)$$

   • Där:
     • $W$ är viktmatrisen;
     • $b$ är biasvektorn;
     • $f$ är aktiveringsfunktionen.

3. Generering av utdata: utdatan $y_t$ genereras baserat på det aktuella dolda tillståndet $h_t$ med formeln:

   $$y_t=g(V\cdot h_t+c)$$

   • Där:
     • $V$ är utdataviktmatrisen;
     • $c$ är utdatabias;
     • $g$ är aktiveringsfunktionen som används i utdatalagret.

Backpropageringsprocessen

Backpropagering i RNN:er är avgörande för att uppdatera vikterna och förbättra modellen. Processen modifieras för att ta hänsyn till RNN:ers sekventiella natur genom backpropagering genom tid (BPTT):

1. Felkalkylering: det första steget i BPTT är att beräkna felet vid varje tidssteg. Detta fel är vanligtvis skillnaden mellan det förutsagda utfallet och det faktiska målet;

2. Gradientberäkning: i rekurrenta neurala nätverk beräknas gradienterna av förlustfunktionen genom att derivera felet med avseende på nätverksparametrarna och propagera bakåt genom tiden från sista till första steget, vilket kan leda till avtagande eller exploderande gradienter, särskilt i långa sekvenser;

3. Viktuppdatering: när gradienterna har beräknats uppdateras vikterna med en optimeringsteknik såsom stokastisk gradientnedstigning (SGD). Vikterna justeras så att felet minimeras i framtida iterationer. Formeln för att uppdatera vikter är:

   $$W:=W-\eta \frac{\partial \text{Loss}}{\partial W}$$

   • Där:
     • $\eta$ är inlärningshastigheten;
     • $\frac{\partial \text{Loss}}{\partial W}$ är gradienten av förlustfunktionen med avseende på viktmatrisen.

Sammanfattningsvis är RNN:er kraftfulla eftersom de kan minnas och använda tidigare information, vilket gör dem lämpliga för uppgifter som involverar sekvenser.