Toistuvat neuroverkot (RNN:t) on suunniteltu käsittelemään sekventiaalista dataa säilyttämällä aiempien syötteiden tietoa sisäisissä tiloissaan. Tämä tekee niistä ihanteellisia tehtäviin kuten kielimallinnukseen ja sekvenssien ennustamiseen.

• Sekventiaalinen käsittely: RNN käsittelee dataa askel askeleelta, pitäen kirjaa aiemmasta;
• Lauseen täydentäminen: kun annetaan keskeneräinen lause "My favourite dish is sushi. So, my favourite cuisine is _____.", RNN käsittelee sanat yksi kerrallaan. Kun se näkee sanan "sushi", se ennustaa seuraavaksi sanaksi "Japanese" aiemman kontekstin perusteella;
• Muisti RNN:issä: jokaisessa vaiheessa RNN päivittää sisäistä tilaansa (muistia) uudella tiedolla, varmistaen kontekstin säilymisen tulevia askeleita varten;
• RNN:n koulutus: RNN:t koulutetaan käyttämällä takaisinkytkentää ajan yli (BPTT), jossa virheet viedään taaksepäin jokaisen aikavälin läpi painojen säätämiseksi parempia ennusteita varten.

Eteenpäinlevitys

Eteenpäinlevityksen aikana RNN käsittelee syötteen vaihe vaiheelta:

1. Syöte ajanhetkellä $t$: verkko vastaanottaa syötteen $x_t$ jokaisella ajanhetkellä;

2. Piilotilan päivitys: nykyinen piilotila $h_t$ päivitetään edellisen piilotilan $h_{t-1}$ ja nykyisen syötteen $x_t$ perusteella seuraavan kaavan mukaisesti:

   $$h_t=f(W\cdot \left[\begin{array}{c}{h}_{t-1},x_t\end{array}\right]+b)$$

   • Missä:
     • $W$ on painomatriisi;
     • $b$ on bias-vektori;
     • $f$ on aktivointifunktio.

3. Ulostulon muodostus: ulostulo $y_t$ muodostetaan nykyisen piilotilan $h_t$ perusteella seuraavan kaavan mukaisesti:

   $$y_t=g(V\cdot h_t+c)$$

   • Missä:
     • $V$ on ulostulon painomatriisi;
     • $c$ on ulostulon bias;
     • $g$ on ulostulokerroksen aktivointifunktio.

Takaisinkytkentäprosessin kulku

Takaisinkytkentä (backpropagation) RNN:issä on olennainen painojen päivittämiseksi ja mallin parantamiseksi. Prosessia muokataan ottamaan huomioon RNN:ien sekventiaalinen luonne käyttämällä aikaan ulottuvaa takaisinkytkentää (BPTT, Backpropagation Through Time):

1. Virheen laskeminen: Ensimmäinen vaihe BPTT:ssä on laskea virhe jokaisessa aikavälissä. Tämä virhe on tyypillisesti ennustetun tuloksen ja todellisen tavoitteen välinen ero;

2. Gradientin laskeminen: Toistuvissa neuroverkoissa (RNN) häviöfunktion gradientit lasketaan derivoimalla virhe verkon parametrien suhteen ja propagaatio tapahtuu ajassa taaksepäin viimeisestä vaiheesta alkuun. Tämä voi johtaa gradientin katoamiseen tai räjähtämiseen erityisesti pitkillä sekvensseillä;

3. Painojen päivitys: Kun gradientit on laskettu, painot päivitetään käyttämällä optimointimenetelmää, kuten stokastista gradienttilaskeutumista (SGD). Painoja säädetään siten, että virhe pienenee tulevissa iteraatioissa. Painojen päivityksen kaava on:

   $$W:=W-\eta \frac{\partial \text{Loss}}{\partial W}$$

   • Missä:
     • $\eta$ on oppimisnopeus;
     • $\frac{\partial \text{Loss}}{\partial W}$ on häviöfunktion gradientti painomatriisin suhteen.

Yhteenvetona RNN:t ovat tehokkaita, koska ne voivat muistaa ja hyödyntää aiempaa tietoa, mikä tekee niistä sopivia tehtäviin, joissa käsitellään sekvenssejä.