Miten RNN Toimii?

• Sekventiaalinen käsittely: RNN käsittelee dataa askel askeleelta, pitäen kirjaa aiemmasta;
• Lauseen täydentäminen: kun annetaan keskeneräinen lause "My favourite dish is sushi. So, my favourite cuisine is _____.", RNN käsittelee sanat yksi kerrallaan. Nähdessään sanan "sushi", se ennustaa seuraavaksi sanaksi "Japanese" aiemman kontekstin perusteella;
• Muisti RNN:ssä: jokaisessa vaiheessa RNN päivittää sisäistä tilaansa (muistia) uudella tiedolla, varmistaen kontekstin säilymisen tulevia askeleita varten;
• RNN:n koulutus: RNN:t koulutetaan käyttämällä takaisinkytkentää ajan yli (BPTT), jossa virheet siirretään taaksepäin jokaisen aikavaiheen läpi painojen säätämiseksi parempia ennusteita varten.

Eteenpäinlevitys

Eteenpäinlevityksen aikana RNN käsittelee syötteen askel askeleelta:

1. Syöte ajanhetkellä $t$: verkko vastaanottaa syötteen $x_t$ jokaisella ajanhetkellä;
2. Piilotilan päivitys: nykyinen piilotila $h_t$ päivitetään edellisen piilotilan $h_{t-1}$ ja nykyisen syötteen $x_t$ perusteella seuraavan kaavan mukaisesti:

• Missä:
  • $W$ on painomatriisi;
  • $b$ on bias-vektori;
  • $f$ on aktivointifunktio.

3. Ulostulon muodostus: ulostulo $y_t$ muodostetaan nykyisen piilotilan $h_t$ perusteella seuraavan kaavan mukaisesti:

• Missä:
  • $V$ on ulostulon painomatriisi;
  • $c$ on ulostulon bias;
  • $g$ on ulostulokerroksen aktivointifunktio.

Takaisinkytkentäprosessi

Takaisinkytkentä (backpropagation) on keskeistä RNN:ien painojen päivittämisessä ja mallin parantamisessa. Prosessia muokataan RNN:ien jaksollisen luonteen vuoksi käyttämällä aikaan ulottuvaa takaisinkytkentää (BPTT):

1. Virheen laskenta: BPTT:n ensimmäinen vaihe on virheen laskeminen jokaisella ajanhetkellä. Tämä virhe on tyypillisesti ennustetun ulostulon ja todellisen tavoitteen välinen ero;
2. Gradientin laskenta: Toistuvissa neuroverkoissa häviöfunktion gradientit lasketaan derivoimalla virhe verkon parametrien suhteen ja propagoi taaksepäin ajassa viimeisestä askeleesta alkuun, mikä voi johtaa katoaviin tai räjähtäviin gradientteihin erityisesti pitkissä sekvensseissä;
3. Painojen päivitys: Kun gradientit on laskettu, painot päivitetään käyttämällä optimointimenetelmää, kuten stokastista gradienttilaskeutumista (SGD). Painoja säädetään siten, että virhe pienenee tulevilla iteraatioilla. Painojen päivityksen kaava on:

• Missä:
  • $\eta$ on oppimisnopeus;
  • $\frac{\partial \text{Loss}}{\partial W}$ on häviöfunktion gradientti painomatriisin suhteen.

Yhteenvetona RNN:t ovat tehokkaita, koska ne kykenevät muistamaan ja hyödyntämään aiempaa tietoa, mikä tekee niistä sopivia tehtäviin, joissa käsitellään sekvenssejä.