ANN-Mallien Puutteet

Keinotekoiset neuroverkot (ANN:t), mukaan lukien tehokkaat arkkitehtuurit kuten konvoluutioneuroverkot (CNN:t), jotka ovat erinomaisia esimerkiksi kuvantunnistuksessa, toimivat pohjimmiltaan kiinteiden, toisistaan riippumattomien syötteiden perusteella. Vaikka nämä verkot olivat aikanaan mullistavia, niiden suora soveltaminen sekventiaalisiin ongelmiin paljastaa merkittäviä rajoituksia. Yritys pakottaa sekventiaalinen data tavallisen ANN:n muotoon on kuin yrittäisi lukea kirjaa katsomalla kaikki sanat sekoitettuna yhdelle sivulle – kertomus, kulku ja olennaiset riippuvuudet elementtien välillä katoavat.

Tarkastellaan tarkemmin, miksi tavalliset ANN:t kohtaavat vaikeuksia sekventiaalisen datan kanssa:

• Kiinteät koot: tekevät niistä sopimattomia vaihtelevan pituisille sekvensseille ilman monimutkaisia kiertotapoja, kuten täydennystä tai katkaisua;
• Ei parametrien jakamista ajan yli: verkon täytyy oppia sama piirre itsenäisesti jokaisessa mahdollisessa aikapisteessä;
• Tehottomuus pitkillä sekvensseillä: pitkien sekvenssien käsittely ANN:llä voi olla laskennallisesti raskasta ja muisti-intensiivistä; parametrien määrä kasvaa lineaarisesti sekvenssin pituuden mukaan.

Nämä perustavanlaatuiset arkkitehtuuriset rajoitteet tarkoittavat, että tavalliset ANN:t eivät kykene tehokkaasti mallintamaan ajallisia riippuvuuksia tai ylläpitämään muistia aiemmasta tiedosta sekvenssin sisällä. Ne käsittelevät jokaisen syötteen pääosin erillisenä, mikä on merkittävä haitta silloin, kun lopputulos riippuu paitsi nykyisestä syötteestä, myös koko syötehistorian tiedoista. Näiden rajoitusten voittaminen vaatii neuroverkkorakenteen, joka on luotu käsittelemään sekvenssejä, muistamaan aiemmat datapisteet ja soveltamaan oppimista aikapisteiden yli. Juuri tähän tarpeeseen toistuvat neuroverkot (RNN:t) on suunniteltu.