Keinotekoiset neuroverkot (ANN:t), mukaan lukien tehokkaat arkkitehtuurit kuten konvoluutioneuroverkot (CNN:t), jotka ovat erinomaisia esimerkiksi kuvantunnistuksessa, perustuvat pohjimmiltaan kiinteisiin, toisistaan riippumattomiin syötteisiin. Vaikka nämä verkot olivat aikanaan mullistavia, niiden suora soveltaminen sekventiaalisiin ongelmiin paljastaa merkittäviä rajoituksia. Yrittää pakottaa sekventiaalinen data tavallisen ANN:n muotoon on kuin yrittäisi lukea kirjaa katsomalla kaikki sanat sekoitettuna yhdelle sivulle – kertomus, kulku ja olennaiset riippuvuudet elementtien välillä katoavat.

Tarkastellaan tarkemmin, miksi tavalliset ANN:t eivät sovellu sekventiaaliseen dataan:

• Kiinteät koot: tekevät niistä sopimattomia vaihtelevan pituisille sekvensseille ilman monimutkaisia kiertotapoja, kuten täydennystä tai katkaisua;

• Ei parametrien jakamista ajan yli: verkon on opittava sama piirre itsenäisesti jokaisessa mahdollisessa aikapisteessä;

• Tehottomuus pitkillä sekvensseillä: pitkien sekvenssien käsittely ANN:llä voi olla laskennallisesti raskasta ja muisti-intensiivistä; parametrien määrä kasvaa lineaarisesti sekvenssin pituuden mukaan.

Nämä perustavanlaatuiset arkkitehtuuriset rajoitteet tarkoittavat, että tavalliset ANN:t eivät kykene tehokkaasti mallintamaan ajallisia riippuvuuksia tai ylläpitämään muistia aiemmasta tiedosta sekvenssin sisällä. Ne käsittelevät jokaisen syötteen pääosin erillään, mikä on merkittävä haitta silloin, kun lopputulos riippuu paitsi nykyisestä syötteestä, myös koko syötehistorian tiedoista. Näiden rajoitusten voittaminen edellyttää neuroverkkoarkkitehtuuria, joka on luotu käsittelemään sekvenssejä, muistamaan aiemmat datapisteet ja soveltamaan oppimista aikapisteiden yli. Juuri tähän tarpeeseen toistuvat neuroverkot (RNN:t) on suunniteltu.