Kunstige nevrale nettverk (ANNs), inkludert kraftige arkitekturer som konvolusjonsnevrale nettverk (CNNs) som utmerker seg i oppgaver som bilde­gjenkjenning, opererer grunnleggende på faste, uavhengige input. Selv om de var revolusjonerende for sin tid, avslører direkte bruk av disse nettverkene på sekvensielle problemer betydelige begrensninger. Å forsøke å tvinge sekvensielle data inn i formen til et standard ANN er som å lese en bok ved å se på alle ordene blandet sammen på én side – du mister fortellingen, flyten og de avgjørende avhengighetene mellom elementene.

La oss se på de spesifikke grunnene til at standard ANNs sliter med sekvensielle data:

• Faste størrelser: gjør dem uegnet for sekvenser med variabel lengde uten komplekse løsninger som utfylling eller trunkering;

• Ingen parameterdeling over tid: tvinger nettverket til å lære den samme egenskapen uavhengig for hvert mulige tidsskritt;

• Ineffektive for lange sekvenser: behandling av lange sekvenser med ANNs kan være beregningsmessig kostbart og minnekrevende; antall parametere øker lineært med sekvenslengden.

Disse grunnleggende arkitektoniske begrensningene betyr at standard ANNs mangler evnen til effektivt å fange temporale avhengigheter eller opprettholde minne om tidligere informasjon i en sekvens. De behandler hver input-instans stort sett isolert, noe som er en kritisk ulempe når output avhenger ikke bare av nåværende input, men av hele historikken av input. Å overvinne disse begrensningene krever et nevralt nettverksdesign som er iboende bygget for å håndtere sekvenser, huske tidligere datapunkter og anvende læring på tvers av tidsskritt. Dette er nettopp gapet som rekurrente nevrale nettverk (RNNs) ble utviklet for å fylle.