Kunstige neurale netværk (ANNs), herunder kraftfulde arkitekturer som convolutional neural networks (CNNs), der udmærker sig ved opgaver som billedgenkendelse, arbejder grundlæggende med faste, uafhængige input. Selvom de var banebrydende for deres tid, afslører anvendelsen af disse netværk direkte på sekventielle problemer betydelige begrænsninger. At forsøge at tvinge sekventielle data ind i en standard ANN svarer til at læse en bog ved at se på alle ordene blandet sammen på én side – man mister fortællingen, sammenhængen og de afgørende afhængigheder mellem elementerne.

Lad os se på de specifikke grunde til, at standard ANNs har svært ved sekventielle data:

• Faste størrelser: hvilket gør dem uegnede til sekvenser med varierende længde uden komplekse løsninger som padding eller trunkering;

• Ingen parameterdeling på tværs af tid: hvilket tvinger netværket til at lære den samme egenskab uafhængigt ved hvert mulige tidssteg;

• Ineffektive for lange sekvenser: behandling af lange sekvenser med ANNs kan være beregningsmæssigt dyrt og hukommelseskrævende, da antallet af parametre vokser lineært med sekvenslængden.

Disse grundlæggende arkitektoniske begrænsninger betyder, at standard ANNs mangler evnen til effektivt at opfange temporale afhængigheder eller bevare hukommelse om tidligere information i en sekvens. De behandler hver inputinstans stort set isoleret, hvilket er en væsentlig ulempe, når output ikke kun afhænger af det aktuelle input, men af hele historikken af input. At overvinde disse begrænsninger kræver et neuralt netværksdesign, der er indbygget til at håndtere sekvenser, huske tidligere datapunkter og anvende læring på tværs af tidssteg. Det er netop dette hul, som Recurrent neural networks (RNNs) er designet til at udfylde.