Artificiella neurala nätverk (ANNs), inklusive kraftfulla arkitekturer som konvolutionella neurala nätverk (CNNs) vilka utmärker sig vid uppgifter som bildigenkänning, arbetar i grunden med fasta, oberoende indata. Även om de var revolutionerande för sin tid, avslöjar tillämpningen av dessa nätverk direkt på sekventiella problem betydande begränsningar. Att försöka tvinga sekventiell data in i en standard-ANN är som att försöka läsa en bok genom att titta på alla ord huller om buller på en enda sida – du förlorar berättelsen, flödet och de avgörande beroendena mellan elementen.

Här är de specifika anledningarna till varför standard-ANNs har svårt med sekventiell data:

• Fasta storlekar: vilket gör dem olämpliga för sekvenser med varierande längd utan komplexa lösningar som utfyllnad eller trunkering;

• Ingen parameterdelning över tid: vilket tvingar nätverket att lära sig samma egenskap oberoende vid varje möjligt tidssteg;

• Ineffektiva för långa sekvenser: bearbetning av långa sekvenser med ANNs kan vara beräkningsmässigt kostsamt och minneskrävande; eftersom antalet parametrar växer linjärt med sekvensens längd.

Dessa grundläggande arkitektoniska begränsningar innebär att standard-ANNs saknar förmågan att effektivt fånga temporala beroenden eller upprätthålla minne av tidigare information inom en sekvens. De behandlar varje indataexempel i stort sett isolerat, vilket är en avgörande nackdel när utfallet inte bara beror på aktuell indata, utan på hela historiken av indata. För att övervinna dessa begränsningar krävs en neural nätverksdesign som är inneboende byggd för att hantera sekvenser, minnas tidigare datapunkter och tillämpa inlärning över tidssteg. Det är just denna lucka som rekurrenta neurala nätverk (RNNs) är utformade för att fylla.