Kunstmatige neurale netwerken (ANNs), waaronder krachtige architecturen zoals convolutionele neurale netwerken (CNNs) die uitblinken in taken zoals beeldherkenning, werken fundamenteel met vaste, onafhankelijke invoer. Hoewel ze revolutionair waren in hun tijd, tonen deze netwerken aanzienlijke beperkingen wanneer ze direct worden toegepast op sequentiële problemen. Het proberen om sequentiële data in het format van een standaard ANN te dwingen, is vergelijkbaar met het lezen van een boek door alle woorden door elkaar op één pagina te bekijken – het verhaal, de samenhang en de cruciale afhankelijkheden tussen elementen gaan verloren.

Hier zijn de specifieke redenen waarom standaard ANNs moeite hebben met sequentiële data:

• Vaste groottes: waardoor ze ongeschikt zijn voor reeksen met variabele lengte zonder complexe oplossingen zoals opvullen of inkorten;

• Geen parameterdeling over de tijd: waardoor het netwerk hetzelfde kenmerk onafhankelijk op elk mogelijk tijdstip moet leren;

• Inefficiënt voor lange reeksen: het verwerken van lange reeksen met ANNs kan computationeel duur en geheugenintensief zijn; het aantal parameters groeit lineair met de lengte van de reeks.

Deze fundamentele architecturale beperkingen betekenen dat standaard ANNs niet in staat zijn om effectief temporele afhankelijkheden vast te leggen of geheugen van voorgaande informatie binnen een reeks te behouden. Ze behandelen elke invoer grotendeels geïsoleerd, wat een cruciaal nadeel is wanneer de output niet alleen afhankelijk is van de huidige invoer, maar van de volledige geschiedenis van invoer. Het overwinnen van deze beperkingen vereist een neuraal netwerkontwerp dat van nature geschikt is voor het verwerken van reeksen, waarbij eerdere gegevenspunten worden onthouden en leren over tijdstappen wordt toegepast. Dit is precies het gat dat recurrente neurale netwerken (RNNs) zijn ontworpen om te vullen.