Künstliche neuronale Netze (ANNs), einschließlich leistungsstarker Architekturen wie Convolutional Neural Networks (CNNs), die sich bei Aufgaben wie der Bilderkennung auszeichnen, arbeiten grundsätzlich mit festen, unabhängigen Eingaben. Obwohl sie zu ihrer Zeit revolutionär waren, zeigen sich bei der direkten Anwendung dieser Netzwerke auf sequenzielle Probleme erhebliche Einschränkungen. Der Versuch, sequenzielle Daten in das Schema eines Standard-ANN zu pressen, ist vergleichbar mit dem Versuch, ein Buch zu lesen, indem man alle Wörter durcheinander auf einer einzigen Seite betrachtet – der Zusammenhang, der Fluss und die entscheidenden Abhängigkeiten zwischen den Elementen gehen verloren.

Betrachten wir die spezifischen Gründe, warum Standard-ANNs mit sequenziellen Daten Schwierigkeiten haben:

• Feste Größen: machen sie ungeeignet für Sequenzen variabler Länge, ohne komplexe Umgehungslösungen wie Padding oder Kürzung;

• Keine Parameterteilung über die Zeit: das Netzwerk muss dasselbe Merkmal unabhängig an jedem möglichen Zeitschritt erlernen;

• Ineffizient für lange Sequenzen: die Verarbeitung langer Sequenzen mit ANNs kann rechnerisch aufwendig und speicherintensiv sein; die Anzahl der Parameter wächst linear mit der Sequenzlänge.

Diese grundlegenden architektonischen Einschränkungen bedeuten, dass Standard-ANNs nicht in der Lage sind, zeitliche Abhängigkeiten effektiv zu erfassen oder ein Gedächtnis für vergangene Informationen innerhalb einer Sequenz aufrechtzuerhalten. Sie behandeln jede Eingabeinstanz weitgehend isoliert, was ein entscheidender Nachteil ist, wenn die Ausgabe nicht nur von der aktuellen Eingabe, sondern von der gesamten Historie der Eingaben abhängt. Um diese Einschränkungen zu überwinden, ist ein neuronales Netzwerkdesign erforderlich, das von Grund auf für die Verarbeitung von Sequenzen konzipiert ist, frühere Datenpunkte speichert und das Lernen über Zeitschritte hinweg anwendet. Genau diese Lücke wurden durch rekurrente neuronale Netze (RNNs) geschlossen.