Schwächen von ANNs

Künstliche neuronale Netze (ANNs), einschließlich leistungsstarker Architekturen wie Convolutional Neural Networks (CNNs), die sich besonders für Aufgaben wie die Bilderkennung eignen, arbeiten grundsätzlich mit festen, unabhängigen Eingaben. Obwohl sie zu ihrer Zeit revolutionär waren, zeigen sich bei der direkten Anwendung dieser Netze auf sequenzielle Probleme erhebliche Einschränkungen. Der Versuch, sequenzielle Daten in das Schema eines Standard-ANNs zu pressen, ist vergleichbar mit dem Versuch, ein Buch zu lesen, indem man alle Wörter durcheinander auf einer einzigen Seite betrachtet – der Zusammenhang, der Fluss und die entscheidenden Abhängigkeiten zwischen den Elementen gehen verloren.

Im Folgenden werden die spezifischen Gründe erläutert, warum Standard-ANNs mit sequenziellen Daten Schwierigkeiten haben:

• Feste Größen: machen sie ungeeignet für Sequenzen variabler Länge, ohne komplexe Umgehungslösungen wie Padding oder Abschneiden;
• Keine Parameterteilung über die Zeit: das Netzwerk muss dasselbe Merkmal an jedem möglichen Zeitschritt unabhängig voneinander erlernen;
• Ineffizient für lange Sequenzen: die Verarbeitung langer Sequenzen mit ANNs kann rechnerisch aufwendig und speicherintensiv sein, da die Anzahl der Parameter linear mit der Sequenzlänge wächst.

Diese grundlegenden architektonischen Einschränkungen bedeuten, dass Standard-ANNs nicht in der Lage sind, zeitliche Abhängigkeiten effektiv zu erfassen oder ein Gedächtnis für vergangene Informationen innerhalb einer Sequenz aufrechtzuerhalten. Sie behandeln jede Eingabeinstanz weitgehend isoliert, was ein entscheidender Nachteil ist, wenn die Ausgabe nicht nur von der aktuellen Eingabe, sondern von der gesamten Historie der Eingaben abhängt. Um diese Einschränkungen zu überwinden, ist ein neuronales Netzwerkdesign erforderlich, das von Grund auf für die Verarbeitung von Sequenzen konzipiert ist, frühere Datenpunkte speichert und das Lernen über Zeitschritte hinweg anwendet. Genau diese Lücke wurden durch rekurrente neuronale Netze (RNNs) geschlossen.