Begränsningar hos ANN:er

Artificiella neurala nätverk (ANNs), inklusive kraftfulla arkitekturer som konvolutionella neurala nätverk (CNNs) vilka utmärker sig vid uppgifter som bildigenkänning, arbetar i grunden med fasta, oberoende indata. Även om de var revolutionerande för sin tid, avslöjar direkt tillämpning av dessa nätverk på sekventiella problem betydande begränsningar. Att försöka pressa sekventiell data in i en standard-ANN är som att försöka läsa en bok genom att titta på alla ord blandade på en enda sida – man förlorar berättelsen, flödet och de avgörande beroendena mellan elementen.

Här är de specifika anledningarna till varför standard-ANNs har svårt med sekventiell data:

• Fasta storlekar: vilket gör dem olämpliga för sekvenser med varierande längd utan komplexa lösningar som utfyllnad eller trunkering;
• Ingen parameterdelning över tid: vilket tvingar nätverket att lära sig samma egenskap oberoende vid varje möjligt tidssteg;
• Ineffektiva för långa sekvenser: bearbetning av långa sekvenser med ANNs kan vara beräkningsmässigt kostsamt och minneskrävande; eftersom antalet parametrar växer linjärt med sekvensens längd.

Dessa grundläggande arkitektoniska begränsningar innebär att standard-ANNs saknar förmåga att effektivt fånga temporala beroenden eller upprätthålla minne av tidigare information inom en sekvens. De behandlar varje indataexempel i stort sett isolerat, vilket är en kritisk nackdel när utfallet inte bara beror på aktuell indata, utan på hela historiken av indata. För att övervinna dessa begränsningar krävs en neural nätverksdesign som är inneboende byggd för att hantera sekvenser, komma ihåg tidigare datapunkter och tillämpa inlärning över tidssteg. Det är just detta gap som rekurrenta neurala nätverk (RNNs) är utformade för att fylla.