Le reti neurali artificiali (ANN), comprese architetture potenti come le reti neurali convoluzionali (CNN) che eccellono in compiti come il riconoscimento delle immagini, operano fondamentalmente su input fissi e indipendenti. Sebbene rivoluzionarie per la loro epoca, l'applicazione diretta di queste reti a problemi sequenziali rivela notevoli limitazioni. Cercare di adattare dati sequenziali allo schema di una ANN standard è come tentare di leggere un libro guardando tutte le parole mescolate su una singola pagina: si perde la narrazione, il flusso e le dipendenze cruciali tra gli elementi.

Vediamo i motivi specifici per cui le ANN standard hanno difficoltà con i dati sequenziali:

• Dimensioni fisse: le rendono inadatte a sequenze di lunghezza variabile senza soluzioni complesse come il padding o il troncamento;

• Nessuna condivisione dei parametri nel tempo: costringendo la rete ad apprendere la stessa caratteristica in modo indipendente a ogni possibile passo temporale;

• Inefficienza per sequenze lunghe: l'elaborazione di sequenze lunghe con le ANN può essere costosa in termini computazionali e di memoria; poiché il numero di parametri cresce linearmente con la lunghezza della sequenza.

Questi vincoli architetturali fondamentali fanno sì che le ANN standard non siano in grado di catturare efficacemente le dipendenze temporali o di mantenere la memoria delle informazioni passate all'interno di una sequenza. Trattano ogni istanza di input in gran parte in isolamento, il che rappresenta uno svantaggio critico quando l'output dipende non solo dall'input corrente, ma dall'intera storia degli input. Superare queste limitazioni richiede un design di rete neurale intrinsecamente costruito per gestire sequenze, ricordando i dati precedenti e applicando l'apprendimento attraverso i passi temporali. Proprio questa lacuna è stata colmata dalle reti neurali ricorrenti (RNN).