Summary  
This chapter covers implementing, training, and evaluating two recurrent neural network architectures (LSTM and GRU) by defining their model structures, running training loops with measured execution time and loss metrics, and comparing their prediction performance through plotting.

General domain of usage  
Time series forecasting

Viene presentato un confronto che evidenzia le principali differenze tra le reti **long short-term memory (LSTM)** e **gated recurrent unit (GRU)**.


Affronta il problema del gradiente che svanisce nelle RNN, cattura dipendenze a lungo termine.

Affronta il problema del gradiente che svanisce nelle RNN, cattura dipendenze a lungo termine con una struttura più semplice.

1. Forget gate: decide quali informazioni scartare;2. Input gate: decide quali nuove informazioni memorizzare;3. Output gate: decide quale parte dello stato della cella restituire.

1. Reset gate: decide quante informazioni passate dimenticare;2. Update gate: controlla l'aggiornamento dello stato nascosto.

Mantiene uno stato di cella separato (memoria a lungo termine).

Non ha uno stato di cella separato. Utilizza solo lo stato nascosto per trasportare le informazioni.

Il flusso di informazioni è regolato dai tre gate e dallo stato di cella separato.

Il flusso di informazioni è regolato dai due gate e dallo stato nascosto.

Più complesso a causa degli stati di cella e nascosti separati e di un gate aggiuntivo.

Più semplice rispetto a LSTM, il che può portare a un addestramento e inferenza più rapidi.

Più lento a causa dell'architettura più complessa.

Più veloce grazie a meno parametri e calcoli più semplici.

Può offrire prestazioni migliori in compiti che richiedono l'apprendimento di dipendenze a lungo termine.

Paragonabile a LSTM in molti compiti, a volte migliore su dataset più piccoli.

Ampio utilizzo in riconoscimento vocale, modellazione del linguaggio, previsione di serie temporali.

Utilizzato anche in compiti simili, spesso scelto quando le risorse computazionali sono limitate.

Più parametri a causa del gate aggiuntivo e dello stato di cella separato.

Meno parametri, il che può ridurre il rischio di overfitting e migliorare la generalizzazione.

Scarica il codice di questo capitolo

Padroneggiare le reti neurali ricorrenti e le loro varianti avanzate come LSTM e GRU utilizzando PyTorch. Acquisire esperienza pratica nell'elaborazione di dati sequenziali per applicazioni concrete. Applicare questi potenti modelli per affrontare sfide reali nella previsione di serie temporali e in diversi compiti di elaborazione del linguaggio naturale.

Tratta le limitazioni delle reti neurali tradizionali per i dati sequenziali e introduce i fondamenti delle Reti Neurali Ricorrenti. Spiega l'architettura delle RNN, le tipologie e l'implementazione passo dopo passo tramite esempi di base e una sfida di programmazione.

Esplora le comuni sfide di addestramento come la scomparsa e l'esplosione dei gradienti. Introduce varianti avanzate di RNN, tra cui LSTM e GRU, evidenziando i loro meccanismi interni e casi d'uso, con esempi pratici di implementazione per ciascuna.

Si concentra sull'elaborazione e la previsione di dati di serie temporali utilizzando modelli basati su RNN. Include caricamento dei dati, tecniche di preprocessamento, addestramento del modello e valutazione delle prestazioni, con enfasi sul confronto tra architetture LSTM e GRU.

Dimostra l'applicazione delle RNN ai compiti di classificazione del testo. Copre i concetti fondamentali di NLP, i metodi di codifica del testo, le fasi di preparazione dei dati e la costruzione di un modello basato su LSTM per la previsione del sentiment.

LSTM vs GRU per Serie Temporali

LSTM vs GRU per Serie Temporali