Le reti neurali hanno rivoluzionato il campo del machine learning e dell'intelligenza artificiale, offrendo soluzioni a problemi precedentemente considerati difficili o addirittura irrisolvibili. Esistono molte architetture di reti neurali, ciascuna progettata per tipologie specifiche di compiti.

Reti Neurali Feedforward (FNN) o Percettroni Multistrato (MLP)

Questa è un'architettura classica di rete neurale, un'estensione diretta del percettrone a singolo strato verso più strati. Queste rappresentano le architetture fondamentali su cui si basano la maggior parte degli altri tipi di reti neurali. È l'architettura che è stata trattata in questo corso.

Reti Neurali Convoluzionali (CNN)

Le CNN sono particolarmente efficaci per compiti come elaborazione delle immagini (problemi come classificazione delle immagini, segmentazione delle immagini, ecc.) perché sono progettate per apprendere in modo automatico e adattivo gerarchie spaziali di caratteristiche.

Utilizzano strati convoluzionali per filtrare gli input alla ricerca di informazioni utili. Questi strati convoluzionali possono catturare le caratteristiche spaziali di un'immagine come bordi, angoli, texture, ecc. Sebbene il loro principale successo sia stato nel campo della classificazione delle immagini, trovano applicazione anche in altri ambiti.

Reti Neurali Ricorrenti (RNN)

Le RNN presentano cicli che consentono la persistenza delle informazioni. A differenza delle reti neurali feedforward, le RNN possono utilizzare il loro stato interno (memoria) per elaborare sequenze di input, risultando estremamente utili per serie temporali o dati sequenziali. Sono ampiamente utilizzate per problemi di previsione di sequenze, come l'elaborazione del linguaggio naturale o il riconoscimento vocale.

Varianti delle RNN

1. Long short-term memory (LSTM): supera il problema del gradiente che svanisce nelle RNN, facilitando l'apprendimento da dipendenze a lungo termine;
2. Gated recurrent units (GRU): una variante più semplice ed efficiente delle LSTM. Tuttavia, apprende pattern complessi nei dati in modo meno efficace rispetto alle LSTM.

Librerie per il Deep Learning

L'addestramento di reti neurali profonde richiede più di quanto offra la classica libreria di machine learning scikit-learn. Le librerie più comunemente utilizzate per lavorare con reti neurali profonde sono TensorFlow e PyTorch. Ecco i principali motivi per cui sono preferite per questo compito:

1. Prestazioni e scalabilità: TensorFlow e PyTorch sono progettate specificamente per addestrare modelli su grandi quantità di dati e possono funzionare in modo efficiente su unità di elaborazione grafica (GPU), accelerando l'addestramento;

2. Flessibilità: a differenza di scikit-learn, TensorFlow e PyTorch consentono di creare architetture di reti neurali arbitrarie, incluse strutture ricorrenti, convoluzionali e transformer;

3. Differenziazione automatica: una delle caratteristiche chiave di queste librerie è la capacità di calcolare automaticamente i gradienti, fondamentale per ottimizzare i pesi nelle reti neurali.