Le Reti Neurali Artificiali (ANN) costituiscono la base dell'Intelligenza Artificiale Generativa moderna. Sono progettate per riconoscere schemi, apprendere rappresentazioni e generare dati che imitano le distribuzioni del mondo reale. Verrà fornita una panoramica concisa e completa delle ANN, con enfasi sulla loro importanza nell'IA Generativa.

Struttura delle Reti Neurali

Neuroni e Strati

Una rete neurale è composta da unità interconnesse chiamate neuroni, organizzate in strati:

• Strato di Input: riceve dati grezzi (ad esempio, immagini, testo, input numerici);
• Strati Nascosti: elaborano e trasformano i dati tramite connessioni pesate;
• Strato di Output: produce previsioni o classificazioni.

Ogni neurone applica una somma pesata ai propri input e trasmette il risultato attraverso una funzione di attivazione:

dove:

• $x_i$ sono i valori di input;
• $\omega_i$ sono i pesi;
• $b$ è il termine di bias;
• $z$ è la somma pesata trasmessa alla funzione di attivazione.

Funzioni di Attivazione

Le funzioni di attivazione introducono la non linearità, permettendo alle reti di apprendere schemi complessi. Le funzioni di attivazione più comuni includono:

• Sigmoide, utilizzata per le probabilità: $\sigma(z)=\dfrac{1}{1+e^{-z}}$

• ReLU (Rectified Linear Unit), comunemente utilizzata nelle reti profonde: $f(z)=\max(0,z)$

• Tanh, utile per output centrati sullo zero: $\tanh(z)=\dfrac{e^z-e^{-z}}{e^z+e^{-z}}$

Propagazione Diretta e Inversa

Propagazione Diretta

La propagazione diretta consiste nel far passare gli input attraverso la rete per calcolare l'output. Ogni neurone calcola:

dove $f(z)$ è la funzione di attivazione.

Retropropagazione e Discesa del Gradiente

Per migliorare le previsioni, le ANN regolano i pesi utilizzando la retropropagazione, che minimizza l'errore tramite la discesa del gradiente. La regola di aggiornamento dei pesi nella discesa del gradiente è:

dove:

• $\eta$ è il tasso di apprendimento;
• $L$ è la funzione di perdita;
• $\frac{\partial L}{\partial \omega_i}$ è il gradiente della funzione di perdita rispetto a $\omega_i$.

Funzioni di perdita e processo di addestramento

Funzioni di perdita

Le funzioni di perdita misurano la differenza tra i valori previsti e quelli reali. Le funzioni di perdita comuni includono:

• Errore quadratico medio (MSE) (per la regressione):

• Perdita di entropia incrociata (per la classificazione):

dove:

• $y_i$ è l'etichetta reale;
• $\hat{y}_i$ è la probabilità prevista.

Processo di addestramento

1. Inizializzazione casuale dei pesi;
2. Esecuzione della propagazione in avanti per calcolare le previsioni;
3. Calcolo della perdita utilizzando la funzione di perdita scelta;
4. Utilizzo della retropropagazione per calcolare l'aggiornamento dei pesi;
5. Aggiornamento dei pesi tramite discesa del gradiente;
6. Ripetizione per più epoche fino alla convergenza della rete.

Il Teorema di Approssimazione Universale e il Deep Learning

Teorema di Approssimazione Universale

Il Teorema di Approssimazione Universale afferma che una rete neurale con almeno uno strato nascosto può approssimare qualsiasi funzione continua, dato un numero sufficiente di neuroni e pesi adeguati. Questo giustifica perché le ANN possono modellare relazioni altamente complesse.

Deep Learning e la sua Importanza

Il Deep Learning estende le ANN aggiungendo molti strati nascosti, permettendo di:

• Estrarre caratteristiche gerarchiche (utile in elaborazione delle immagini e NLP);
• Modellare distribuzioni di probabilità complesse (fondamentale per la Generative AI);
• Apprendere senza ingegnerizzazione manuale delle caratteristiche (come visto nel self-supervised learning).

Conclusione

Questo capitolo ha introdotto i principi fondamentali delle ANN, enfatizzando la loro struttura, il processo di apprendimento e l'importanza nel deep learning. Questi concetti costituiscono la base per tecniche avanzate di Generative AI come GAN e VAE, che si basano sulle reti neurali per generare dati realistici.