Le distribuzioni di probabilità e la casualità sono fondamentali nei modelli generativi, consentendo ai sistemi di intelligenza artificiale di creare output diversificati e realistici. Invece di definire esplicitamente la teoria della probabilità, questo capitolo si concentra su come la probabilità viene utilizzata nell'IA generativa per modellare l'incertezza, campionare dati e addestrare modelli generativi.

Ruolo delle distribuzioni di probabilità nell'IA generativa

I modelli generativi si basano sulle distribuzioni di probabilità per apprendere i pattern dei dati e generare nuovi campioni. Le idee chiave includono:

• Rappresentazione nello spazio latente: molti modelli generativi (ad esempio, VAE, GAN) mappano i dati di input in una distribuzione di probabilità a dimensionalità inferiore. Il campionamento da questa distribuzione genera nuovi punti dati;
• Stima della verosimiglianza: i modelli probabilistici stimano la probabilità di osservare un dato punto in base a una distribuzione appresa, guidando l'addestramento;
• Campionamento e generazione: il processo di estrazione di campioni casuali dalle distribuzioni apprese per creare nuovi dati sintetici.

Concetti matematici chiave:

Per una distribuzione di probabilità $p(x)$, la verosimiglianza dei dati $X$ dati i parametri del modello $\theta$ è:

La massimizzazione di questa verosimiglianza consente ai modelli generativi di apprendere i pattern dai dati. Nell'IA generativa, i modelli spesso assumono forme specifiche di distribuzioni di probabilità—come gaussiana, bernoulliana o categoriale—per rappresentare i dati. La scelta della distribuzione influenza il modo in cui i modelli apprendono e generano nuovi campioni. Ad esempio, nella generazione di testo, vengono utilizzate distribuzioni categoriali per modellare la probabilità di ciascuna parola possibile date le parole precedenti.

Casualità e rumore nei modelli generativi

Il rumore svolge un ruolo cruciale nell'IA generativa, garantendo diversità e migliorando la robustezza:

• Rumore latente nei GAN: nei GAN, un vettore di rumore $z \sim p(x)$ (spesso campionato da una distribuzione gaussiana o uniforme) viene trasformato in campioni realistici tramite il generatore. Questa casualità assicura variazione nelle immagini generate;
• Inferenza variazionale nei VAE: i VAE introducono rumore gaussiano nello spazio latente, consentendo un'interpolazione fluida tra i campioni generati. Questo garantisce che piccole variazioni nelle variabili latenti producano variazioni significative negli output;
• Modelli di diffusione e processi stocastici: questi modelli apprendono a invertire un processo graduale di aggiunta di rumore per generare dati di alta qualità. Raffinando iterativamente input rumorosi, possono generare immagini complesse e realistiche.

Esempio: spazio latente gaussiano nei VAE

Nei VAE, l'encoder restituisce i parametri per una distribuzione gaussiana:

Invece di utilizzare una mappatura deterministica, i VAE campionano da questa distribuzione, introducendo una casualità controllata che consente una generazione diversificata. Questa tecnica permette ai VAE di generare nuovi volti interpolando tra diverse rappresentazioni nello spazio latente.

Metodi di campionamento nell'IA generativa

Le tecniche di campionamento sono fondamentali per generare nuovi punti dati da distribuzioni apprese:

• Campionamento Monte Carlo: utilizzato in modelli probabilistici come l'inferenza bayesiana per approssimare le aspettative. L'integrazione Monte Carlo stima un'aspettativa come:

dove $X_i$ sono campionati dalla distribuzione target.

• Trucco della riparametrizzazione: nei VAE, garantisce il flusso del gradiente attraverso nodi stocastici esprimendo $z$ come:

Questo trucco consente una retropropagazione efficiente attraverso strati stocastici.

• Campionamento Ancestrale: nei modelli autoregressivi (ad esempio, GPT), i campioni vengono generati in modo sequenziale sulla base di probabilità condizionate. Ad esempio, durante la generazione di testo, un modello predice la parola successiva dato il contesto delle precedenti:

Questo processo sequenziale garantisce coerenza nel testo generato.

Esempio: Campionamento Ancestrale nella Generazione di Testo

Supponiamo di addestrare un modello generativo per produrre frasi in inglese. Dato l'input "The cat", il modello estrae la parola successiva da una distribuzione di probabilità appresa, producendo risultati come:

• "The cat sleeps."
• "The cat jumps."
• "The cat is hungry."

Ogni previsione della parola successiva dipende dalle parole generate in precedenza, creando sequenze significative.

Applicazioni Pratiche nell'IA Generativa

• GAN: utilizzano vettori di rumore per generare immagini ad alta risoluzione;
• VAE: codificano i dati in una distribuzione di probabilità per un'interpolazione fluida nello spazio latente;
• Modelli di Diffusione: impiegano la rimozione stocastica del rumore per generare immagini in modo iterativo;
• Modelli Generativi Bayesiani: modellano l'incertezza nei compiti generativi.

Conclusione

La probabilità e la casualità costituiscono la base dell'IA Generativa, permettendo ai modelli di apprendere distribuzioni, generare output diversificati e approssimare la variabilità del mondo reale. I prossimi capitoli approfondiranno questi concetti per esplorare la modellazione probabilistica, le reti neurali e le architetture generative.