Il modello a miscela gaussiana (GMM) funziona migliorando iterativamente la posizione delle distribuzioni gaussiane per adattarsi al meglio ai dati:

1. Selezione casuale del numero di gaussiane: si inizia decidendo il numero di distribuzioni gaussiane (cluster) da adattare ai dati. Questo valore è spesso predefinito o determinato tramite metodi come il silhouette score, che misura quanto i cluster siano ben separati;

2. Calcolo della responsabilità: per ogni punto dati, si calcola la probabilità che appartenga a ciascuna distribuzione gaussiana. Questa probabilità, chiamata responsabilità, dipende dalla vicinanza del punto al centro di ciascuna gaussiana e dalla dispersione (varianza);

3. Spostamento delle gaussiane: in base alle responsabilità calcolate, le medie e le varianze delle gaussiane vengono aggiornate per adattarsi meglio ai punti dati. Questo passaggio garantisce che le distribuzioni si allineino gradualmente alla struttura dei dati;

4. Ripetizione dei passaggi 2 e 3: il processo di calcolo delle responsabilità e di spostamento delle gaussiane viene ripetuto fino a quando il modello converge.

Quando converge il GMM?

La convergenza si verifica quando le variazioni nei parametri gaussiani (media, varianza e pesi) tra le iterazioni sono molto piccole o inferiori a una soglia predefinita.

Supponiamo di avere due distribuzioni gaussiane che cercano di raggruppare un dataset di altezze. Inizialmente, una gaussiana potrebbe essere centrata su un'altezza media di 5 piedi e l'altra su 6 piedi. Con il procedere delle iterazioni, le due gaussiane aggiustano le loro posizioni e dispersioni. Se le loro medie e varianze si stabilizzano—ad esempio, una si assesta su 5.5 piedi e l'altra su 6.2 piedi senza ulteriori aggiustamenti significativi—il modello ha convergito.

Prima iterazione

Dopo la convergenza