Het Gaussian mixture model (GMM) werkt door iteratief de plaatsing van Gaussische verdelingen te verbeteren om zo goed mogelijk bij de data te passen:

1. Kies een willekeurig aantal Gaussische verdelingen: begin met het bepalen van het aantal Gaussische verdelingen (clusters) dat op de data wordt toegepast. Dit aantal wordt vaak vooraf vastgesteld of bepaald met methoden zoals de silhouet-score, die meet hoe goed de clusters van elkaar gescheiden zijn;

2. Bereken verantwoordelijkheid: voor elk datapunt wordt de kans berekend dat het tot elke Gaussische verdeling behoort. Deze kans, de verantwoordelijkheid genoemd, hangt af van hoe dicht het punt bij het centrum van elke Gaussische verdeling ligt en van de spreiding (variantie);

3. Verplaats de Gaussische verdelingen: op basis van de berekende verantwoordelijkheden worden de gemiddelden en varianties van de Gaussische verdelingen bijgewerkt om beter bij de datapunten te passen. Deze stap zorgt ervoor dat de verdelingen geleidelijk aansluiten bij de datastructuur;

4. Herhaal stap 2 en 3: het proces van verantwoordelijkheden berekenen en de Gaussische verdelingen verplaatsen wordt herhaald totdat het model convergeert.

Wanneer convergeert GMM?

Convergentie treedt op wanneer de veranderingen in de Gaussische parameters (gemiddelde, variantie en gewichten) tussen iteraties zeer klein zijn of onder een vooraf bepaalde drempel vallen.

Stel dat je twee Gaussische verdelingen hebt die proberen een dataset van lengtes te clusteren. Aanvankelijk kan één Gaussische verdeling gecentreerd zijn op een gemiddelde lengte van 5 feet en een andere op 6 feet. Naarmate de iteraties vorderen, passen de twee Gaussische verdelingen hun posities en spreidingen aan. Als hun gemiddelden en varianties stabiliseren—bijvoorbeeld, de ene stabiliseert op 5.5 feet en de andere op 6.2 feet zonder verdere significante aanpassingen—dan is het model geconvergeerd.

Eerste iteratie

Na convergentie