Trovare il Numero Ottimale di Cluster Utilizzando il Punteggio Silhouette

Oltre al metodo WSS, il silhouette score è un altro indicatore prezioso per determinare il numero ottimale di cluster (K) nel K-means. Valuta quanto bene ogni punto dati si adatta al proprio cluster rispetto agli altri.

Per ogni punto dati, il silhouette score considera:

• Coesione (a): distanza media dai punti all'interno del proprio cluster;

• Separazione (b): distanza media dai punti nel cluster più vicino.

Il Silhouette Score si calcola come: (b - a) / max(a, b), con valori compresi tra -1 e +1.

Interpretazione del punteggio:

• +1: punto ben raggruppato;

• ~0: punto sul confine tra cluster;

• -1: punto potenzialmente classificato in modo errato.

I passaggi per trovare il K ottimale utilizzando il silhouette score sono i seguenti:

• Eseguire K-means per una gamma di valori K (ad esempio, K=2 fino a un limite ragionevole);

• Per ogni K, calcolare il Silhouette Score medio;

• Tracciare il silhouette score medio rispetto a K (silhouette plot);

• Scegliere il K con il valore medio più alto di silhouette score.

L'analisi del silhouette plot, che mostra i punteggi per ogni punto, può offrire ulteriori informazioni sulla coerenza dei cluster. Sono preferibili punteggi medi elevati e valori consistenti tra i punti.

In sintesi, mentre il WSS minimizza le distanze intra-cluster, il silhouette score bilancia coesione e separazione. L'utilizzo di entrambi offre un approccio più robusto per individuare il K ottimale.