Nel clustering K-means, determinare il numero ottimale di cluster, K, è una decisione fondamentale. Scegliere il K corretto è essenziale per individuare schemi significativi nei dati. Troppi pochi cluster potrebbero semplificare eccessivamente i dati, mentre troppi potrebbero creare cluster troppo specifici e meno utili. Pertanto, è importante utilizzare metodi che guidino la scelta di K.

Una tecnica molto diffusa per trovare il K ottimale è la metrica within-sum-of-squares (WSS). WSS misura la somma dei quadrati delle distanze tra ciascun punto dati e il proprio centroide assegnato all'interno di un cluster. In sostanza, WSS indica quanto sono compatti i cluster. Valori WSS più bassi suggeriscono cluster più stretti e compatti.

Per utilizzare WSS nella ricerca del K ottimale, generalmente si seguono questi passaggi:

Questo "gomito" è spesso considerato un forte indicatore del valore ottimale di K per i seguenti motivi:

• Indica rendimenti decrescenti: aggiungere ulteriori cluster oltre il gomito non porta a un miglioramento sostanziale del WSS, il che significa che i cluster non diventano significativamente più compatti;

• Bilancia granularità e semplicità: il gomito rappresenta spesso un buon compromesso tra la cattura della struttura essenziale nei dati senza overfitting o la creazione di cluster inutilmente dettagliati.

Ricorda che il metodo del gomito è una euristica. Il punto del gomito potrebbe non essere sempre ben definito e altri fattori potrebbero influenzare la scelta finale di K. L'ispezione visiva dei cluster risultanti e la tua conoscenza del dominio sono integrazioni preziose al metodo del gomito.