Identificazione dei valori anomali e degli errori

Dopo aver rimosso i duplicati, il passo successivo importante è controllare i dati per individuare valori anomali ed errori.

I valori anomali sono valori che si distinguono significativamente dal resto dei dati. Non sempre indicano un problema, ma molto spesso segnalano un errore, come un inserimento dati errato o un problema durante l'importazione.

Gli errori, invece, sono valori che chiaramente non hanno senso nel contesto dei dati. Ad esempio, un numero insolitamente grande, un valore negativo dove non dovrebbe esistere, o un totale che non corrisponde alla quantità.

Vediamo un esempio semplice:

A prima vista, tutto sembra corretto, ma osservando meglio, alcuni valori sollevano dei dubbi.

La quantità di 10 potrebbe essere valida, ma dipende dal contesto. Tuttavia, il valore totale di 9999 si distingue chiaramente rispetto agli altri e appare sospetto.

Se non si controllano valori anomali ed errori, questi possono distorcere significativamente l'analisi. Ad esempio, un solo valore errato come 9999 può alterare medie o totali e portare a conclusioni errate.

Come identificare i valori anomali

L'ordinamento è anche molto utile. Se ordini una colonna in ordine crescente o decrescente, i valori estremi appariranno in cima o in fondo, rendendoli facili da esaminare.

Un approccio semplice ma efficace è chiedersi: "Questo valore sembra realistico?"

Se la maggior parte dei valori rientra in un certo intervallo, come 500 a 1000, e un valore è 9999, questo è un chiaro segnale che qualcosa potrebbe non andare e necessita di essere controllato.

È importante capire che non ogni valore anomalo è un errore. A volte si tratta di un valore reale, ma deve sempre essere verificato.

Esaminare i dati e identificare i valori che sembrano sospetti.

Determinare:

• Quali valori ricadono al di fuori dell'intervallo atteso;
• Quali valori potrebbero essere errori.

Innanzitutto, nella colonna Quantity, il valore 10 appare insolito perché la maggior parte degli altri valori è 1 o 2. Potrebbe non essere necessariamente un errore, ma sicuramente richiede una verifica.

In secondo luogo, nella colonna Total, il valore 9999 si distingue chiaramente dall'intervallo generale, poiché la maggior parte dei valori si trova approssimativamente tra 500 e 4000. Questo è un forte candidato per un errore.