Summary  
This chapter demonstrates how to calculate z-scores for numeric data fields and filter rows that exceed a configurable threshold to identify and remove outliers.

General domain of usage  
Data preprocessing

Un metodo comune per rilevare e rimuovere i valori anomali è il **metodo dello z-score**. Questa tecnica identifica quanto un punto dati si discosta dalla media in termini di deviazioni standard. Se un punto dati si trova oltre una certa soglia (comunemente ±3), viene considerato un valore anomalo.

## Che cos'è uno Z-Score?
Uno z-score (noto anche come punteggio standard) viene calcolato utilizzando la formula:

$$
Z = \frac{X - \mu}{\sigma}
$$

Dove:
- $$X$$: il valore originale del dato;
- $$\mu$$: la media del dataset;
- $$\sigma$$: la deviazione standard del dataset.

## Calcolo degli Z-Score
È possibile calcolare manualmente gli z-score seguendo la formula:
```
mean_cgpa <- mean(df$cgpa)
sd_cgpa <- sd(df$cgpa)
df$cgpa_zscore <- (df$cgpa - mean_cgpa) / sd_cgpa
```

Oppure è possibile utilizzare la funzione integrata:
```
df$cgpa_zscore <- scale(df$cgpa)
```

## Identificazione degli outlier
Dopo aver calcolato gli z-score, è possibile scegliere una soglia (±3 in questo caso) e applicare un'operazione di filtraggio semplice per selezionare tutte le voci al di fuori dell'intervallo:
```
thresh_hold <- 3
outliers <- df[df$cgpa_zscore > thresh_hold | df$cgpa_zscore < -thresh_hold, ]
```

Oppure è possibile selezionare tutte le voci all'interno dell'intervallo per creare un dataset privo di outlier:
```
df2 <- df[df$cgpa_zscore < thresh_hold & df$cgpa_zscore > -thresh_hold, ]
```

Cosa succede ai valori con z-score oltre ±3?


Acquisisci esperienza pratica nell'analisi dei dati con R imparando a pulire, trasformare e visualizzare i dataset. Esplora flussi di lavoro essenziali come la selezione e il filtraggio dei dati, la gestione dei valori mancanti e la sintesi dei risultati. Sviluppa competenze nella preparazione dei dati per approfondimenti, reportistica ed esplorazioni statistiche avanzate.

Esplora le basi dell'analisi dei dati con R. Scopri come installare gli strumenti, caricare e ispezionare i dataset, selezionare e filtrare le informazioni, ordinare e trasformare i dati, gestire i valori mancanti e sintetizzare i risultati per ottenere approfondimenti più dettagliati.

Apprendere la creazione di visualizzazioni efficaci con ggplot2. Costruzione di diagrammi a barre, istogrammi, grafici di densità e grafici a dispersione, con successiva personalizzazione e perfezionamento tramite opzioni di stile e faceting per rivelare approfondimenti nei dati.

Consolidamento della comprensione della statistica per l'analisi dei dati. Applicazione di misure descrittive, identificazione e trattamento dei valori anomali, utilizzo di tecniche di correlazione con strumenti visivi come heatmap e scatter plot per individuare relazioni significative.

Rimozione dei Valori Anomali Utilizzando il Metodo Z-Score

Che cos'è uno Z-Score?

Calcolo degli Z-Score

Identificazione degli outlier

Awesome!

Rimozione dei Valori Anomali Utilizzando il Metodo Z-Score

Che cos'è uno Z-Score?

Calcolo degli Z-Score

Identificazione degli outlier