Een veelgebruikte methode voor het detecteren en verwijderen van uitschieters is de z-score methode. Deze techniek bepaalt hoe ver een datapunt van het gemiddelde ligt in termen van standaarddeviaties. Als een datapunt buiten een bepaalde drempel (meestal ±3) valt, wordt het als een uitschieter beschouwd.

Wat is een Z-score?

Een z-score (ook wel standaardscore genoemd) wordt berekend met de formule:

Waarbij:

• $X$: het oorspronkelijke datapunt;
• $\mu$: het gemiddelde van de dataset;
• $\sigma$: de standaarddeviatie van de dataset.

Z-scores berekenen

Z-scores kunnen handmatig worden berekend met de volgende formule:

mean_cgpa <- mean(df$cgpa)
sd_cgpa <- sd(df$cgpa)
df$cgpa_zscore <- (df$cgpa - mean_cgpa) / sd_cgpa

Of gebruik de ingebouwde functie:

df$cgpa_zscore <- scale(df$cgpa)

Identificatie van uitschieters

Na het berekenen van de z-scores kun je een drempelwaarde kiezen (±3 in dit geval) en een eenvoudige filterbewerking toepassen om alle waarden buiten dit bereik te selecteren:

thresh_hold <- 3
outliers <- df[df$cgpa_zscore > thresh_hold | df$cgpa_zscore < -thresh_hold, ]

Of je kunt alle waarden binnen het bereik selecteren om een dataset zonder uitschieters te creëren:

df2 <- df[df$cgpa_zscore < thresh_hold & df$cgpa_zscore > -thresh_hold, ]