Summary  
This chapter demonstrates how to calculate z-scores for numeric data fields and filter rows that exceed a configurable threshold to identify and remove outliers.

General domain of usage  
Data preprocessing

Eine gängige Methode zur Erkennung und Entfernung von Ausreißern ist die **Z-Score-Methode**. Diese Technik bestimmt, wie weit ein Datenpunkt in Standardabweichungen vom Mittelwert entfernt ist. Liegt ein Datenpunkt über einem bestimmten Schwellenwert (häufig ±3), wird er als Ausreißer betrachtet.

## Was ist ein Z-Score?
Ein Z-Score (auch Standardwert genannt) wird mit folgender Formel berechnet:

$$
Z = \frac{X - \mu}{\sigma}
$$

Dabei gilt:
- $$X$$: der ursprüngliche Datenpunkt;
- $$\mu$$: der Mittelwert des Datensatzes;
- $$\sigma$$: die Standardabweichung des Datensatzes.

## Berechnung von Z-Scores
Z-Scores können entweder manuell mit folgender Formel berechnet werden:
```
mean_cgpa <- mean(df$cgpa)
sd_cgpa <- sd(df$cgpa)
df$cgpa_zscore <- (df$cgpa - mean_cgpa) / sd_cgpa
```

Oder Sie verwenden die eingebaute Funktion:
```
df$cgpa_zscore <- scale(df$cgpa)
```

## Ausreißer identifizieren
Nach der Berechnung der Z-Scores kann ein Schwellenwert (±3 in diesem Fall) gewählt und eine einfache Filteroperation angewendet werden, um alle Einträge außerhalb des Bereichs auszuwählen:
```
thresh_hold <- 3
outliers <- df[df$cgpa_zscore > thresh_hold | df$cgpa_zscore < -thresh_hold, ]
```

Alternativ können alle Einträge innerhalb des Bereichs ausgewählt werden, um einen ausreißerfreien Datensatz zu erstellen:
```
df2 <- df[df$cgpa_zscore < thresh_hold & df$cgpa_zscore > -thresh_hold, ]
```

Was passiert mit Werten, deren Z-Scores außerhalb von ±3 liegen?


Sammeln Sie praktische Erfahrungen in der Datenanalyse mit R, indem Sie lernen, wie Sie Datensätze bereinigen, transformieren und visualisieren. Erkunden Sie grundlegende Workflows wie das Auswählen und Filtern von Daten, den Umgang mit fehlenden Werten und das Zusammenfassen von Ergebnissen. Stärken Sie Ihr Vertrauen in die Vorbereitung von Daten für Erkenntnisse, Berichte und weiterführende statistische Analysen.

Erkunden Sie die Grundlagen der Datenanalyse mit R. Erfahren Sie, wie Sie die Werkzeuge installieren, Datensätze laden und inspizieren, Informationen auswählen und filtern, Daten sortieren und transformieren, fehlende Werte behandeln und Ergebnisse für tiefere Einblicke zusammenfassen.

Erstellung aussagekräftiger Visualisierungen mit ggplot2. Erstellung von Balkendiagrammen, Histogrammen, Dichteplots und Streudiagrammen sowie Anpassung und Verfeinerung dieser mit Stiloptionen und Facettierung zur Aufdeckung tieferer Einblicke in die Daten.

Vertiefung des Verständnisses für Statistik in der Datenanalyse. Anwendung beschreibender Kennzahlen, Identifikation und Behandlung von Ausreißern sowie Nutzung von Korrelationsmethoden mit visuellen Werkzeugen wie Heatmaps und Streudiagrammen zur Aufdeckung signifikanter Zusammenhänge.

Entfernen von Ausreißern mit der Z-Score-Methode

Was ist ein Z-Score?

Berechnung von Z-Scores

Ausreißer identifizieren

Awesome!

Entfernen von Ausreißern mit der Z-Score-Methode

Was ist ein Z-Score?

Berechnung von Z-Scores

Ausreißer identifizieren