Outliers er usædvanlige datapunkter, der adskiller sig markant fra størstedelen af dataene. De kan opstå på grund af tastefejl, naturlig variation eller sjældne, men vigtige hændelser. Outliers kan have en væsentlig indflydelse på statistiske sammenfatninger og modellering.

For eksempel kan en enkelt stor outlier forøge gennemsnittet eller forvride skalaen i visualiseringer, hvilket kan føre til vildledende konklusioner.

Forståelse og detektion af outliers er et kritisk trin i datapreprocessering. Afhængigt af formålet med analysen kan du vælge at beholde, transformere eller helt fjerne outliers.

Visualisering af outliers med tæthedsplots

Et tæthedsplot giver en glat kurve, der viser fordelingen af en variabel. Toppe indikerer, hvor dataene er koncentreret, mens lange haler eller isolerede bump kan antyde outliers eller skævhed.

ggplot(df, aes(x = placement_exam_marks)) +
  geom_density(fill = "lightgreen", alpha = 0.7) +
  labs(title = "Density Plot Of Placement Exam Marks",
       x = "Placement",
       y = "Density") +
  theme_minimal()

Måling af skævhed

Skævhed måler graden af symmetri eller asymmetri i en fordeling. Dette hjælper med at opdage, om en variabel har outliers på den ene side af fordelingen.

skewness(df$placement_exam_marks)

Fortolkning af skævhed

• Skævhed ≈ 0: omtrent symmetrisk fordeling;
• Skævhed > 0: højreskæv fordeling;
• Skævhed < 0: venstreskæv fordeling;
• Skævhed > 1: kraftigt højreskæv fordeling;
• Skævhed < -1: kraftigt venstreskæv fordeling.