Poikkeavat havainnot ovat epätavallisia datapisteitä, jotka poikkeavat merkittävästi suurimmasta osasta aineistoa. Ne voivat johtua tietojen syöttövirheistä, luonnollisesta vaihtelusta tai harvinaisista mutta merkittävistä tapahtumista. Poikkeavat havainnot voivat vaikuttaa huomattavasti tilastollisiin yhteenvetoihin ja mallinnukseen.

Esimerkiksi yksi suuri poikkeava havainto voi kasvattaa keskiarvoa tai vääristää visualisointien mittakaavaa, mikä voi johtaa harhaanjohtaviin johtopäätöksiin.

Poikkeavien havaintojen tunnistaminen ja ymmärtäminen on olennainen osa datan esikäsittelyä. Analyysin tavoitteesta riippuen voit päättää säilyttää, muuntaa tai poistaa poikkeavat havainnot kokonaan.

Poikkeavien havaintojen visualisointi tiheyskäyrillä

Tiheyskäyrä tarjoaa tasaisen käyrän, joka kuvaa muuttujan jakaumaa. Huiput osoittavat, missä data keskittyy, kun taas pitkät hännät tai erilliset kohoumat voivat viitata poikkeaviin havaintoihin tai vinouteen.

ggplot(df, aes(x = placement_exam_marks)) +
  geom_density(fill = "lightgreen", alpha = 0.7) +
  labs(title = "Density Plot Of Placement Exam Marks",
       x = "Placement",
       y = "Density") +
  theme_minimal()

Vinouden mittaaminen

Vinous mittaa jakauman symmetrian tai epäsymmetrian astetta. Tämä auttaa havaitsemaan, onko muuttujalla poikkeavia havaintoja jakauman toisella puolella.

skewness(df$placement_exam_marks)

Vinouman tulkinta

• Vinouma ≈ 0: suunnilleen symmetrinen jakauma;
• Vinouma > 0: oikealle vino jakauma;
• Vinouma < 0: vasemmalle vino jakauma;
• Vinouma > 1: voimakkaasti oikealle vino jakauma;
• Vinouma < -1: voimakkaasti vasemmalle vino jakauma.