Summary
This chapter covers techniques for handling missing data by either removing incomplete rows or imputing missing values using a column’s mean or median.

General domain of usage
Clustering in machine learning

**Puuttuvat arvot** ovat yleisiä todellisissa tietoaineistoissa ja ne on käsiteltävä **ennen klusterointia**. Tässä käsitellään kolme perusmenetelmää: keskiarvolla täyttäminen, mediaanilla täyttäminen ja rivin poistaminen.

### Täyttäminen keskiarvolla

Tässä menetelmässä puuttuvat arvot korvataan sarakkeen **ei-puuttuvien arvojen keskiarvolla**. Menetelmä on yksinkertainen ja säilyttää **sarakkeen keskiarvon**.

```python
# First option
df['column_name'].fillna(df['column_name'].mean(), inplace=True)

# Second option
df['column_name'] = df['column_name'].fillna(df['column_name'].mean())
```

Kuitenkin tämä voi pienentää varianssia eikä sovi **vinoutuneelle datalle** tai **luokitteleville muuttujille**.

### Täyttäminen mediaanilla

Tässä menetelmässä puuttuvat arvot korvataan sarakkeen **ei-puuttuvien arvojen mediaanilla**. Mediaani on **vähemmän herkkä poikkeaville arvoille** kuin keskiarvo, joten se sopii paremmin vinoutuneelle datalle tai aineistoille, joissa on poikkeavia arvoja.

```python
# First option
df['column_name'].fillna(df['column_name'].median(), inplace=True)

# Second option
df['column_name'] = df['column_name'].fillna(df['column_name'].median())
```

### Rivien poistaminen puuttuvien arvojen perusteella

Tämä menetelmä poistaa kaikki rivit, joissa on puuttuvia arvoja. Menetelmä on yksinkertainen eikä lisää **imputoitua dataa**. Se voi kuitenkin johtaa **merkittävään tietojen menetykseen** ja **harhaan**, jos monia rivejä poistetaan tai puuttuvat arvot eivät ole satunnaisia.
  
```python
# First option
df.dropna(inplace=True)

# Second option
df = df.dropna()
```
  
Parhaan menetelmän valinta riippuu **datasta** ja **analyysin** tavoitteista. Kooditiedosto näyttää käytännön esimerkkejä jokaisesta tekniikasta tarkemmin.

Alla oleva kooditiedosto sisältää käytännön esimerkkejä jokaisesta tämän osion **esikäsittelytekniikasta**, mukaan lukien puuttuvien arvojen käsittely:

Lataa koodi

Mikä menetelmä on sopivin puuttuvien arvojen käsittelyyn sarakkeessa, jossa data on vinoa ja sisältää poikkeavia arvoja?

Hanki vankka ymmärrys klusterianalyysistä, joka on keskeinen valvomattoman oppimisen menetelmä mallien löytämiseen merkitsemättömästä datasta. Tutustu K-Means-, hierarkkisen klusteroinnin, DBSCAN:n ja GMM-menetelmien perusteisiin sekä saa käytännön kokemusta oikeilla aineistoilla, jotta voit soveltaa klusterointia todellisiin ongelmiin.

Perehdy klusteroinnin perusteisiin ja selvitä, miten se eroaa luokittelusta. Tutustu keskeisiin algoritmeihin, työkaluihin ja kirjastoihin, jotka mahdollistavat tämän valvomattoman oppimisen menetelmän piilevien rakenteiden löytämiseksi datasta.

Perusteellinen ymmärrys keskeisistä esikäsittelymenetelmistä, jotka varmistavat tehokkaan klusteroinnin. Puuttuvien arvojen käsittely, kategoristen ominaisuuksien koodaus, datan normalisointi sekä sopivien etäisyysmittareiden ja linkitysten valinta klusteroinnin tarkkuuden parantamiseksi.

Hallitse taidot, joita tarvitaan K-Means-klusteroinnin tehokkaaseen soveltamiseen. Opi algoritmin toimintaperiaate, optimaalisen klusterimäärän määrittäminen sekä käytännön toteutus K-Means-menetelmällä synteettisiin ja todellisiin aineistoihin.

Tutustu hierarkkisen klusteroinnin perusteisiin ja opi ryhmittelemään dataa merkityksellisiin klustereihin dendrogrammien avulla. Vahvista osaamistasi optimaalisen klusterimäärän tunnistamisessa ja menetelmän soveltamisessa sekä synteettisiin että todellisiin aineistoihin.

Tutustu siihen, miten DBSCAN tunnistaa erimuotoisia klustereita ja käsittelee kohinaa aineistossa. Ymmärrä tämän tiheysperusteisen algoritmin toimintaperiaatteet, pisteiden liittäminen klustereihin sekä sen soveltaminen sekä synteettisiin että todellisiin aineistoihin.

Perusteellinen ymmärrys Gaussin sekoitusmalleista ja niiden todennäköisyyspohjaisesta tavasta mallintaa monimutkaisia klusterimuotoja. Gaussin jakauman periaatteet. GMM-mallien toimintaperiaatteet. Soveltaminen sekä esimerkkiaineistoon että todellisiin aineistoihin.

Puuttuvien Arvojen Käsittely

Täyttäminen keskiarvolla

Täyttäminen mediaanilla

Rivien poistaminen puuttuvien arvojen perusteella