Summary
This chapter covers data preprocessing techniques using pandas, including handling missing values, encoding categorical variables, and preparing features for consistent scaling.

General domain of usage
Machine learning

Esikäsittely aloitetaan tutustumalla aineistoon. Tämän kurssin aikana käytetään **penguin dataset** -aineistoa, jonka tavoitteena on ennustaa pingviinin lajia.


Vaihtoehtoja on kolme, joita kutsutaan koneoppimisessa usein **luokiksi**:

Ominaisuudet ovat: `'island'`, `'culmen_depth_mm'`, `'flipper_length_mm'`, `'body_mass_g'` ja `'sex'`.

Aineisto on tallennettu tiedostoon `penguins.csv`. Sen voi ladata linkistä `pd.read_csv()` -funktiolla tietojen tarkastelua varten:


import pandas as pd

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/a65bbc96-309e-4df9-a790-a1eb8c815a1c/penguins.csv')

print(df.head(10))

Tässä tietoaineistossa on useita ongelmia, jotka tulee ratkaista:

* Puuttuvat tiedot;
* Kategoriset muuttujat;
* Eriävät piirteiden mittakaavat.


## Puuttuvat tiedot

Useimmat koneoppimisalgoritmit eivät pysty käsittelemään puuttuvia arvoja suoraan, joten ne on käsiteltävä ennen mallin koulutusta. Puuttuvat arvot voidaan joko **poistaa** tai **imputoida** (korvata sijaisarvoilla).

`pandas`-kirjastossa tyhjät solut esitetään muodossa `NaN`. Monet koneoppimismallit aiheuttavat virheen, jos tietoaineistossa on yksikin `NaN`.


## Kategoriset tiedot

Aineisto sisältää kategorisia muuttujia, joita koneoppimismallit eivät pysty käsittelemään suoraan.


Kategoriset tiedot on **koodattava** numeeriseen muotoon.


## Eri mittakaavat

`'culmen_depth_mm'`-arvot vaihtelevat välillä 13.1–21.5, kun taas `'body_mass_g'`-arvot vaihtelevat välillä 2700–6300. Tämän vuoksi jotkin koneoppimismallit saattavat pitää `'body_mass_g'`-ominaisuutta **paljon tärkeämpänä** kuin `'culmen_depth_mm'`-ominaisuutta.

**Skaalaus** ratkaisee tämän ongelman. Siihen palataan myöhemmissä luvuissa.

Koneoppimista käytetään nykyään kaikkialla. Haluatko oppia sen itse? Tämä kurssi on johdatus koneoppimisen maailmaan, jossa opit peruskäsitteet, työskentelet Scikit-learnin – suosituimman ML-kirjaston – kanssa ja rakennat ensimmäisen koneoppimisprojektisi.
Kurssi on tarkoitettu opiskelijoille, joilla on perustiedot Pythonista, Pandasista ja Numpysta.

Koneoppimisen käsitteiden ja ML-projektin työnkulun oppiminen.

Esikäsittely on todennäköisesti tärkein vaihe ML-projektissa. Tämä luku käsittelee esikäsittelyvaiheet, joita tarvitaan lähes kaikissa aineistoissa.

Putkisto on kätevä tapa yhdistää kaikki esikäsittelyvaiheet sekä malli. Putkistot helpottavat huomattavasti mallin kouluttamista ja käyttöä.

Mallintaminen on ML-projektin viihdyttävin vaihe. Opitaan rakentamaan, hienosäätämään ja arvioimaan mallia!

Getting Familiar with Dataset

Puuttuvat tiedot

Kategoriset tiedot

Eri mittakaavat