Summary
This chapter covers data preprocessing techniques using pandas, including handling missing values, encoding categorical variables, and preparing features for consistent scaling.

General domain of usage
Machine learning

Begin met het verkennen van de dataset voor de preprocessing. In deze cursus wordt de **penguin dataset** gebruikt, met als doel het voorspellen van de soort van een pinguïn.


Er zijn drie mogelijke opties, die in machine learning vaak **klassen** worden genoemd:

De kenmerken zijn: `'island'`, `'culmen_depth_mm'`, `'flipper_length_mm'`, `'body_mass_g'` en `'sex'`.

De dataset is opgeslagen in het bestand `penguins.csv`. Deze kan worden geladen via een link met de functie `pd.read_csv()` om de inhoud te bekijken:


import pandas as pd

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/a65bbc96-309e-4df9-a790-a1eb8c815a1c/penguins.csv')

print(df.head(10))

Deze dataset bevat verschillende problemen die moeten worden aangepakt:

* Ontbrekende gegevens;
* Categorische variabelen;
* Verschillende schaalniveaus van kenmerken.


## Ontbrekende gegevens

De meeste ML-algoritmen kunnen niet direct omgaan met ontbrekende waarden, dus deze moeten worden opgelost voordat het model getraind wordt. Ontbrekende waarden kunnen **verwijderd** of **geïmpteerd** (vervangen door vervangende waarden) worden.

In `pandas` worden lege cellen weergegeven als `NaN`. Veel ML-modellen geven een foutmelding als de dataset zelfs maar één `NaN` bevat.


## Categorische gegevens

De dataset bevat categorische variabelen, die machine learning-modellen niet direct kunnen verwerken.


Categorische gegevens moeten worden **gecodeerd** naar numerieke vorm.


## Verschillende schalen

`'culmen_depth_mm'`-waarden variëren van 13,1 tot 21,5, terwijl `'body_mass_g'`-waarden variëren van 2700 tot 6300. Hierdoor kunnen sommige ML-modellen de `'body_mass_g'`-eigenschap **veel belangrijker** vinden dan `'culmen_depth_mm'`.

**Schalen** lost dit probleem op. Dit wordt behandeld in latere hoofdstukken.

Machine learning wordt tegenwoordig overal toegepast. Wil je het zelf leren? Deze cursus is een introductie tot de wereld van machine learning waarin je basisconcepten leert, werkt met Scikit-learn – de populairste bibliotheek voor ML – en je eerste machine learning-project bouwt.
Deze cursus is bedoeld voor studenten met basiskennis van Python, Pandas en Numpy.

Leer de concepten van machine learning en de workflow van een ML-project.

Preprocessing is waarschijnlijk de belangrijkste fase van een ML-project. Dit hoofdstuk behandelt de preprocessing-stappen die nodig zijn voor vrijwel elke dataset.

Een pipeline is een overzichtelijke manier om alle preprocessingsstappen en een model te combineren. Pipelines maken het veel eenvoudiger om een model te trainen en te gebruiken.

Modellering is de meest interessante fase van een ML-project. Leer het model opbouwen, verfijnen en evalueren!

Kennismaken met de dataset

Ontbrekende gegevens

Categorische gegevens

Verschillende schalen