Summary
This chapter explains how to convert categorical variables into binary dummy features using pandas’ get_dummies function.

General domain of usage
Data preprocessing for machine learning

In this video, you will learn how to manage categorical variables in pandas using the Titanic dataset. Discover what categorical variables are and why they matter in data preprocessing. See how the pandas `.get_dummies()` function transforms columns like `'Sex'` and `'Embarked'` into dummy variables, making them suitable for analysis and machine learning. Follow along with practical examples as you convert these columns and interpret the resulting data, understanding how each category is represented by a new column with values of `1` or `0`. By the end, you will know how to efficiently handle categorical data using pandas and apply these techniques to your own datasets.

Nå skal du arbeide med datasettet som ikke inneholder manglende verdier. `NaN`-verdiene fra kolonnen `'Age'` ble erstattet med **gjennomsnittet** av kolonnen, og `NaN`-verdien fra kolonnen `'Fare'` ble fjernet.
Så nå er det på tide å lære hvordan man håndterer kategoriske variabler. Kategorisk betyr at de har noen kategorier. For eksempel, i kolonnen `'Sex'` finnes det `'male'` og `'female'`; eller i kolonnen `'Embarked'` finnes det `'Q'`, `'S'` og `'C'`.

**Hva bør vi gjøre for å beregne antall verdier i hver kategori eller for å finne informasjon om dem?**

Du kjenner allerede til `.loc[]`, `.isin()`, `.between()` og mange funksjoner, men i pandas finnes det en enda enklere og mer praktisk måte å gjøre dette på. Bruk funksjonen `.get_dummies()`. Som et eksempel skal vi bruke den på kolonnen `'Embarked'`. Se på implementeringen og resultatet (vi viser navnene til 5 tilfeldige passasjerer og de nye kolonnene vi har opprettet).

import pandas as pd
data = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/titanic3.csv', index_col = 0)
data = pd.get_dummies(data, columns = ['Embarked'])
print(data[['Name', 'Embarked_C', 'Embarked_Q', 'Embarked_S']].sample(5))

La oss se på en av de mulige utdataene, nærmere bestemt en av de mulige kombinasjonene av **fem tilfeldig valgte rader**. Du kan bla horisontalt i tabellen for å se alle kolonnene:



**Forklaring:**

Som et resultat delte funksjonen vår kolonnen `'Embarked'` inn i tre kolonner: `'Embarked_C'`, `'Embarked_Q'` og `'Embarked_S'`. Totalt har vi tre kategorier. Hver passasjer har sin kategori i kolonnen `'Embarked'`. Dermed oppretter funksjonen vår tre kolonner som tilsvarer hver kategori, og for hver passasjer fyller den raden i kolonnen med `1` hvis personen opprinnelig var tilknyttet den geografien; ellers settes det `0`. Slik får vi `1` i kun én kolonne.

```python
pd.get_dummies(data, columns = ['Embarked'])
```
- `pd.get_dummies()` – denne funksjonen konverterer **kategoriske** variabler til **dummy**-variabler (1 eller 0);
- `data` – dataframen du ønsker å bruke;
- `columns = ['Embarked']` – kolonner som har kategoriske variabler du vil gjøre om til dummy-variabler. Merk at det er **obligatorisk** å sette kolonnenavnene i en liste.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


class TestDummyVariables(unittest.TestCase):
    def test_dummies_created_and_sums_correct(self):
        """
        1. Check that 'Sex' column was converted to dummy variables and sums are correct.
        """
        import user_code

        # reference dataset
        url = "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/titanic3.csv"
        df_ref = pd.read_csv(url, index_col=0)
        dummies_ref = pd.get_dummies(df_ref, columns=["Sex"])
        ref_sum_male = dummies_ref["Sex_male"].sum()
        ref_sum_female = dummies_ref["Sex_female"].sum()

        # user result
        assert hasattr(user_code, "data"), "Variable 'data' not found."
        df_user = user_code.data

        # check dummy columns exist and sums match
        condition = (
            "Sex_male" in df_user.columns
            and "Sex_female" in df_user.columns
            and abs(df_user["Sex_male"].sum() - ref_sum_male) < 1e-9
            and abs(df_user["Sex_female"].sum() - ref_sum_female) < 1e-9
        )

        _dynamic_test(
            self,
            condition,
            "The dummy variables 'Sex_male' and 'Sex_female' were created correctly and their sums are accurate.",
            "The dummy variable transformation or the calculated sums are incorrect."
        )


class TestOutput(unittest.TestCase):
    def test_output_print(self):
        """
        2. Check that both sums are printed in the output.
        """
        import user_code

        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.sex_male, user_code.sex_female)
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        # make sure both values appear in output
        parts = output_text.split()
        condition = len(parts) >= 2
        _dynamic_test(
            self,
            condition,
            "The sums of dummy variables are printed correctly.",
            "The output is missing or incorrect. Ensure you print both values: sex_male and sex_female."
        )


if __name__ == "__main__":
    unittest.main()

test_code.py

Dette kurset inneholder mange nyttige funksjoner for en fremtidig dataanalytiker. Du vil lære ulike måter å hente ut data på og til og med sette betingelser for dem. Etter dette vil du bli kjent med metoder for å gruppere data. Du vil også lære hvordan du forhåndsbehandler data. Hver seksjon har sitt eget datasett, noe som gjør kurset engasjerende.

Denne seksjonen vil lære deg hvordan du kan hente ut spesifikke kolonner ved hjelp av titler eller indekser. Du vil også bli kjent med ulike måter å velge rader basert på indekser.

Her vil du lære hvordan du kan hente ut data som oppfyller spesifikke betingelser. Du vil også lære hvordan du kan kombinere dem og til og med lage dine egne.

I denne delen vil du utvide kunnskapen din om å sette ulike datakriterier. Du vil lære å sjekke om dataene dine finnes i en definert liste med verdier eller mellom to verdier. Du vil også lære hvordan du finner de største og minste verdiene.

Denne seksjonen er en av de mest fascinerende i kurset. Her vil du lære hvordan du kan gruppere data på ulike måter. Dette vil hjelpe deg som dataanalytiker med å finne informasjon om spesifikke datagrupper.

Denne seksjonen er en av de viktigste for en dataanalytiker fordi det vil være umulig å arbeide med dataene dersom de inneholder manglende verdier eller feil format. Derfor vil du lære hvordan du håndterer slike upassende verdier her.

Håndtering av kategoriske variabler

Løsning