Summary
This chapter explains how to convert categorical variables into binary dummy features using pandas’ get_dummies function.

General domain of usage
Data preprocessing for machine learning

In this video, you will learn how to manage categorical variables in pandas using the Titanic dataset. Discover what categorical variables are and why they matter in data preprocessing. See how the pandas `.get_dummies()` function transforms columns like `'Sex'` and `'Embarked'` into dummy variables, making them suitable for analysis and machine learning. Follow along with practical examples as you convert these columns and interpret the resulting data, understanding how each category is represented by a new column with values of `1` or `0`. By the end, you will know how to efficiently handle categorical data using pandas and apply these techniques to your own datasets.

Nu kommer du att arbeta med en datamängd som inte innehåller några saknade värden. `NaN`-värdena i kolumnen `'Age'` har ersatts med **medelvärdet** för kolumnen, och `NaN`-värdet i kolumnen `'Fare'` har tagits bort.
Så nu är det dags att lära sig hur man hanterar kategoriska variabler. Kategoriska innebär att de har vissa kategorier. Till exempel finns det i kolumnen `'Sex'` värdena `'male'` och `'female'`; eller i kolumnen `'Embarked'` finns det `'Q'`, `'S'` och `'C'`.

**Vad ska vi göra för att räkna antalet värden i varje kategori eller för att få information om dem?**

Du känner redan till `.loc[]`, `.isin()`, `.between()` och många funktioner, men i pandas finns det ett ännu smidigare och bekvämare sätt att göra detta. Använd funktionen `.get_dummies()`. Som exempel kommer vi att tillämpa den på kolumnen `'Embarked'`. Titta på implementationen och resultatet (vi kommer att visa fem slumpmässigt valda passagerares namn och de nya kolumnerna vi skapade).

import pandas as pd
data = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/titanic3.csv', index_col = 0)
data = pd.get_dummies(data, columns = ['Embarked'])
print(data[['Name', 'Embarked_C', 'Embarked_Q', 'Embarked_S']].sample(5))

Låt oss titta på ett av de möjliga resultaten, specifikt en av de möjliga kombinationerna av **fem slumpmässigt valda rader**. Du kan scrolla horisontellt i tabellen för att se alla kolumner:



**Förklaring:**

Som ett resultat delar vår funktion upp kolumnen `'Embarked'` i tre kolumner: `'Embarked_C'`, `'Embarked_Q'` och `'Embarked_S'`. Totalt har vi tre kategorier. Varje passagerare har sin kategori i kolumnen `'Embarked'`. Därför skapar vår funktion tre kolumner som motsvarar varje kategori, och för varje passagerare fylls raden i kolumnen med `1` om personen ursprungligen var kopplad till den geografiska platsen; annars anges `0`. På så sätt får vi `1` i endast en kolumn.

```python
pd.get_dummies(data, columns = ['Embarked'])
```
- `pd.get_dummies()` – denna funktion konverterar **kategoriska** variabler till **dummy**-variabler (1 eller 0);
- `data` – den data frame du vill använda;
- `columns = ['Embarked']` – kolumner som har kategoriska variabler som du vill omvandla till dummy-variabler. Observera att det är **obligatoriskt** att lägga kolumnnamnen i en lista.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


class TestDummyVariables(unittest.TestCase):
    def test_dummies_created_and_sums_correct(self):
        """
        1. Check that 'Sex' column was converted to dummy variables and sums are correct.
        """
        import user_code

        # reference dataset
        url = "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/titanic3.csv"
        df_ref = pd.read_csv(url, index_col=0)
        dummies_ref = pd.get_dummies(df_ref, columns=["Sex"])
        ref_sum_male = dummies_ref["Sex_male"].sum()
        ref_sum_female = dummies_ref["Sex_female"].sum()

        # user result
        assert hasattr(user_code, "data"), "Variable 'data' not found."
        df_user = user_code.data

        # check dummy columns exist and sums match
        condition = (
            "Sex_male" in df_user.columns
            and "Sex_female" in df_user.columns
            and abs(df_user["Sex_male"].sum() - ref_sum_male) < 1e-9
            and abs(df_user["Sex_female"].sum() - ref_sum_female) < 1e-9
        )

        _dynamic_test(
            self,
            condition,
            "The dummy variables 'Sex_male' and 'Sex_female' were created correctly and their sums are accurate.",
            "The dummy variable transformation or the calculated sums are incorrect."
        )


class TestOutput(unittest.TestCase):
    def test_output_print(self):
        """
        2. Check that both sums are printed in the output.
        """
        import user_code

        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.sex_male, user_code.sex_female)
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        # make sure both values appear in output
        parts = output_text.split()
        condition = len(parts) >= 2
        _dynamic_test(
            self,
            condition,
            "The sums of dummy variables are printed correctly.",
            "The output is missing or incorrect. Ensure you print both values: sex_male and sex_female."
        )


if __name__ == "__main__":
    unittest.main()

test_code.py

Denna kurs innehåller många användbara funktioner för en framtida dataanalytiker. Du kommer att lära dig olika sätt att extrahera data och även sätta villkor på den. Därefter kommer du att bli bekant med metoder för att gruppera data. Du kommer också att lära dig hur man förbehandlar data. Varje avsnitt har sitt eget dataset, vilket gör kursen engagerande.

Detta avsnitt lär dig hur du kan visa specifika kolumner utifrån deras titlar eller index. Du kommer även att bekanta dig med olika sätt att välja rader utifrån index.

Här kommer du att lära dig hur du extraherar data som uppfyller specifika villkor. Du kommer även att lära dig hur du kombinerar dessa och till och med skapar egna.

I det här avsnittet kommer du att fördjupa dina kunskaper om att ställa in olika datavillkor. Du kommer att lära dig att kontrollera om dina data finns i en definierad lista av värden eller mellan två värden. Du kommer även att lära dig hur du hittar de största och minsta värdena.

Detta avsnitt är ett av de mest fascinerande i kursen. Här kommer du att lära dig hur man grupperar data på olika sätt. Det kommer att hjälpa dig att arbeta som dataanalytiker för att hitta information om specifika datagrupper.

Detta avsnitt är ett av de mest betydelsefulla för en dataanalytiker eftersom det blir omöjligt att arbeta med data om den innehåller saknade värden eller är i fel format. Därför kommer du att lära dig hur man hanterar sådana olämpliga värden här.

Hantering av kategoriska variabler

Lösning