Summary  
This chapter covers using string replacement on column values with `.str.replace()` and converting column types to numeric with `.astype()`.  

General domain of usage  
Data cleaning

Het resultaat `object` is ontvangen. Dit betekent dat het type van de kolom niet-numeriek is, maar om de benodigde waarden te berekenen, moet de kolom numeriek zijn. Dit kan worden aangepast.
1. Allereerst moet `-` worden vervangen door `.`. Hiervoor wordt de methode `.str.replace()` toegepast om het teken in de string in de datasetkolom te vervangen. De syntaxis is  
`data['column_name'].str.replace('old_symbol','new_symbol')`  
In dit geval is `old_symbol` `-` en `.` is `new_symbol`;
2. Vervolgens de kolom converteren naar het float `data` type. Gebruik hiervoor de methode `.astype()`. De syntaxis is `data['column_name'].astype('type')`.  
In dit geval is het type `'float'`.

import unittest
import pandas as pd
import io
import sys
import numpy as np


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


class TestFareTransformation(unittest.TestCase):
    def test_fare_transformed_to_float(self):
        """
        1â2. Check that all '-' in 'Fare' were replaced with '.' and column converted to float.
        """
        import user_code

        # reference dataset
        url = "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/titanic3.csv"
        df_ref = pd.read_csv(url, index_col=0)

        # user result
        assert hasattr(user_code, "data"), "Variable 'data' not found."
        df_user = user_code.data.copy()

        # ensure column exists
        assert "Fare" in df_user.columns, "Column 'Fare' missing in DataFrame."

        # condition 1: dtype is float
        dtype_correct = np.issubdtype(df_user["Fare"].dtype, np.floating)

        # condition 2: no '-' symbols remain (after conversion, values should all be numeric)
        # convert to string to check presence of '-'
        contains_hyphen = df_user["Fare"].astype(str).str.contains("-").any()
        condition = dtype_correct and not contains_hyphen

        _dynamic_test(
            self,
            condition,
            "The column 'Fare' was correctly cleaned (no '-') and converted to float type.",
            "The 'Fare' column still contains '-' or has not been converted to float."
        )


class TestOutput(unittest.TestCase):
    def test_output_dtype_printed(self):
        """
        3. Check that the data type of 'Fare' is printed.
        """
        import user_code

        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.data["Fare"].dtypes)
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = "float" in output_text.lower()
        _dynamic_test(
            self,
            condition,
            "The data type of the 'Fare' column is printed correctly as float.",
            "The output does not show the 'float' data type. Ensure you print data['Fare'].dtypes."
        )


if __name__ == "__main__":
    unittest.main()

test_code.py

Deze cursus bevat veel nuttige functies voor een toekomstige data-analist. U leert verschillende manieren om data te extraheren en zelfs voorwaarden hierop toe te passen. Daarna raakt u vertrouwd met methoden voor het groeperen van data. Ook leert u hoe u data kunt preprocessen. Elke sectie heeft zijn eigen dataset, waardoor de cursus boeiend blijft.

In deze sectie leert u hoe u specifieke kolommen kunt weergeven op basis van hun titels of indexen. Ook maakt u kennis met de methoden om rijen te selecteren op basis van indexen.

Hier leert u hoe u gegevens extraheert die aan specifieke voorwaarden voldoen. Daarnaast leert u hoe u deze voorwaarden kunt combineren en zelfs uw eigen voorwaarden kunt creëren.

In deze sectie breidt u uw kennis uit over het instellen van verschillende gegevenscondities. U leert controleren of uw gegevens zich in een gedefinieerde lijst met waarden bevinden of tussen twee waarden liggen. U leert ook hoe u de grootste en kleinste waarden kunt vinden.

Deze sectie behoort tot de meest boeiende van de cursus. Hier leert u hoe u gegevens op verschillende manieren kunt groeperen. Dit helpt u als data-analist om informatie over specifieke gegevensgroepen te achterhalen.

Deze sectie is een van de belangrijkste voor een data-analist, omdat het onmogelijk is om met gegevens te werken als deze ontbrekende waarden of een onjuist formaat bevatten. Hier leert u hoe u met dergelijke ongeschikte waarden omgaat.

Een Onjuiste Kolom Beheren

Oplossing