Summary  
This chapter covers using string replacement on column values with `.str.replace()` and converting column types to numeric with `.astype()`.  

General domain of usage  
Data cleaning

Saat tulokseksi `object`. Tämä tarkoittaa, että sarakkeen tyyppi on ei-numeerinen, mutta tarvittavien arvojen laskemista varten sarakkeen tulee olla numeerinen. Muutetaan tämä.
1. Ensiksi tulee korvata `-` merkillä `.`. Käytä tähän menetelmää `.str.replace()`, jolla voit korvata merkin merkkijonossa tietojoukon sarakkeessa. Syntaksi on  
`data['column_name'].str.replace('old_symbol','new_symbol')`  
Tässä tapauksessa `old_symbol` on `-` ja `.` on `new_symbol`;
2. Tämän jälkeen sarake muunnetaan float-`data`-tyyppiseksi. Käytä tähän menetelmää `.astype()`. Syntaksi on `data['column_name'].astype('type')`.  
Tässä tapauksessa tyyppi on `'float'`.

import unittest
import pandas as pd
import io
import sys
import numpy as np


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


class TestFareTransformation(unittest.TestCase):
    def test_fare_transformed_to_float(self):
        """
        1â2. Check that all '-' in 'Fare' were replaced with '.' and column converted to float.
        """
        import user_code

        # reference dataset
        url = "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/titanic3.csv"
        df_ref = pd.read_csv(url, index_col=0)

        # user result
        assert hasattr(user_code, "data"), "Variable 'data' not found."
        df_user = user_code.data.copy()

        # ensure column exists
        assert "Fare" in df_user.columns, "Column 'Fare' missing in DataFrame."

        # condition 1: dtype is float
        dtype_correct = np.issubdtype(df_user["Fare"].dtype, np.floating)

        # condition 2: no '-' symbols remain (after conversion, values should all be numeric)
        # convert to string to check presence of '-'
        contains_hyphen = df_user["Fare"].astype(str).str.contains("-").any()
        condition = dtype_correct and not contains_hyphen

        _dynamic_test(
            self,
            condition,
            "The column 'Fare' was correctly cleaned (no '-') and converted to float type.",
            "The 'Fare' column still contains '-' or has not been converted to float."
        )


class TestOutput(unittest.TestCase):
    def test_output_dtype_printed(self):
        """
        3. Check that the data type of 'Fare' is printed.
        """
        import user_code

        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.data["Fare"].dtypes)
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = "float" in output_text.lower()
        _dynamic_test(
            self,
            condition,
            "The data type of the 'Fare' column is printed correctly as float.",
            "The output does not show the 'float' data type. Ensure you print data['Fare'].dtypes."
        )


if __name__ == "__main__":
    unittest.main()

test_code.py

Tämä kurssi sisältää runsaasti hyödyllisiä funktioita tulevalle data-analyytikolle. Opit erilaisia tapoja tietojen poimimiseen ja jopa ehtojen asettamiseen niille. Tämän jälkeen tulet tutuksi tietojen ryhmittelymenetelmien kanssa. Lisäksi opit, kuinka esikäsitellä tietoja. Jokaisella osiolla on oma tietoaineistonsa, joten kurssi on mukaansatempaava.

Tässä osiossa opit tuottamaan tiettyjä sarakkeita niiden nimien tai indeksien perusteella. Lisäksi tutustut tapoihin valita rivejä indeksien avulla.

Tässä opit, kuinka tietoja voidaan poimia tiettyjen ehtojen perusteella. Lisäksi opit yhdistämään ehtoja ja luomaan omia ehtoja.

Tässä osiossa syvennät osaamistasi erilaisten datan ehtojen asettamisessa. Opit tarkistamaan, onko datasi määritellyssä arvolistassa tai kahden arvon välillä. Opit myös löytämään suurimmat ja pienimmät arvot.

Tämä osio on yksi kurssin kiehtovimmista. Tässä opit ryhmittelemään dataa eri tavoin. Tämä auttaa sinua työskentelemään data-analyytikkona ja löytämään tietoa tietyistä dataryhmistä.

Tämä osio on yksi tärkeimmistä data-analyytikolle, koska jos data sisältää puuttuvia arvoja tai on väärässä muodossa, sen käsittely on mahdotonta. Tässä opit käsittelemään tällaisia sopimattomia arvoja.

Virheellisen Sarakkeen Hallinta

Ratkaisu