Jos tietojoukossa on rivejä, joissa on tyhjiä arvoja, kannattaa harkita niiden poistamista. `pandas`-kirjastossa tämä voidaan tehdä `dropna()`-menetelmällä.

import unittest
import importlib


def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)


class TestUserCode(unittest.TestCase):

    def test_length_before_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'length_before'),
            "The `length_before` variable is declared.",
            "Expected `length_before` to be declared."
        )

    def test_length_before_is_int(self):
        import user_code

        try:
            condition = isinstance(user_code.length_before, int)
            failure_message = f"Expected `length_before` to be `int`, but got `{type(user_code.length_before).__name__}`."
        except AttributeError:
            condition = False
            failure_message = "The `length_before` variable is not declared."

        _dynamic_test(
            self,
            condition,
            "The variable `length_before` is `int`.",
            failure_message
        )

    def test_length_before_is_correct(self):
        import user_code

        expected_value = 456

        try:
            condition = user_code.length_before == expected_value
            failure_message = f"Expected `length_before` to be `{expected_value}`, but got `{user_code.length_before}`."
        except AttributeError:
            condition = False
            failure_message = "The `length_before` variable is not declared."

        _dynamic_test(
            self,
            condition,
            f"`length_before` contains the correct value.",
            failure_message
        )

    def test_length_after_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'length_after'),
            "The `length_after` variable is declared.",
            "Expected `length_after` to be declared."
        )

    def test_length_after_is_int(self):
        import user_code

        try:
            condition = isinstance(user_code.length_after, int)
            failure_message = f"Expected `length_after` to be `int`, but got `{type(user_code.length_after).__name__}`."
        except AttributeError:
            condition = False
            failure_message = "The `length_after` variable is not declared."

        _dynamic_test(
            self,
            condition,
            "The variable `length_after` is `int`.",
            failure_message
        )

    def test_length_after_is_correct(self):
        import user_code

        expected_value = 450

        try:
            condition = user_code.length_after == expected_value
            failure_message = f"Expected `length_after` to be `{expected_value}`, but got `{user_code.length_after}`."
        except AttributeError:
            condition = False
            failure_message = "The `length_after` variable is not declared."

        _dynamic_test(
            self,
            condition,
            f"`length_after` contains the correct value.",
            failure_message
        )

    def test_wine_data_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'wine_data'),
            "The `wine_data` variable is declared.",
            "Expected `wine_data` to be declared."
        )

    def test_length_before_greater_than_length_after(self):
        import user_code

        try:
            condition = user_code.length_before > user_code.length_after
            failure_message = f"Expected `length_before` to be greater than `length_after`, but got `length_before`: {user_code.length_before}, `length_after`: {user_code.length_after}."
        except AttributeError:
            condition = False
            if not getattr(user_code, 'length_before', None):
                failure_message = "The `length_before` variable is not declared."
            else:
                failure_message = "The `length_after` variable is not declared."
        _dynamic_test(
            self,
            condition,
            f"`length_before` is greater than `length_after`.",
            failure_message
        )

    def test_wine_data_has_no_nulls(self):
        import user_code

        try:
            condition = not user_code.wine_data.isnull().values.any()
            failure_message = "Expected `wine_data` to have no null values, but null values are still present."
        except AttributeError:
            condition = False
            if not getattr(user_code, 'wine_data', None):
                failure_message = "The `wine_data` variable is not declared."
            else:
                failure_message = f"`wine_data` is not a `DataFrame`."
        _dynamic_test(
            self,
            condition,
            "`wine_data` has no null values after cleaning.",
            failure_message
        )


if __name__ == '__main__':
    unittest.main()

test_main.py

Pandas on erittäin käyttäjäystävällinen kirjasto datan analysointiin. Se on myös suunniteltu käsittelemään suuria tietoaineistoja, käyttäen tietorakenteita kuten DataFrame ja Series. Tämä tekee siitä korvaamattoman työkalun Data Scienceen. Tässä oppaassa tutustut erilaisiin tilastollisiin funktioihin, mukaan lukien kuinka löytää korrelaatioita, moodit, mediaanit sekä maksimi- ja minimiarvot tietoaineistossa. Opit myös käsittelemään puuttuvia arvoja ja manipuloimaan tiettyjä arvoja sekä poistamaan niitä.

Tässä osiossa tutustumme Series- ja DataFrame-rakenteiden perusteisiin. Opit myös näiden kahden rakenteen välisistä eroista.

Dataa voi olla saatavilla eri muodoissa, kuten CSV, JSON, SQL, HTML ja monia muita. Pandasin avulla et ole rajoittunut yhteen muotoon — voit työskennellä datan kanssa monissa eri tiedostotyypeissä. Tässä luvussa keskitymme erityisesti CSV- ja TXT-muotoihin.

Tässä opit käsittelemään raakadataa poistamalla ylimääräistä tietoa ja hallitsemalla puuttuvia arvoja tietojoukossa.

Haaste: Null-Arvojen Poistaminen

Ratkaisu

Haaste: Null-Arvojen Poistaminen

Ratkaisu