Om **tekstbestanden** in `pandas` te lezen, kun je dezelfde functie gebruiken, `pd.read_csv()`. Om er echter voor te zorgen dat het tekstbestand correct wordt gelezen, is het essentieel om een extra parameter te gebruiken genaamd `sep`, wat staat voor **scheidingsteken** of **delimiter** in de tekst.

```python
# Importing pandas library
import pandas as pd

# Reading a text file into a DataFrame
text_data = pd.read_csv('file.txt', sep='\r', header=None)
```

Als je tekstbestand geen **kopregel** met kolomnamen heeft, stel dan de `header`-parameter in op `None`. Hiermee informeer je `pandas` dat de eerste regel niet als kolomnamen moet worden behandeld.

> Opmerking
> 
> Om een nieuwe regel als scheidingsteken in een bestand te gebruiken, wat gebruikelijk is in tekstbestanden, stel je `sep='\r'` in. Hier staat `'\r'` voor een carriage return, wat een speciaal teken is dat wordt gebruikt om een nieuwe regel aan te geven.

import unittest
import importlib
import pandas as pd


# Helper function to dynamically generate test names and assertions
def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)


def get_first_differing_row(expected_df, actual_df):
    expected_list = expected_df.astype(str).apply(tuple, axis=1)
    actual_list = actual_df.astype(str).apply(tuple, axis=1)

    for i, (row1, row2) in enumerate(zip(expected_list, actual_list)):
        if row1 != row2:
            return i, expected_df.iloc[i].values, actual_df.iloc[i].values

    if len(expected_df) > len(actual_df):
        return len(actual_df), expected_df.iloc[len(actual_df)].values, None
    else:
        return len(expected_df), None, actual_df.iloc[len(expected_df)].values


class TestUserCode(unittest.TestCase):

    def test_text_data_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'text_data'),
            "The `text_data` variable is declared.",
            "Expected `text_data` to be declared."
        )

    def test_text_data_is_dataframe(self):
        import user_code

        try:
            condition = isinstance(user_code.text_data, pd.DataFrame)
            failure_message = f"Expected `text_data` to be a `DataFrame`, but got `{type(user_code.text_data).__name__}`."
        except AttributeError:
            condition = False
            failure_message = "The `text_data` variable is not declared."

        _dynamic_test(
            self,
            condition,
            "The variable `text_data` is a `DataFrame`.",
            failure_message
        )

    def test_text_data_is_correct(self):
        import user_code
        row_1 = 'pandas is a software library written for the Python programming language for data manipulation and analysis. In particular, it offers data structures and operations for manipulating numerical tables and time series. It is free software released under the three-clause BSD license.[2] The name is derived from the term "panel data", an econometrics term for data sets that include observations over multiple time periods for the same individuals.[3] Its name is a play on the phrase "Python data analysis" itself.[4] Wes McKinney started building what would become pandas at AQR Capital while he was a researcher there from 2007 to 2010.[5]'
        row_2 = "taken from the site:"
        row_3 = "https://en.wikipedia.org/wiki/Pandas_(software)"
        expected_df = pd.DataFrame([row_1, row_2, row_3])

        variable = 'text_data'
        actual_df = getattr(user_code, variable, None)
        condition = False
        if actual_df is None:
            failure_message = f"The `{variable}` variable is not declared."
        elif not isinstance(actual_df, pd.DataFrame):
            failure_message = f"`{variable}` is not a `DataFrame`."
        elif actual_df.empty:
            failure_message = f"`{variable}` is empty."
        elif actual_df.equals(expected_df):
            condition = True
            failure_message = None
        else:
            idx, expected_row, actual_row = get_first_differing_row(expected_df, actual_df)
            failure_message = f"Expected `{variable}` to contain `{expected_row}` at row {idx}, but got `{actual_row}`."

        _dynamic_test(
            self,
            condition,
            f"`{variable}` contains the correct data.",
            failure_message
        )

    def test_first_row_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'first_row'),
            "The `first_row` variable is declared.",
            "Expected `first_row` to be declared."
        )

    def test_first_row_is_series(self):
        import user_code

        try:
            condition = isinstance(user_code.first_row, pd.Series)
            failure_message = f"Expected `first_row` to be a `Series`, but got `{type(user_code.first_row).__name__}`."
        except AttributeError:
            condition = False
            failure_message = "The `first_row` variable is not declared."

        _dynamic_test(
            self,
            condition,
            "The variable `first_row` is a `Series`.",
            failure_message
        )

    def test_first_row_is_correct(self):
        import user_code
        row_1 = 'pandas is a software library written for the Python programming language for data manipulation and analysis. In particular, it offers data structures and operations for manipulating numerical tables and time series. It is free software released under the three-clause BSD license.[2] The name is derived from the term "panel data", an econometrics term for data sets that include observations over multiple time periods for the same individuals.[3] Its name is a play on the phrase "Python data analysis" itself.[4] Wes McKinney started building what would become pandas at AQR Capital while he was a researcher there from 2007 to 2010.[5]'
        row_2 = "taken from the site:"
        row_3 = "https://en.wikipedia.org/wiki/Pandas_(software)"
        expected_df = pd.DataFrame([row_1, row_2, row_3])
        expected_value = expected_df.iloc[0]

        variable = 'first_row'
        actual_value = getattr(user_code, variable, None)
        if actual_value is None:
            condition = False
            failure_message = f"The `{variable}` variable is not declared."
        elif isinstance(actual_value, pd.Series):
            condition = actual_value.equals(expected_value)
            if actual_value.empty:
                failure_message = f"`{variable}` is empty."
            else:
                failure_message = f"Expected `{variable}` to contain `{expected_value.values}`, but got `{actual_value.values}`."
        else:
            condition = False
            failure_message = f"`{variable}` is not a `Series`."

        _dynamic_test(
            self,
            condition,
            f"`first_row` contains the correct values.",
            failure_message
        )


if __name__ == '__main__':
    unittest.main()

test_main.py

Pandas is een uiterst gebruiksvriendelijke bibliotheek voor data-analyse. Het is ook ontworpen om grote datasets te verwerken, met behulp van datastructuren zoals DataFrame en Series. Dit maakt het een onmisbaar hulpmiddel voor Data Science. In deze gids maak je kennis met een reeks statistische functies, waaronder hoe je correlaties, modi, mediaan, en maximale en minimale waarden binnen een dataset kunt vinden. Je leert ook hoe je omgaat met ontbrekende waarden en specifieke waarden kunt manipuleren, evenals hoe je ze kunt verwijderen.

In deze sectie verkennen we de basisprincipes van Series en DataFrame-structuren. Je leert ook over de verschillen tussen deze twee soorten structuren.

Gegevens kunnen in verschillende formaten worden verkregen, zoals CSV, JSON, SQL, HTML en meer. Met Pandas ben je niet beperkt tot één enkel formaat — je kunt werken met gegevens uit een veelheid aan bestandstypen. In dit hoofdstuk richten we ons specifiek op de CSV- en TXT-formaten.

Hier leer je hoe je ruwe gegevens kunt verwerken door overbodige informatie te verwijderen en null-waarden in een dataset te beheren.

TXT-Bestanden

Oplossing

TXT-Bestanden

Oplossing