Summary  
This chapter covers using library methods to compute descriptive statistics—mean, mode, and summary metrics—on tabular data.

General domain of usage  
Data analysis

`pandas` пропонує зручний метод `mean()`, який обчислює **середнє значення** всіх значень для кожного стовпця.
```python
df = pd.read_csv(file.csv)
mean_values = df.mean()
```

Цей самий метод можна використати для визначення середнього значення для конкретного стовпця:
```python
df = pd.read_csv(file.csv)
mean_values = df['column_name'].mean()
```

`pandas` також надає метод `mode()`, який визначає **найчастіше зустрічаючеся значення** у кожному стовпці.
```python
df = pd.read_csv(file.csv)
mode_values = df.mode()
```

Щоб знайти моду для певного стовпця, використовується той самий метод:
```python
df = pd.read_csv(file.csv)
mode_values = df['column_name'].mode()[0]
```

Використовуйте `[0]` після `.mode()`, щоб отримати перше значення, якщо існує декілька мод. Без цього метод повертає цілу `Series`.


Примітка

Ще одним корисним методом у `pandas` є `describe()`.
```python
df = pd.read_csv(file.csv)
important_metrics = df.describe()
```

Цей метод надає **огляд різних метрик** з набору даних, зокрема:
- Загальна кількість записів;
- Середнє значення;
- Стандартне відхилення;
- Мінімальне та максимальне значення;
- 25-й, 50-й (медіана) та 75-й перцентилі.

import unittest
import importlib
import pandas as pd


def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)


def get_first_differing_row(expected_df, actual_df):
    expected_list = expected_df.astype(str).apply(tuple, axis=1)
    actual_list = actual_df.astype(str).apply(tuple, axis=1)

    for i, (row1, row2) in enumerate(zip(expected_list, actual_list)):
        if row1 != row2:
            return i, expected_df.iloc[i].values, actual_df.iloc[i].values

    if len(expected_df) > len(actual_df):
        return len(actual_df), expected_df.iloc[len(actual_df)].values, None
    else:
        return len(expected_df), None, actual_df.iloc[len(expected_df)].values


class TestUserCode(unittest.TestCase):

    def test_residual_sugar_mean_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'residual_sugar_mean'),
            "The `residual_sugar_mean` variable is declared.",
            "Expected `residual_sugar_mean` to be declared."
        )

    def test_residual_sugar_mean_is_correct(self):
        import user_code

        wine_data = pd.read_csv(
            'https://codefinity-content-media.s3.eu-west-1.amazonaws.com/a43d24b6-df61-4e11-9c90-5b36552b3437/wine.csv')
        expected_value = wine_data['residual sugar'].mean()

        try:
            condition = user_code.residual_sugar_mean == expected_value
            failure_message = f"Expected `residual_sugar_mean` to be `{expected_value}`, but got `{user_code.residual_sugar_mean}`."
        except AttributeError:
            condition = False
            failure_message = "The `residual_sugar_mean` variable is not declared."

        _dynamic_test(
            self,
            condition,
            f"`residual_sugar_mean` contains the correct value.",
            failure_message
        )

    def test_fixed_acidity_mode_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'fixed_acidity_mode'),
            "The `fixed_acidity_mode` variable is declared.",
            "Expected `fixed_acidity_mode` to be declared."
        )

    def test_fixed_acidity_mode_is_correct(self):
        import user_code

        wine_data = pd.read_csv(
            'https://codefinity-content-media.s3.eu-west-1.amazonaws.com/a43d24b6-df61-4e11-9c90-5b36552b3437/wine.csv')
        expected_value = wine_data['fixed acidity'].mode()[0]

        try:
            condition = user_code.fixed_acidity_mode == expected_value
            failure_message = f"Expected `fixed_acidity_mode` to be `{expected_value}`, but got `{user_code.fixed_acidity_mode}`."
        except AttributeError:
            condition = False
            failure_message = "The `fixed_acidity_mode` variable is not declared."

        _dynamic_test(
            self,
            condition,
            f"`fixed_acidity_mode` contains the correct value.",
            failure_message
        )

    def test_described_data_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'described_data'),
            "The `described_data` variable is declared.",
            "Expected `described_data` to be declared."
        )

    def test_described_data_is_dataframe(self):
        import user_code

        try:
            condition = isinstance(user_code.described_data, pd.DataFrame)
            failure_message = f"Expected `described_data` to be a `DataFrame`, but got `{type(user_code.described_data).__name__}`."
        except AttributeError:
            condition = False
            failure_message = "The `described_data` variable is not declared."

        _dynamic_test(
            self,
            condition,
            "The variable `described_data` is a `DataFrame`.",
            failure_message
        )

    def test_described_data_is_correct(self):
        import user_code

        wine_data = pd.read_csv(
            'https://codefinity-content-media.s3.eu-west-1.amazonaws.com/a43d24b6-df61-4e11-9c90-5b36552b3437/wine.csv')
        expected_df = wine_data.describe()

        variable = 'described_data'
        actual_df = getattr(user_code, variable, None)
        condition = False
        if actual_df is None:
            failure_message = f"The `{variable}` variable is not declared."
        elif not isinstance(actual_df, pd.DataFrame):
            failure_message = f"`{variable}` is not a `DataFrame`."
        elif actual_df.empty:
            failure_message = f"`{variable}` is empty."
        elif actual_df.equals(expected_df):
            condition = True
            failure_message = None
        else:
            idx, expected_row, actual_row = get_first_differing_row(expected_df, actual_df)
            failure_message = f"Expected `{variable}` to contain `{expected_row}` at row {idx}, but got `{actual_row}`."

        _dynamic_test(
            self,
            condition,
            f"`{variable}` contains the correct statistical summary.",
            failure_message
        )


if __name__ == '__main__':
    unittest.main()

test_main.py

Pandas — це надзвичайно зручна бібліотека для аналізу даних. Вона також розроблена для роботи з великими наборами даних, використовуючи такі структури даних, як DataFrame і Series. Це робить її незамінним інструментом для Data Science. У цьому посібнику ви ознайомитеся з різноманітними статистичними функціями, зокрема з тим, як знаходити кореляції, моди, медіани, а також максимальні та мінімальні значення в наборі даних. Ви також дізнаєтеся, як обробляти пропущені значення та змінювати окремі значення, а також як їх видаляти.

Занурення в основи бібліотеки pandas. Створення та маніпулювання Series і DataFrame, дослідження їхньої структури, формування впевненості у виконанні базових операцій з даними.

Опанування навичок завантаження та обробки даних з файлів CSV і TXT. Практичний досвід імпортування наборів даних і підготовки їх до подальшого аналізу за допомогою інструментів pandas.

Ознайомлення з методами дослідження, очищення та узагальнення даних. Розуміння обробки пропущених значень, отримання інсайтів та виконання базових статистичних операцій за допомогою pandas.

Опис Даних

Рішення