Клас `SimpleImputer` автоматично замінює пропущені значення.

```python
from sklearn.impute import SimpleImputer
imputer = SimpleImputer()
```

Основні параметри:

* `missing_value`: заповнювач, який вважається пропущеним (типово `np.nan`);
* `strategy`: метод заповнення пропусків (типово `'mean'`);
* `fill_value`: використовується, коли `strategy='constant'`.

Як трансформер, надає методи, такі як `.fit()`, `.transform()`, та `.fit_transform()`.

Повертає трансформований X

Те саме, що й `fit(X).transform(X)`

Встановлення типу вихідних даних

Вибір способу заповнення пропущених даних є важливим. Поширений підхід:

* числові ознаки → **середнє значення**;
* категоріальні ознаки → **найчастіше значення**.

Опції параметра `strategy`:

* `'mean'` — заповнення середнім значенням;
* `'median'` — заповнення медіаною;
* `'most_frequent'` — заповнення модою;
* `'constant'` — заповнення вказаним значенням через `fill_value`.

`missing_values` визначає, які значення вважаються пропущеними (типово `NaN`, але може бути `''` або інший маркер).

`SimpleImputer` очікує **DataFrame**, а не Series.
Одноколонковий DataFrame потрібно вибирати за допомогою подвійних дужок:

```python
imputer.fit_transform(df[['column']])
```

Примітка

`fit_transform()` повертає **2D-масив**, але для присвоєння назад у стовпець DataFrame потрібен **1D** масив.
Використовуйте `.ravel()` для перетворення результату:

```python
df['column'] = imputer.fit_transform(df[['column']]).ravel()
```

import unittest
import pandas as pd

def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)

class TestSimpleImputerMostFrequent(unittest.TestCase):

    @classmethod
    def setUpClass(cls):
        # ÐÑÐ¸Ð³ÑÐ½Ð°Ð»ÑÐ½Ñ Ð´Ð°Ð½Ñ Ð±ÐµÐ· ÑÐ¼Ð¿ÑÑÐ°ÑÑÐ¹
        cls.df_raw = pd.read_csv(
            'https://codefinity-content-media.s3.eu-west-1.amazonaws.com/a65bbc96-309e-4df9-a790-a1eb8c815a1c/penguins.csv'
        )
        cls.df_raw = cls.df_raw[cls.df_raw.isna().sum(axis=1) < 2]

        import user_code
        cls.user_code = user_code

    def test_uses_simpleimputer_most_frequent(self):
        from sklearn.impute import SimpleImputer
        uc = self.user_code
        cond = isinstance(getattr(uc, 'imputer', None), SimpleImputer) and getattr(uc.imputer, 'strategy', None) == 'most_frequent'
        _dynamic_test(
            self,
            cond,
            "Used SimpleImputer with strategy='most_frequent'",
            "You must use sklearn.impute.SimpleImputer with strategy='most_frequent'"
        )

    def test_no_nans_in_sex(self):
        uc = self.user_code
        cond = 'sex' in uc.df.columns and not uc.df['sex'].isna().any()
        _dynamic_test(
            self,
            cond,
            "Column 'sex' contains no NaN after imputation",
            "Column 'sex' still contains NaN values after imputation"
        )

    def test_nans_reduced_vs_raw(self):
        raw_nans = self.df_raw['sex'].isna().sum()
        uc = self.user_code
        after_nans = uc.df['sex'].isna().sum() if 'sex' in uc.df.columns else raw_nans
        cond = raw_nans > 0 and after_nans < raw_nans
        _dynamic_test(
            self,
            cond,
            "Number of NaN in 'sex' decreased compared to raw data",
            "The number of NaN in 'sex' did not decrease compared to raw data"
        )

    def test_imputer_fitted_on_sex_mode(self):
        uc = self.user_code
        has_stats = hasattr(getattr(uc, 'imputer', object()), 'statistics_')
        try:
            mode_val = uc.df['sex'].mode(dropna=True).iloc[0]
        except Exception:
            mode_val = None
        stats_match = False
        if has_stats and getattr(uc.imputer, 'statistics_', None) is not None and len(uc.imputer.statistics_) > 0:
            stats_match = uc.imputer.statistics_[0] == mode_val
        cond = has_stats and stats_match
        _dynamic_test(
            self,
            cond,
            "Imputer appears fitted on 'sex' (statistics_ matches column mode)",
            "Imputer does not seem fitted correctly on 'sex' (statistics_ mismatch)"
        )

if __name__ == "__main__":
    unittest.main()


test_code.py

Машинне навчання використовується всюди. Бажаєте опанувати його самостійно? Цей курс є вступом у світ машинного навчання, де ви ознайомитеся з базовими поняттями, попрацюєте з Scikit-learn – найпопулярнішою бібліотекою для машинного навчання, та створите свій перший проєкт з машинного навчання.
Курс призначений для студентів з базовими знаннями Python, Pandas та Numpy.

Ознайомлення з концепціями машинного навчання та робочим процесом проєкту ML.

Попередня обробка є, ймовірно, найважливішим етапом проєкту машинного навчання. У цьому розділі розглядаються кроки попередньої обробки, необхідні для майже будь-якого набору даних.

Конвеєр — це зручний спосіб об'єднати всі етапи попередньої обробки та модель. Конвеєри значно спрощують навчання та використання моделі.

Моделювання — це найцікавіший етап проєкту машинного навчання. Дізнаймося, як створювати, налаштовувати та оцінювати модель!

Challenge: Imputing Missing Values

Рішення