前の3章をまとめると、どの**エンコーダ**を使用すべきかを示す表は以下の通りです。

このチャレンジでは、**penguins dataset**（欠損値なし）を使用。すべてのカテゴリ特徴量（ターゲットの `'species'` を含む）は、機械学習用にエンコードが必要。

import pandas as pd

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/a65bbc96-309e-4df9-a790-a1eb8c815a1c/penguins_imputed.csv')

print(df.head())

`'island'`と`'sex'`はカテゴリ型の**特徴量**であり、`'species'`はカテゴリ型の**ターゲット**であることに注意。

import unittest
import pandas as pd
import numpy as np

def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)

class TestEncoding(unittest.TestCase):

    @classmethod
    def setUpClass(cls):
        cls.df_raw = pd.read_csv(
            'https://codefinity-content-media.s3.eu-west-1.amazonaws.com/a65bbc96-309e-4df9-a790-a1eb8c815a1c/penguins_imputed.csv'
        )
        import user_code
        cls.user_code = user_code

    def test_imports_encoders(self):
        from sklearn.preprocessing import OneHotEncoder, LabelEncoder
        uc = self.user_code
        cond = isinstance(getattr(uc, 'feature_enc', None), OneHotEncoder) and \
               isinstance(getattr(uc, 'label_enc', None), LabelEncoder)
        _dynamic_test(
            self,
            cond,
            "Used OneHotEncoder for features and LabelEncoder for target",
            "Used OneHotEncoder for features and LabelEncoder for target"
        )

    def test_feature_columns_encoded(self):
        uc = self.user_code
        expected = ['island_Biscoe', 'island_Dream', 'island_Torgersen',
                    'sex_FEMALE', 'sex_MALE']
        cond = all(col in uc.X.columns for col in expected)
        _dynamic_test(
            self,
            cond,
            "Encoded columns were added to X",
            "Encoded columns were added to X"
        )

    def test_original_columns_dropped(self):
        uc = self.user_code
        cond = ('island' not in uc.X.columns) and ('sex' not in uc.X.columns)
        _dynamic_test(
            self,
            cond,
            "Original categorical columns were dropped",
            "Original categorical columns were dropped"
        )

    def test_y_encoded(self):
        uc = self.user_code
        y_arr = np.asarray(uc.y)
        is_integer_dtype = np.issubdtype(y_arr.dtype, np.integer)
        le_fitted = hasattr(getattr(uc, 'label_enc', object()), 'classes_')
        cond = (y_arr.ndim == 1) and is_integer_dtype and le_fitted
        _dynamic_test(
            self,
            cond,
            "Target y must be encoded into integers using LabelEncoder",
            "Target y must be encoded into integers using LabelEncoder"
        )

if __name__ == "__main__":
    unittest.main()


test_code.py

機械学習は今やあらゆる場所で利用されています。自分で学びたいと思いませんか？このコースは、機械学習の世界への入門として、基本的な概念の習得、最も人気のあるMLライブラリであるScikit-learnの操作、そして最初の機械学習プロジェクトの構築を学ぶためのものです。
このコースは、Python、Pandas、Numpyの基礎知識を持つ学生を対象としています。

機械学習の概念とMLプロジェクトのワークフローについて学習します。

前処理は、MLプロジェクトにおいて最も重要な段階の一つです。本章では、ほぼすべてのデータセットに必要な前処理手順について解説します。

パイプラインは、すべての前処理ステップとモデルを組み合わせるための便利な方法です。パイプラインを使用することで、モデルの学習や利用がはるかに簡単になります。

モデリングはMLプロジェクトの中で最も楽しい段階です。モデルの構築、チューニング、評価方法を学びましょう。

チャレンジ：カテゴリカル変数のエンコーディング

解答