In dieser Aufgabe sollen alle Vorverarbeitungsschritte in einer **einzelnen Pipeline** unter Verwendung des ursprünglichen `penguins.csv`-Datensatzes kombiniert werden.

1. Entfernen Sie die zwei Zeilen mit unzureichenden Daten.
2. Erstellen Sie eine Pipeline, die Kodierung, Imputation und Skalierung umfasst.


Es müssen nur zwei Spalten kodiert werden: `'sex'` und `'island'`. Da nicht das gesamte `X` kodiert werden soll, ist die Verwendung eines `ColumnTransformer` erforderlich. Anschließend wird der `SimpleImputer` und der `StandardScaler` auf das gesamte `X` angewendet.

Hier eine Erinnerung an die Funktionen `make_column_transformer()` und `make_pipeline()`, die verwendet werden sollen.

import unittest
import pandas as pd
import numpy as np

def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)

class TestPipelineWithColumnTransformer(unittest.TestCase):

    @classmethod
    def setUpClass(cls):
        cls.df_raw = pd.read_csv(
            'https://codefinity-content-media.s3.eu-west-1.amazonaws.com/a65bbc96-309e-4df9-a790-a1eb8c815a1c/penguins.csv'
        )
        cls.df_raw = cls.df_raw[cls.df_raw.isna().sum(axis=1) < 2]
        import user_code
        cls.user_code = user_code

    def test_import_pipeline(self):
        from sklearn.pipeline import Pipeline, make_pipeline
        uc = self.user_code
        cond = isinstance(getattr(uc, 'pipe', None), (Pipeline,))
        _dynamic_test(
            self,
            cond,
            "Pipeline was created using make_pipeline",
            "Pipeline was created using make_pipeline"
        )

    def test_columntransformer_used(self):
        from sklearn.compose import ColumnTransformer
        uc = self.user_code
        cond = isinstance(getattr(uc, 'ct', None), ColumnTransformer)
        _dynamic_test(
            self,
            cond,
            "ColumnTransformer was used for 'sex' and 'island' with remainder passthrough",
            "ColumnTransformer was used for 'sex' and 'island' with remainder passthrough"
        )

    def test_pipeline_steps(self):
        uc = self.user_code
        step_names = [name for name, _ in uc.pipe.steps]
        cond = ("columntransformer" in step_names
                and any("simpleimputer" in n for n in step_names)
                and any("standardscaler" in n for n in step_names))
        _dynamic_test(
            self,
            cond,
            "Pipeline contains ColumnTransformer, SimpleImputer, and StandardScaler",
            "Pipeline contains ColumnTransformer, SimpleImputer, and StandardScaler"
        )

    def test_X_transformed_shape(self):
        uc = self.user_code
        X_arr = np.asarray(uc.X_transformed)
        cond = X_arr.shape[0] == self.df_raw.shape[0] and X_arr.ndim == 2
        _dynamic_test(
            self,
            cond,
            "X_transformed has correct number of rows and is 2D",
            "X_transformed has correct number of rows and is 2D"
        )

if __name__ == "__main__":
    unittest.main()


test_code.py

Maschinelles Lernen wird heute überall eingesetzt. Möchten Sie es selbst erlernen? Dieser Kurs bietet eine Einführung in die Welt des maschinellen Lernens, vermittelt grundlegende Konzepte, die Arbeit mit Scikit-learn – der beliebtesten Bibliothek für ML – und ermöglicht den Aufbau Ihres ersten Projekts im Bereich des maschinellen Lernens.
Der Kurs richtet sich an Lernende mit Grundkenntnissen in Python, Pandas und Numpy.

Erlernen der Konzepte des maschinellen Lernens und des Workflows von ML-Projekten.

Die Vorverarbeitung ist wahrscheinlich die wichtigste Phase eines ML-Projekts. Dieses Kapitel behandelt die für nahezu jeden Datensatz erforderlichen Vorverarbeitungsschritte.

Eine Pipeline ist eine elegante Methode, um alle Vorverarbeitungsschritte sowie ein Modell zu kombinieren. Pipelines erleichtern das Trainieren und die Nutzung eines Modells erheblich.

Die Modellierung ist die spannendste Phase eines ML-Projekts. Lernen Sie, das Modell zu erstellen, zu optimieren und zu evaluieren!

Herausforderung: Erstellung Einer Pipeline

Lösung

Awesome!

Herausforderung: Erstellung Einer Pipeline

Lösung

Awesome!