Mikä on putkisto

Edellisessä osiossa suoritettiin kolme esikäsittelyvaihetta: imputointi, koodaus ja skaalaus.

Esikäsittelyvaiheet toteutettiin yksi kerrallaan, muuntaen tiettyjä sarakkeita ja yhdistäen ne takaisin X-taulukkoon. Tämä lähestymistapa voi olla hankala, erityisesti OneHotEncoder-muuntimen kanssa, joka muuttaa sarakkeiden määrää.

Toinen haittapuoli on, että kaikki uusi data, jota käytetään ennustamiseen, täytyy käsitellä täsmälleen samojen muunnosten kautta, mikä vaatii koko prosessin toistamista.

Scikit-learnin Pipeline-luokka yksinkertaistaa tätä yhdistämällä kaikki muunnokset yhdeksi työnkuluksi, mikä helpottaa esikäsittelyn soveltamista johdonmukaisesti sekä koulutusdataan että uusiin havaintoihin.

Pipeline toimii säiliönä useille peräkkäisille muuntimille ja lopulta estimaattorille. Kun kutsut .fit_transform()-metodia Pipeline-oliolle, se soveltaa kunkin muuntimen .fit_transform()-metodia dataan järjestyksessä.

# Create a pipeline with three steps: imputation, one-hot encoding, and scaling
pipeline = Pipeline([
    ('imputer', SimpleImputer(strategy='most_frequent')),  # Step 1: Impute missing values
    ('encoder', OneHotEncoder()),                         # Step 2: Convert categorical data
    ('scaler', StandardScaler())                          # Step 3: Scale the data
])

# Fit and transform the data using the pipeline
X_transformed = pipeline.fit_transform(X)

Tämä virtaviivainen lähestymistapa tarkoittaa, että sinun tarvitsee kutsua .fit_transform() vain kerran harjoitusaineistolle ja käyttää sen jälkeen .transform()-metodia uusien havaintojen käsittelyyn.