Päätösraja

Piirretään logistisen regressiomallin tulokset. Tarkastellaan seuraavaa kahden ominaisuuden esimerkkiä:

Kun logistinen regressiomalli on rakennettu, voidaan piirtää päätösraja. Se osoittaa kunkin luokan alueen, jossa uudet havainnot luokitellaan kyseiseen luokkaan. Esimerkiksi alla on logistisen regressiomallin päätösraja yllä olevalle aineistolle:

Voimme nähdä, että viiva erottaa tässä kaksi luokkaa täydellisesti. Kun näin tapahtuu, aineistoa kutsutaan lineaarisesti erotettavaksi. Tämä ei kuitenkaan aina pidä paikkaansa. Entä jos aineisto olisi tällainen:

Yllä on päätösraja hieman erilaiselle aineistolle. Tässä data ei ole lineaarisesti eroteltavissa; siksi logistisen regressiomallin tekemät ennusteet eivät ole täydellisiä. Valitettavasti oletuksena logistinen regressio ei pysty ennustamaan monimutkaisempia päätösrajoja, joten tämä on paras mahdollinen ennuste.

Muista kuitenkin, että logistinen regressio pohjautuu lineaariseen regressioon, jolla on ratkaisu liian yksinkertaisen mallin ongelmaan. Tämä ratkaisu on polynomiregressio, ja voimme käyttää sen yhtälöä laskettaessa $z$ saadaksemme monimutkaisemman päätösrajan muodon:

Aivan kuten polynomiregressiossa, voimme käyttää PolynomialFeatures-muunninta lisätäksemme polynomisia termejä piirteisiin – tämä auttaa mallia oppimaan monimutkaisempia rakenteita.

from sklearn.preprocessing import PolynomialFeatures

X_poly = PolynomialFeatures(2, include_bias=False).fit_transform(X)

Tämä rivi muuntaa alkuperäiset syötepiirteet X lisäämällä:

• Neliötermit (esim. $x^2$);
• Yhdistelmätermit (esim. $x_1 \cdot x_2$, jos piirteitä on useampi).

Jos esimerkiksi X:ssä on alun perin kaksi piirrettä: $[x_1, x_2]$, niin PolynomialFeatures(2, include_bias=False)-muunnoksen jälkeen saat: $[x_1, x_{2}, x_{1}\\^{2} , x_{1} x_{2}, x_{2}\\^{2}]$

Tämän ansiosta mallit kuten logistinen regressio voivat tunnistaa ei-lineaarisia riippuvuuksia ja tuottaa joustavampia, kaarevia päätösrajoja. Kuitenkin asteen kasvattaminen liikaa voi johtaa malliin, joka sopii liiaksi harjoitusaineistoon – ilmiö tunnetaan nimellä ylisovittaminen. Siksi yleensä kokeillaan ensin pienempiä asteita ja arvioidaan mallia huolellisesti.