Visualisoidaan logistisen regressiomallin tulokset. Tarkastellaan seuraavaa kahden ominaisuuden esimerkkiä:

Kun logistinen regressiomalli on rakennettu, voidaan piirtää päätösraja. Se osoittaa kunkin luokan alueen, jossa uudet havainnot luokitellaan kyseiseen luokkaan. Esimerkiksi alla on logistisen regressiomallin päätösraja yllä olevalle aineistolle:

Tässä nähdään, että viiva erottaa kaksi luokkaa täydellisesti. Tällöin aineistoa kutsutaan lineaarisesti erotettavaksi. Tämä ei kuitenkaan aina toteudu. Entä jos aineisto näyttäisi tältä:

Yllä on päätösraja hieman erilaiselle aineistolle. Tässä aineistossa data ei ole lineaarisesti eroteltavissa; siksi logistisen regressiomallin tekemät ennusteet ovat epätäydellisiä. Valitettavasti oletuksena logistinen regressio ei pysty ennustamaan monimutkaisempia päätösrajoja, joten tämä on paras mahdollinen ennuste.

Muista kuitenkin, että logistinen regressio pohjautuu lineaariseen regressioon, jolla on ratkaisu liian yksinkertaisen mallin ongelmaan. Tämä ratkaisu on polynomiregressio, ja voimme käyttää sen yhtälöä laskettaessa $z$ saadaksemme monimutkaisemman päätösrajan muodon:

Aivan kuten polynomiregressiossa, voimme käyttää PolynomialFeatures-muunninta lisätäksemme polynomisia termejä piirteisiin – tämä auttaa mallia oppimaan monimutkaisempia rakenteita.

from sklearn.preprocessing import PolynomialFeatures

X_poly = PolynomialFeatures(2, include_bias=False).fit_transform(X)

Tämä rivi muuntaa alkuperäiset syötepiirteet X lisäämällä:

• Neliötermit (esim. $x^2$);
• Yhdistermit (esim. $x_1 \cdot x_2$, jos piirteitä on useampi).

Esimerkiksi, jos X:ssä on alun perin kaksi piirrettä: $[x_1, x_2]$, niin PolynomialFeatures(2, include_bias=False)-muunnoksen jälkeen saat: $[x_1, x_{2}, x_{1}\\^{2} , x_{1} x_{2}, x_{2}\\^{2}]$

Tämä mahdollistaa esimerkiksi logistisen regression mallien oppia epälineaarisia riippuvuuksia ja tuottaa joustavampia, kaarevia päätösrajoja. Kuitenkin asteen kasvattaminen liikaa voi johtaa malliin, joka sopii liiaksi harjoitusaineistoon – ilmiö tunnetaan nimellä ylisovittaminen. Siksi yleensä kokeillaan ensin pienempiä asteita ja arvioidaan mallia huolellisesti.