Vi visualiserar resultaten av logistisk regression. Betrakta följande exempel med två variabler:

När en logistisk regression har byggts kan en beslutsgräns visualiseras. Den visar varje klass region där nya instanser förutsägs tillhöra den klassen. Här visas till exempel beslutsgränsen för logistisk regression tillämpad på ovanstående data:

Vi kan se att linjen här separerar de två klasserna perfekt. När detta sker kallas datasetet linjärt separerbart. Det är dock inte alltid fallet. Vad händer om datasetet ser ut så här:

Ovan visas en beslutsgräns för en något annorlunda datamängd. Här är datan inte linjärt separerbar; därför blir förutsägelserna som görs av logistisk regression inte perfekta. Tyvärr kan logistisk regression inte förutsäga mer komplexa beslutsgränser som standard, så detta är den bästa förutsägelsen vi kan få.

Men kom ihåg att logistisk regression härstammar från linjär regression, som har en lösning på problemet med att modellen är för enkel. Denna lösning är en polynomregression, och vi kan använda dess ekvation för att beräkna $z$ för att få en mer komplex form på beslutsgränsen:

Precis som i polynomregression kan vi använda transformern PolynomialFeatures för att lägga till polynomtermer till våra variabler – detta hjälper modellen att lära sig mer komplexa mönster.

from sklearn.preprocessing import PolynomialFeatures

X_poly = PolynomialFeatures(2, include_bias=False).fit_transform(X)

Denna rad transformerar de ursprungliga indatafunktionerna i X genom att lägga till:

• Kvadrattermer (t.ex. $x^2$);
• Interaktionstermer (t.ex. $x_1 \cdot x_2$ om det finns flera variabler).

Till exempel, om X ursprungligen har två variabler: $[x_1, x_2]$, så får du efter att ha använt PolynomialFeatures(2, include_bias=False): $[x_1, x_{2}, x_{1}\\^{2} , x_{1} x_{2}, x_{2}\\^{2}]$

Detta gör att modeller som logistisk regression kan fånga icke-linjära samband och producera mer flexibla, böjda beslutsgränser. Men om graden ökas för mycket kan modellen anpassa sig för väl till träningsdatan – ett problem som kallas överanpassning. Därför börjar vi oftast med lägre grader och utvärderar modellen noggrant.