Beslutsgräns

Låt oss visualisera resultaten av logistisk regression. Betrakta följande exempel med två variabler:

När vi har byggt en logistisk regression kan vi visualisera en beslutsgräns. Den visar varje klass region där nya instanser förutsägs tillhöra den klassen. Här är till exempel beslutsgränsen för logistisk regression tillämpad på datan ovan:

Vi kan se att linjen här perfekt separerar två klasser. När detta sker kallas datasetet linjärt separerbart. Men så är det inte alltid. Tänk om datasetet såg ut så här:

Ovan visas en beslutsgräns för en något annorlunda datamängd. Här är data inte linjärt separerbar; därför blir förutsägelserna som görs av logistisk regression inte perfekta. Tyvärr kan logistisk regression inte förutsäga mer komplexa beslutsgränser som standard, så detta är den bästa förutsägelsen vi kan få.

Men kom ihåg att logistisk regression härstammar från linjär regression, som har en lösning på problemet med att modellen är för enkel. Denna lösning är polynomregression, och vi kan använda dess ekvation för att beräkna $z$ för att få en mer komplex form på beslutsgränsen:

Precis som i polynomregression kan vi använda transformern PolynomialFeatures för att lägga till polynomtermer till våra variabler – detta hjälper modellen att lära sig mer komplexa mönster.

from sklearn.preprocessing import PolynomialFeatures

X_poly = PolynomialFeatures(2, include_bias=False).fit_transform(X)

Denna rad transformerar de ursprungliga indatafunktionerna i X genom att lägga till:

• Kvadrattermer (t.ex. $x^2$);
• Interaktionstermer (t.ex. $x_1 \cdot x_2$ om det finns flera funktioner).

Om till exempel X ursprungligen har två funktioner: $[x_1, x_2]$, så får du efter att ha använt PolynomialFeatures(2, include_bias=False): $[x_1, x_{2}, x_{1}\\^{2} , x_{1} x_{2}, x_{2}\\^{2}]$

Detta gör att modeller som logistisk regression kan fånga icke-linjära samband och producera mer flexibla, böjda beslutsgränser. Om graden däremot ökas för mycket kan modellen anpassa sig för väl till träningsdatan – ett problem som kallas överanpassning. Därför börjar vi oftast med lägre grader och utvärderar modellen noggrant.