Lassen Sie uns die Ergebnisse der logistischen Regression darstellen. Betrachten Sie das folgende Beispiel mit zwei Merkmalen:

Nachdem ein logistisches Regressionsmodell erstellt wurde, kann eine Entscheidungsgrenze dargestellt werden. Sie zeigt den Bereich jeder Klasse, in dem neue Instanzen als diese Klasse vorhergesagt werden. Hier ist beispielsweise die Entscheidungsgrenze der logistischen Regression, angewendet auf die obigen Daten:

Hier ist zu sehen, dass die Linie die beiden Klassen perfekt trennt. In diesem Fall wird der Datensatz als linear trennbar bezeichnet. Das ist jedoch nicht immer der Fall. Wie wäre es, wenn der Datensatz so aussehen würde:

Oben ist eine Entscheidungsgrenze für einen etwas anderen Datensatz dargestellt. Hier sind die Daten nicht linear trennbar; daher sind die Vorhersagen, die durch die logistische Regression getroffen werden, unvollkommen. Leider kann die logistische Regression standardmäßig keine komplexeren Entscheidungsgrenzen vorhersagen, sodass dies die beste Vorhersage ist, die wir erhalten können.

Denken Sie jedoch daran, dass die logistische Regression von der linearen Regression abgeleitet ist, die eine Lösung für das Problem eines zu einfachen Modells bietet. Diese Lösung ist die polynomielle Regression, und wir können deren Gleichung zur Berechnung von $z$ verwenden, um eine komplexere Form der Entscheidungsgrenze zu erhalten:

Wie bei der polynomiellen Regression können wir den PolynomialFeatures-Transformer verwenden, um polynomielle Terme zu unseren Merkmalen hinzuzufügen – das hilft dem Modell, komplexere Muster zu erkennen.

from sklearn.preprocessing import PolynomialFeatures

X_poly = PolynomialFeatures(2, include_bias=False).fit_transform(X)

Diese Zeile transformiert die ursprünglichen Eingabemerkmale in X, indem sie hinzufügt:

• Quadratterme (z. B. $x^2$);
• Interaktionsterme (z. B. $x_1 \cdot x_2$, wenn es mehrere Merkmale gibt).

Wenn X beispielsweise ursprünglich zwei Merkmale hat: $[x_1, x_2]$, dann erhält man nach Anwendung von PolynomialFeatures(2, include_bias=False): $[x_1, x_{2}, x_{1}\\^{2} , x_{1} x_{2}, x_{2}\\^{2}]$

Dadurch können Modelle wie die logistische Regression nichtlineare Zusammenhänge erfassen und flexiblere, gekrümmte Entscheidungsgrenzen erzeugen. Allerdings kann eine zu hohe Wahl des Grades dazu führen, dass das Modell die Trainingsdaten zu genau abbildet – ein Problem, das als Overfitting bekannt ist. Deshalb probiert man in der Regel zunächst kleinere Grade aus und bewertet das Modell sorgfältig.