Visualisierung der Ergebnisse der logistischen Regression. Betrachtung des folgenden Beispiels mit zwei Merkmalen:

Nach dem Aufbau einer logistischen Regression kann eine Entscheidungsgrenze dargestellt werden. Sie zeigt für jede Klasse den Bereich, in dem neue Instanzen dieser Klasse zugeordnet werden. Nachfolgend die Entscheidungsgrenze der logistischen Regression, angewendet auf die obigen Daten:

Es ist erkennbar, dass die Linie hier zwei Klassen perfekt trennt. In diesem Fall wird der Datensatz als linear trennbar bezeichnet. Dies ist jedoch nicht immer gegeben. Wie sähe es aus, wenn der Datensatz folgendermaßen wäre:

Oben ist eine Entscheidungsgrenze für einen etwas anderen Datensatz dargestellt. Hier sind die Daten nicht linear trennbar; daher sind die Vorhersagen, die durch die logistische Regression getroffen werden, unvollkommen. Leider kann die logistische Regression standardmäßig keine komplexeren Entscheidungsgrenzen vorhersagen, sodass dies die beste Vorhersage ist, die wir erhalten können.

Denken Sie jedoch daran, dass die logistische Regression von der linearen Regression abgeleitet ist, die eine Lösung für das Problem eines zu einfachen Modells bietet. Diese Lösung ist die polynomielle Regression, und wir können ihre Gleichung zur Berechnung von $z$ verwenden, um eine komplexere Form der Entscheidungsgrenze zu erhalten:

Wie bei der polynomiellen Regression können wir den PolynomialFeatures-Transformer verwenden, um polynomielle Terme zu unseren Merkmalen hinzuzufügen – dies hilft dem Modell, komplexere Muster zu erlernen.

from sklearn.preprocessing import PolynomialFeatures

X_poly = PolynomialFeatures(2, include_bias=False).fit_transform(X)

Diese Zeile transformiert die ursprünglichen Eingabemerkmale in X, indem sie hinzufügt:

• Quadratterme (z. B. $x^2$);
• Interaktionsterme (z. B. $x_1 \cdot x_2$, falls mehrere Merkmale vorhanden sind).

Wenn X beispielsweise ursprünglich zwei Merkmale hat: $[x_1, x_2]$, dann erhält man nach Anwendung von PolynomialFeatures(2, include_bias=False): $[x_1, x_{2}, x_{1}\\^{2} , x_{1} x_{2}, x_{2}\\^{2}]$

Dies ermöglicht es Modellen wie der logistischen Regression, nichtlineare Zusammenhänge zu erfassen und flexiblere, gekrümmte Entscheidungsgrenzen zu erzeugen. Allerdings kann eine zu hohe Wahl des Grades dazu führen, dass das Modell die Trainingsdaten zu genau abbildet – ein Problem, das als Overfitting bekannt ist. Daher werden in der Regel zunächst kleinere Grade ausprobiert und das Modell sorgfältig bewertet.