Entscheidungsgrenze

Visualisierung der Ergebnisse der logistischen Regression. Beispiel mit zwei Merkmalen:

Nach dem Erstellen einer logistischen Regression kann eine Entscheidungsgrenze dargestellt werden. Sie zeigt für jede Klasse den Bereich, in dem neue Instanzen dieser Klasse zugeordnet werden. Beispielhaft die Entscheidungsgrenze der logistischen Regression für die oben genannten Daten:

Hier ist zu erkennen, dass die Linie zwei Klassen perfekt trennt. In diesem Fall wird der Datensatz als linear trennbar bezeichnet. Das ist jedoch nicht immer der Fall. Wie wäre es, wenn der Datensatz so aussehen würde:

Oben ist eine Entscheidungsgrenze für einen etwas anderen Datensatz dargestellt. Hier sind die Daten nicht linear trennbar; daher sind die Vorhersagen der logistischen Regression unvollkommen. Leider kann die logistische Regression standardmäßig keine komplexeren Entscheidungsgrenzen vorhersagen, sodass dies die beste Vorhersage ist, die wir erhalten können.

Es ist jedoch zu beachten, dass die logistische Regression von der linearen Regression abgeleitet ist, die eine Lösung für das Problem eines zu einfachen Modells bietet. Diese Lösung ist die polynomielle Regression, und wir können deren Gleichung zur Berechnung von $z$ verwenden, um eine komplexere Form der Entscheidungsgrenze zu erhalten:

Wie bei der polynomialen Regression können wir den PolynomialFeatures-Transformer verwenden, um polynomielle Terme zu unseren Merkmalen hinzuzufügen – das hilft dem Modell, komplexere Muster zu erkennen.

from sklearn.preprocessing import PolynomialFeatures

X_poly = PolynomialFeatures(2, include_bias=False).fit_transform(X)

Diese Zeile transformiert die ursprünglichen Eingabemerkmale in X, indem sie hinzufügt:

• Quadratterme (z. B. $x^2$);
• Interaktionsterme (z. B. $x_1 \cdot x_2$, wenn es mehrere Merkmale gibt).

Wenn X beispielsweise ursprünglich zwei Merkmale hat: $[x_1, x_2]$, dann erhält man nach Anwendung von PolynomialFeatures(2, include_bias=False): $[x_1, x_{2}, x_{1}\\^{2} , x_{1} x_{2}, x_{2}\\^{2}]$

Dadurch können Modelle wie die logistische Regression nichtlineare Zusammenhänge erfassen und flexiblere, gekrümmte Entscheidungsgrenzen erzeugen. Wird der Grad jedoch zu stark erhöht, kann das Modell die Trainingsdaten zu gut anpassen – ein Problem, das als Overfitting bekannt ist. Deshalb probiert man in der Regel zunächst kleinere Grade aus und bewertet das Modell sorgfältig.