Overfitting und Regularisierung

Wie im vorherigen Kapitel gezeigt, kann mit PolynomialFeatures eine komplexe Entscheidungsgrenze erstellt werden. Polynomiale Merkmale zweiten Grades können sogar die unten abgebildeten Grenzen erzeugen:

Und das ist nur ein Grad von zwei. Ein höherer Grad kann sogar noch komplexere Formen erzeugen. Doch dies bringt ein Problem mit sich. Die durch die logistische Regression erzeugte Entscheidungsgrenze kann zu kompliziert werden, was zum Overfitting des Modells führt.

Overfitting bedeutet, dass das Modell anstelle des Erkennens allgemeiner Muster in den Daten eine sehr komplexe Entscheidungsgrenze erstellt, um jede Trainingsinstanz abzudecken. Dennoch erzielt es auf bisher unbekannten Daten keine guten Ergebnisse, obwohl genau dies eine Hauptaufgabe eines Machine-Learning-Modells ist.

Die Regularisierung adressiert das Problem des Overfittings. Tatsächlich wird l2-Regularisierung standardmäßig in der LogisticRegression-Klasse verwendet. Es ist jedoch notwendig, zu konfigurieren, wie stark das Modell regularisiert werden soll. Dies wird durch den Parameter C gesteuert:

• Größeres C – geringere Regularisierung, mehr Overfitting;
• Kleineres C – stärkere Regularisierung, weniger Overfitting (aber möglicherweise Underfitting).

Welche Werte von C zu einem guten Modell führen, hängt vom Datensatz ab. Daher ist es besser, diese mit GridSearchCV auszuwählen.

Die Klasse LogisticRegression beinhaltet standardmäßig eine Regularisierung. Daher sollte entweder die Regularisierung entfernt werden (durch Setzen von penalty=None) oder die Daten sollten skaliert werden (z. B. mit StandardScaler).