Overfitting und Regularisierung
Wie im vorherigen Kapitel gezeigt, kann mit PolynomialFeatures eine komplexe Entscheidungsgrenze erstellt werden. Polynomiale Merkmale zweiten Grades können sogar die unten abgebildeten Grenzen erzeugen:
Und das ist nur ein Grad von zwei. Ein höherer Grad kann sogar noch komplexere Formen erzeugen. Doch dies bringt ein Problem mit sich. Die durch die logistische Regression erzeugte Entscheidungsgrenze kann zu kompliziert werden, was dazu führt, dass das Modell überanpasst.
Overfitting bedeutet, dass das Modell anstelle des Erlernens allgemeiner Muster in den Daten eine sehr komplexe Entscheidungsgrenze erstellt, um jede Trainingsinstanz zu berücksichtigen. Dennoch erzielt es auf bisher unbekannten Daten keine guten Ergebnisse, obwohl genau dies die Hauptaufgabe eines Machine-Learning-Modells ist.
Die Regularisierung adressiert das Problem des Overfittings. Tatsächlich wird in der Klasse LogisticRegression standardmäßig die l2-Regularisierung verwendet. Allerdings muss konfiguriert werden, wie stark das Modell regularisiert werden soll. Dies wird durch den Parameter C gesteuert:
- höheres
C– geringere Regularisierung, mehr Overfitting; - niedrigeres
C– stärkere Regularisierung, weniger Overfitting (aber möglicherweise Underfitting).
Welche Werte von C zu einem guten Modell führen, hängt vom Datensatz ab. Daher ist es besser, C mit GridSearchCV auszuwählen.
Bei der Verwendung von logistischer Regression mit Regularisierung ist es unerlässlich, die Daten zu skalieren. Die Regularisierung bestraft große Koeffizienten, und ohne Skalierung können Merkmale mit größeren Werten die Ergebnisse verzerren. Tatsächlich ist Skalierung fast immer notwendig – selbst wenn keine Regularisierung verwendet wird.
Die Klasse LogisticRegression beinhaltet standardmäßig Regularisierung. Daher sollte entweder die Regularisierung entfernt werden (durch Setzen von penalty=None) oder die Daten sollten skaliert werden (z. B. mit StandardScaler).
Wenn sowohl PolynomialFeatures als auch StandardScaler verwendet werden, sollte StandardScaler nach der Erzeugung der polynomialen Merkmale angewendet werden. Das Skalieren der Daten vor der polynomiellen Erweiterung kann die resultierenden Merkmale verzerren, da Operationen wie das Quadrieren oder Multiplizieren bereits standardisierter Werte zu unnatürlichen Verteilungen führen können.
1. Wählen Sie die FALSCHE Aussage aus.
2. Was ist die korrekte Reihenfolge zur Vorverarbeitung von Daten
Danke für Ihr Feedback!
Fragen Sie AI
Fragen Sie AI
Fragen Sie alles oder probieren Sie eine der vorgeschlagenen Fragen, um unser Gespräch zu beginnen
Großartig!
Completion Rate verbessert auf 3.33Overfitting und Regularisierung
Swipe um das Menü anzuzeigen
Wie im vorherigen Kapitel gezeigt, kann mit PolynomialFeatures eine komplexe Entscheidungsgrenze erstellt werden. Polynomiale Merkmale zweiten Grades können sogar die unten abgebildeten Grenzen erzeugen:
Und das ist nur ein Grad von zwei. Ein höherer Grad kann sogar noch komplexere Formen erzeugen. Doch dies bringt ein Problem mit sich. Die durch die logistische Regression erzeugte Entscheidungsgrenze kann zu kompliziert werden, was dazu führt, dass das Modell überanpasst.
Overfitting bedeutet, dass das Modell anstelle des Erlernens allgemeiner Muster in den Daten eine sehr komplexe Entscheidungsgrenze erstellt, um jede Trainingsinstanz zu berücksichtigen. Dennoch erzielt es auf bisher unbekannten Daten keine guten Ergebnisse, obwohl genau dies die Hauptaufgabe eines Machine-Learning-Modells ist.
Die Regularisierung adressiert das Problem des Overfittings. Tatsächlich wird in der Klasse LogisticRegression standardmäßig die l2-Regularisierung verwendet. Allerdings muss konfiguriert werden, wie stark das Modell regularisiert werden soll. Dies wird durch den Parameter C gesteuert:
- höheres
C– geringere Regularisierung, mehr Overfitting; - niedrigeres
C– stärkere Regularisierung, weniger Overfitting (aber möglicherweise Underfitting).
Welche Werte von C zu einem guten Modell führen, hängt vom Datensatz ab. Daher ist es besser, C mit GridSearchCV auszuwählen.
Bei der Verwendung von logistischer Regression mit Regularisierung ist es unerlässlich, die Daten zu skalieren. Die Regularisierung bestraft große Koeffizienten, und ohne Skalierung können Merkmale mit größeren Werten die Ergebnisse verzerren. Tatsächlich ist Skalierung fast immer notwendig – selbst wenn keine Regularisierung verwendet wird.
Die Klasse LogisticRegression beinhaltet standardmäßig Regularisierung. Daher sollte entweder die Regularisierung entfernt werden (durch Setzen von penalty=None) oder die Daten sollten skaliert werden (z. B. mit StandardScaler).
Wenn sowohl PolynomialFeatures als auch StandardScaler verwendet werden, sollte StandardScaler nach der Erzeugung der polynomialen Merkmale angewendet werden. Das Skalieren der Daten vor der polynomiellen Erweiterung kann die resultierenden Merkmale verzerren, da Operationen wie das Quadrieren oder Multiplizieren bereits standardisierter Werte zu unnatürlichen Verteilungen führen können.
1. Wählen Sie die FALSCHE Aussage aus.
2. Was ist die korrekte Reihenfolge zur Vorverarbeitung von Daten
Danke für Ihr Feedback!
