Notice: This page requires JavaScript to function properly.
Please enable JavaScript in your browser settings or update your browser.
Lernen Herausforderung: Automatische Hyperparameter-Optimierung | Conclusion
Einführung in Neuronale Netze

bookHerausforderung: Automatische Hyperparameter-Optimierung

Anstatt die Hyperparameter unseres Modells manuell auszuwählen, bietet die Randomisierte Suche (RandomizedSearchCV) eine effizientere Möglichkeit, eine optimale Konfiguration zu finden. Im Gegensatz zur Gitter-Suche (GridSearchCV), die systematisch alle möglichen Kombinationen von Hyperparametern bewertet, wählt die randomisierte Suche eine zufällige Teilmenge dieser Kombinationen aus. Dieser Ansatz reduziert die Rechenkosten erheblich und liefert dennoch überzeugende Ergebnisse.

Gerade bei neuronalen Netzen, bei denen die Anzahl möglicher Hyperparameter-Kombinationen enorm sein kann, ist das vollständige Testen aller Optionen oft unpraktikabel. Die randomisierte Suche umgeht dieses Problem, indem sie eine festgelegte Anzahl zufällig ausgewählter Hyperparametersätze testet und so eine Balance zwischen Exploration und Effizienz schafft.

RandomizedSearchCV(
    estimator=model, 
    param_distributions=randomized_parameters, 
    n_iter=number_of_models_to_test,  # Number of random combinations to evaluate
    scoring='accuracy',  # Evaluation metric
    random_state=42,  # Ensures reproducibility
)
  • estimator: Das zu optimierende Modell (z. B. MLPClassifier);
  • param_distributions: Ein Dictionary, in dem die Schlüssel die Namen der Hyperparameter und die Werte Listen mit möglichen Ausprägungen sind;
  • n_iter: Gibt an, wie viele zufällige Kombinationen getestet werden sollen. Ein höherer Wert erhöht die Wahrscheinlichkeit, eine optimale Kombination zu finden, erfordert jedoch mehr Rechenleistung;
  • scoring: Definiert die Bewertungsmetrik (z. B. 'accuracy' für Klassifikationsaufgaben).
Aufgabe

Swipe to start coding

  1. Definieren des Parametergrids param_distributions:
    • Setzen Sie 'hidden_layer_sizes' auf drei verschiedene Schichtkonfigurationen: (20, 20), (25, 25), (30, 30);
    • Setzen Sie 'learning_rate_init' auf die Werte 0.02, 0.01, 0.005;
    • Setzen Sie 'max_iter' auf die Werte 10, 30, 50.
  2. Anwenden von RandomizedSearchCV mit:
    • Dem definierten Modell mlp;
    • Dem definierten Parametergrid param_distributions;
    • 4 Iterationen;
    • 'accuracy' als Bewertungsmetrik.

Lösung

War alles klar?

Wie können wir es verbessern?

Danke für Ihr Feedback!

Abschnitt 3. Kapitel 3
single

single

Fragen Sie AI

expand

Fragen Sie AI

ChatGPT

Fragen Sie alles oder probieren Sie eine der vorgeschlagenen Fragen, um unser Gespräch zu beginnen

Suggested prompts:

Can you explain the difference between RandomizedSearchCV and GridSearchCV in more detail?

How do I choose the right number for n_iter in RandomizedSearchCV?

What types of problems is RandomizedSearchCV best suited for?

close

Awesome!

Completion rate improved to 4

bookHerausforderung: Automatische Hyperparameter-Optimierung

Swipe um das Menü anzuzeigen

Anstatt die Hyperparameter unseres Modells manuell auszuwählen, bietet die Randomisierte Suche (RandomizedSearchCV) eine effizientere Möglichkeit, eine optimale Konfiguration zu finden. Im Gegensatz zur Gitter-Suche (GridSearchCV), die systematisch alle möglichen Kombinationen von Hyperparametern bewertet, wählt die randomisierte Suche eine zufällige Teilmenge dieser Kombinationen aus. Dieser Ansatz reduziert die Rechenkosten erheblich und liefert dennoch überzeugende Ergebnisse.

Gerade bei neuronalen Netzen, bei denen die Anzahl möglicher Hyperparameter-Kombinationen enorm sein kann, ist das vollständige Testen aller Optionen oft unpraktikabel. Die randomisierte Suche umgeht dieses Problem, indem sie eine festgelegte Anzahl zufällig ausgewählter Hyperparametersätze testet und so eine Balance zwischen Exploration und Effizienz schafft.

RandomizedSearchCV(
    estimator=model, 
    param_distributions=randomized_parameters, 
    n_iter=number_of_models_to_test,  # Number of random combinations to evaluate
    scoring='accuracy',  # Evaluation metric
    random_state=42,  # Ensures reproducibility
)
  • estimator: Das zu optimierende Modell (z. B. MLPClassifier);
  • param_distributions: Ein Dictionary, in dem die Schlüssel die Namen der Hyperparameter und die Werte Listen mit möglichen Ausprägungen sind;
  • n_iter: Gibt an, wie viele zufällige Kombinationen getestet werden sollen. Ein höherer Wert erhöht die Wahrscheinlichkeit, eine optimale Kombination zu finden, erfordert jedoch mehr Rechenleistung;
  • scoring: Definiert die Bewertungsmetrik (z. B. 'accuracy' für Klassifikationsaufgaben).
Aufgabe

Swipe to start coding

  1. Definieren des Parametergrids param_distributions:
    • Setzen Sie 'hidden_layer_sizes' auf drei verschiedene Schichtkonfigurationen: (20, 20), (25, 25), (30, 30);
    • Setzen Sie 'learning_rate_init' auf die Werte 0.02, 0.01, 0.005;
    • Setzen Sie 'max_iter' auf die Werte 10, 30, 50.
  2. Anwenden von RandomizedSearchCV mit:
    • Dem definierten Modell mlp;
    • Dem definierten Parametergrid param_distributions;
    • 4 Iterationen;
    • 'accuracy' als Bewertungsmetrik.

Lösung

Switch to desktopWechseln Sie zum Desktop, um in der realen Welt zu übenFahren Sie dort fort, wo Sie sind, indem Sie eine der folgenden Optionen verwenden
War alles klar?

Wie können wir es verbessern?

Danke für Ihr Feedback!

Abschnitt 3. Kapitel 3
single

single

some-alt