Apprendre Défi : Réglage Automatique des Hyperparamètres

Plutôt que de sélectionner manuellement des valeurs spécifiques pour les hyperparamètres du modèle, la recherche aléatoire (RandomizedSearchCV) constitue une méthode plus efficace pour trouver une configuration optimale. Contrairement à la recherche par grille (GridSearchCV), qui évalue systématiquement toutes les combinaisons possibles d'hyperparamètres, la recherche aléatoire sélectionne un sous-ensemble aléatoire de ces combinaisons. Cette approche réduit considérablement le coût computationnel tout en produisant des résultats performants.

Pour les réseaux de neurones, où le nombre de combinaisons d'hyperparamètres possibles peut être immense, tester exhaustivement chaque option est souvent impraticable. La recherche aléatoire contourne ce problème en échantillonnant aléatoirement un nombre défini d'ensembles d'hyperparamètres, équilibrant ainsi exploration et efficacité.

RandomizedSearchCV(
    estimator=model, 
    param_distributions=randomized_parameters, 
    n_iter=number_of_models_to_test,  # Number of random combinations to evaluate
    scoring='accuracy',  # Evaluation metric
    random_state=42,  # Ensures reproducibility
)

estimator : modèle à optimiser (par exemple, MLPClassifier) ;
param_distributions : dictionnaire dont les clés sont les noms des hyperparamètres et les valeurs sont des listes à échantillonner ;
n_iter : spécifie combien de combinaisons aléatoires doivent être testées. Une valeur plus élevée augmente les chances de trouver une combinaison optimale mais nécessite plus de calcul ;
scoring : définit la métrique d'évaluation (par exemple, 'accuracy' pour la classification).

Tâche

Swipe to start coding

Votre objectif est d'ajuster les hyperparamètres d'un perceptron multicouche (MLP) en utilisant la méthode RandomizedSearchCV de scikit-learn.

Suivez attentivement ces étapes :

Définir la grille de paramètres param_distributions :

'hidden_layer_sizes' : inclure trois configurations — (20, 20), (25, 25) et (30, 30) ;
'learning_rate_init' : inclure les valeurs 0.02, 0.01 et 0.005 ;
'max_iter' : inclure les valeurs 10, 30 et 50.

Initialiser le modèle en utilisant MLPClassifier().
Appliquer RandomizedSearchCV :

Utiliser le modèle mlp défini comme estimateur ;
Utiliser la grille param_distributions définie ;
Définir n_iter=4 pour limiter le nombre de combinaisons de paramètres ;
Utiliser 'accuracy' comme métrique d'évaluation ;
Définir random_state=1 pour la reproductibilité.

Ajuster la recherche aléatoire sur les données d'entraînement et afficher les meilleurs paramètres trouvés.
Entraîner le meilleur modèle sur l'ensemble complet des données d'entraînement et évaluer sa précision sur les ensembles d'entraînement et de test.

Solution

Tout était clair ?

Merci pour vos commentaires !

Section 3. Chapitre 3

single

Demandez à l'IA

Posez n'importe quelle question ou essayez l'une des questions suggérées pour commencer notre discussion

Awesome!

Completion rate improved to 4

Glissez pour afficher le menu

RandomizedSearchCV(
    estimator=model, 
    param_distributions=randomized_parameters, 
    n_iter=number_of_models_to_test,  # Number of random combinations to evaluate
    scoring='accuracy',  # Evaluation metric
    random_state=42,  # Ensures reproducibility
)

estimator : modèle à optimiser (par exemple, MLPClassifier) ;
param_distributions : dictionnaire dont les clés sont les noms des hyperparamètres et les valeurs sont des listes à échantillonner ;
n_iter : spécifie combien de combinaisons aléatoires doivent être testées. Une valeur plus élevée augmente les chances de trouver une combinaison optimale mais nécessite plus de calcul ;
scoring : définit la métrique d'évaluation (par exemple, 'accuracy' pour la classification).