Notice: This page requires JavaScript to function properly.
Please enable JavaScript in your browser settings or update your browser.
Apprendre Défi : Réglage Automatique des Hyperparamètres | Conclusion
Introduction aux Réseaux de Neurones

bookDéfi : Réglage Automatique des Hyperparamètres

Plutôt que de sélectionner manuellement des valeurs spécifiques pour les hyperparamètres de notre modèle, la recherche aléatoire (RandomizedSearchCV) propose une méthode plus efficace pour trouver une configuration optimale. Contrairement à la recherche par grille (GridSearchCV), qui évalue systématiquement toutes les combinaisons possibles d'hyperparamètres, la recherche aléatoire sélectionne un sous-ensemble aléatoire de ces combinaisons. Cette approche réduit considérablement le coût computationnel tout en offrant de bons résultats.

Pour les réseaux de neurones, où le nombre de combinaisons d'hyperparamètres possibles peut être immense, tester de manière exhaustive chaque option est souvent impraticable. La recherche aléatoire contourne ce problème en échantillonnant aléatoirement un nombre défini d'ensembles d'hyperparamètres, équilibrant ainsi exploration et efficacité.

RandomizedSearchCV(
    estimator=model, 
    param_distributions=randomized_parameters, 
    n_iter=number_of_models_to_test,  # Number of random combinations to evaluate
    scoring='accuracy',  # Evaluation metric
    random_state=42,  # Ensures reproducibility
)
  • estimator : modèle à optimiser (par exemple, MLPClassifier) ;
  • param_distributions : dictionnaire dont les clés sont les noms des hyperparamètres et les valeurs sont des listes à échantillonner ;
  • n_iter : nombre de combinaisons aléatoires à tester. Une valeur plus élevée augmente les chances de trouver une combinaison optimale mais nécessite plus de calcul ;
  • scoring : définit la métrique d'évaluation (par exemple, 'accuracy' pour la classification).
Tâche

Swipe to start coding

  1. Dans param_distributions, générez des valeurs pour deux couches cachées, où chaque couche possède le même nombre de neurones, allant de 20 à 30 (inclus) avec un pas de 2.
  2. Dans param_distributions, définissez les valeurs du taux d'apprentissage à 0.02, 0.01 et 0.005.
  3. Dans param_distributions, générez 10 valeurs aléatoires pour le nombre d'époques d'entraînement, en vous assurant qu'elles se situent dans l'intervalle 10 à 50 (exclus).
  4. Appliquez une recherche aléatoire avec 4 itérations (nombre de combinaisons d'hyperparamètres à évaluer) et utilisez accuracy comme métrique d'évaluation.

Solution

Tout était clair ?

Comment pouvons-nous l'améliorer ?

Merci pour vos commentaires !

Section 3. Chapitre 3
single

single

Demandez à l'IA

expand

Demandez à l'IA

ChatGPT

Posez n'importe quelle question ou essayez l'une des questions suggérées pour commencer notre discussion

Suggested prompts:

Can you explain the difference between RandomizedSearchCV and GridSearchCV in more detail?

How do I choose the right number for n_iter in RandomizedSearchCV?

What types of problems is RandomizedSearchCV best suited for?

close

Awesome!

Completion rate improved to 4

bookDéfi : Réglage Automatique des Hyperparamètres

Glissez pour afficher le menu

Plutôt que de sélectionner manuellement des valeurs spécifiques pour les hyperparamètres de notre modèle, la recherche aléatoire (RandomizedSearchCV) propose une méthode plus efficace pour trouver une configuration optimale. Contrairement à la recherche par grille (GridSearchCV), qui évalue systématiquement toutes les combinaisons possibles d'hyperparamètres, la recherche aléatoire sélectionne un sous-ensemble aléatoire de ces combinaisons. Cette approche réduit considérablement le coût computationnel tout en offrant de bons résultats.

Pour les réseaux de neurones, où le nombre de combinaisons d'hyperparamètres possibles peut être immense, tester de manière exhaustive chaque option est souvent impraticable. La recherche aléatoire contourne ce problème en échantillonnant aléatoirement un nombre défini d'ensembles d'hyperparamètres, équilibrant ainsi exploration et efficacité.

RandomizedSearchCV(
    estimator=model, 
    param_distributions=randomized_parameters, 
    n_iter=number_of_models_to_test,  # Number of random combinations to evaluate
    scoring='accuracy',  # Evaluation metric
    random_state=42,  # Ensures reproducibility
)
  • estimator : modèle à optimiser (par exemple, MLPClassifier) ;
  • param_distributions : dictionnaire dont les clés sont les noms des hyperparamètres et les valeurs sont des listes à échantillonner ;
  • n_iter : nombre de combinaisons aléatoires à tester. Une valeur plus élevée augmente les chances de trouver une combinaison optimale mais nécessite plus de calcul ;
  • scoring : définit la métrique d'évaluation (par exemple, 'accuracy' pour la classification).
Tâche

Swipe to start coding

  1. Dans param_distributions, générez des valeurs pour deux couches cachées, où chaque couche possède le même nombre de neurones, allant de 20 à 30 (inclus) avec un pas de 2.
  2. Dans param_distributions, définissez les valeurs du taux d'apprentissage à 0.02, 0.01 et 0.005.
  3. Dans param_distributions, générez 10 valeurs aléatoires pour le nombre d'époques d'entraînement, en vous assurant qu'elles se situent dans l'intervalle 10 à 50 (exclus).
  4. Appliquez une recherche aléatoire avec 4 itérations (nombre de combinaisons d'hyperparamètres à évaluer) et utilisez accuracy comme métrique d'évaluation.

Solution

Switch to desktopPassez à un bureau pour une pratique réelleContinuez d'où vous êtes en utilisant l'une des options ci-dessous
Tout était clair ?

Comment pouvons-nous l'améliorer ?

Merci pour vos commentaires !

Section 3. Chapitre 3
single

single

some-alt