Contenu du cours

Introduction à l'Apprentissage par Renforcement

1. Théorie Fondamentale de l'Apprentissage par Renforcement

Qu'est-ce que l'AR ?RL Par Rapport Aux Autres Paradigmes D'apprentissage Processus de Décision de Markov Épisodes et Retours Modèle, Politique et Valeurs Exploration Contre Exploitation Principes de Base de Gymnasium Défi : Configuration d’un Environnement

2. Problème du Bandit Manchot

Introduction au Problème Valeurs d'Action Algorithme Epsilon-Greedy Algorithme de Borne Supérieure de Confiance Algorithme des Bandits à Gradient Défi : Bandits Manchots

3. Programmation Dynamique

Qu'est-ce que la Programmation Dynamique ?Équations de Bellman Conditions d'Optimalité Évaluation de la Politique Amélioration de la Politique Itération de Politique Généralisée Itération de Politique Itération de la Valeur Défi : Programmation Dynamique

4. Méthodes de Monte Carlo

Quelles Sont les Méthodes de Monte Carlo ?Estimation de la Fonction de Valeur Contrôle Monte Carlo Approches d'Exploration Contrôle Monte Carlo Sur Politique Contrôle Monte Carlo Hors Politique Implémentations Incrémentales Défi : Méthodes de Monte Carlo

5. Apprentissage par Différence Temporelle

Qu'est-ce que l'apprentissage par différence temporelle ?TD(0) : Estimation de la Fonction de Valeur SARSA : Apprentissage TD Sur Politique Q-Learning : Apprentissage TD Hors Politique Généralisation de l’Apprentissage TD Défi : Apprentissage par Différence Temporelle

Quelles Sont les Méthodes de Monte Carlo ?

Définition

Les méthodes de Monte Carlo (MC) sont une catégorie d'algorithmes informatiques qui reposent sur l'échantillonnage aléatoire pour estimer des résultats numériques.

Les méthodes de Monte Carlo sont utilisées lorsque les solutions déterministes sont difficiles ou impossibles à obtenir. Elles remplacent les calculs exacts par des approximations qui s'améliorent avec le nombre d'échantillons aléatoires.

Fonctionnement

Les méthodes de Monte Carlo peuvent varier selon la tâche, mais elles suivent toutes un schéma unique :

Définir un domaine d’entrées possibles ;
Générer des entrées aléatoires à partir d’une distribution de probabilité ;
Évaluer une fonction sur ces entrées ;
Agréger les résultats pour produire une estimation.

Exemples

Bien que le schéma décrit ci-dessus puisse sembler complexe, ces exemples devraient aider à clarifier l’idée sous-jacente.

Calcul d'intégrale

Le calcul des intégrales est une tâche complexe qui nécessite généralement l'application de nombreuses techniques pour obtenir le résultat correct.

Essayons d'appliquer la méthode de Monte Carlo pour résoudre cette intégrale :

\int_0^1 \int_0^1 \frac{1}{1 + (x + y)^2} \, dx \, dy

Domaine d'entrée : cette intégrale double possède deux variables, $x \in [0, 1]$ et $y \in [0, 1]$ ;
Génération : ces deux variables sont indépendantes l'une de l'autre et uniformément réparties ;
Évaluation : pour obtenir une valeur ponctuelle, on utilise la fonction sous le signe intégral ;
Agrégation : la valeur de cette intégrale peut être définie comme un volume sous la courbe. Le volume peut être calculé comme le produit de l'aire de la base et de la hauteur moyenne. L'aire de la base est 1 (carré unité) et la hauteur moyenne correspond à la moyenne des résultats obtenus à l'étape précédente.


              12345678910111213141516
            
import numpy as np

result = 0
# Many samples are required for estimates to be precise
for i in range(100000):
  # Generation of random variables
  x, y = np.random.uniform(), np.random.uniform()
  # Computation of point value
  value = 1 / (1 + (x + y) ** 2)
  # Mean aggregation
  result += (value - result) / (i + 1)

# Closed-form solution of this integral
true_result = 2*np.arctan(2) - np.pi/2 - (1/2)*np.log(5) + np.log(2)
print(f"Approximated result: {result}")
print(f"True result: {true_result}")

Approximation de $\Large\pi$

L'approximation de $\pi$ est l'une des utilisations les plus emblématiques de la méthode de Monte Carlo. Elle illustre comment l'échantillonnage aléatoire permet de résoudre un problème géométrique sans recourir à un calcul complexe.

Considérer un carré unité avec un quart de cercle inscrit :

Le carré s'étend sur $[0, 1] \times [0, 1]$ ;
Le quart de cercle a un rayon de 1 et est centré à l'origine.

L'aire du quart de cercle est $\displaystyle\frac{\pi r^2}{4}$ ou $\displaystyle\frac{\pi}{4}$ , et l'aire du carré est 1. Échantillonnons maintenant des points aléatoires à l'intérieur du carré. Avec une taille d'échantillon suffisamment grande :

\frac{\text{Points inside the quarter circle}}{\text{Total points}} \approx \frac\pi4

Ainsi, la valeur de $\pi$ peut être calculée comme suit :

\pi \approx 4 \cdot \frac{\text{Points inside}}{\text{Total points}}


              1234567891011121314151617181920212223242526272829
            
import numpy as np
import matplotlib.pyplot as plt

# Lists for coordinates
inside = []
outside = []

# Many samples are required for estimates to be precise
for _ in range(100000):
  # Generation of random variables
  x, y = np.random.uniform(), np.random.uniform()
  # Splitting points inside and outside of the circle
  if x**2 + y**2 <= 1:
    inside.append((x, y))
  else:
    outside.append((x, y))

# Plotting points
plt.figure(figsize=(6,6))
plt.scatter(*zip(*inside), color="blue", s=1, label="Inside")
plt.scatter(*zip(*outside), color="red", s=1, label="Outside")
plt.legend()
plt.xlabel("x")
plt.ylabel("y")
plt.show()

estimate = 4 * len(inside) / (len(inside) + len(outside))
print(f"Estimated value of pi: {estimate}")
print(f"True value of pi: {np.pi}")

Bandits à plusieurs bras

Dans le contexte des bandits à plusieurs bras, un objectif clé est d'estimer la valeur d'action pour chaque bras — c'est-à-dire la récompense attendue lors du choix d'une action particulière. Une stratégie courante consiste à estimer ces valeurs en moyennant les récompenses observées obtenues en tirant chaque bras au fil du temps. Cette technique constitue en réalité une méthode de Monte Carlo.

Méthodes de Monte Carlo pour les MDP

Contrairement aux méthodes de la programmation dynamique, qui reposent sur un modèle complet et précis des dynamiques de l'environnement, les méthodes de Monte Carlo apprennent uniquement à partir de l'expérience — c'est-à-dire à partir de séquences réelles ou simulées d'états, d'actions et de récompenses.

Cela rend les approches Monte Carlo particulièrement puissantes : elles ne nécessitent aucune connaissance préalable du fonctionnement de l'environnement. À la place, elles extraient les estimations de valeur directement à partir des événements survenus lors de l'interaction. Dans de nombreux scénarios réels, où modéliser l'environnement est impraticable ou impossible, cette capacité à apprendre à partir de l'expérience brute constitue un avantage majeur.

Lorsque l'interaction directe avec l'environnement est coûteuse, risquée ou lente, les méthodes de Monte Carlo peuvent également apprendre à partir d'une expérience simulée, à condition qu'une simulation fiable existe. Cela permet l'exploration et l'apprentissage dans un cadre contrôlé et reproductible — bien que cela suppose l'accès à un modèle capable de générer des transitions plausibles.

Tout était clair ?

Merci pour vos commentaires !

Section 4. Chapitre 1

Demandez à l'IA

Posez n'importe quelle question ou essayez l'une des questions suggérées pour commencer notre discussion

Contenu du cours

Introduction à l'Apprentissage par Renforcement

1. Théorie Fondamentale de l'Apprentissage par Renforcement

2. Problème du Bandit Manchot

Introduction au Problème Valeurs d'Action Algorithme Epsilon-Greedy Algorithme de Borne Supérieure de Confiance Algorithme des Bandits à Gradient Défi : Bandits Manchots

3. Programmation Dynamique

4. Méthodes de Monte Carlo

5. Apprentissage par Différence Temporelle

Quelles Sont les Méthodes de Monte Carlo ?

Définition

Les méthodes de Monte Carlo (MC) sont une catégorie d'algorithmes informatiques qui reposent sur l'échantillonnage aléatoire pour estimer des résultats numériques.

Fonctionnement

Les méthodes de Monte Carlo peuvent varier selon la tâche, mais elles suivent toutes un schéma unique :

Définir un domaine d’entrées possibles ;
Générer des entrées aléatoires à partir d’une distribution de probabilité ;
Évaluer une fonction sur ces entrées ;
Agréger les résultats pour produire une estimation.

Exemples

Bien que le schéma décrit ci-dessus puisse sembler complexe, ces exemples devraient aider à clarifier l’idée sous-jacente.

Calcul d'intégrale

Le calcul des intégrales est une tâche complexe qui nécessite généralement l'application de nombreuses techniques pour obtenir le résultat correct.

Essayons d'appliquer la méthode de Monte Carlo pour résoudre cette intégrale :

\int_0^1 \int_0^1 \frac{1}{1 + (x + y)^2} \, dx \, dy

Domaine d'entrée : cette intégrale double possède deux variables, $x \in [0, 1]$ et $y \in [0, 1]$ ;
Génération : ces deux variables sont indépendantes l'une de l'autre et uniformément réparties ;
Évaluation : pour obtenir une valeur ponctuelle, on utilise la fonction sous le signe intégral ;
Agrégation : la valeur de cette intégrale peut être définie comme un volume sous la courbe. Le volume peut être calculé comme le produit de l'aire de la base et de la hauteur moyenne. L'aire de la base est 1 (carré unité) et la hauteur moyenne correspond à la moyenne des résultats obtenus à l'étape précédente.


              12345678910111213141516
            
import numpy as np

result = 0
# Many samples are required for estimates to be precise
for i in range(100000):
  # Generation of random variables
  x, y = np.random.uniform(), np.random.uniform()
  # Computation of point value
  value = 1 / (1 + (x + y) ** 2)
  # Mean aggregation
  result += (value - result) / (i + 1)

# Closed-form solution of this integral
true_result = 2*np.arctan(2) - np.pi/2 - (1/2)*np.log(5) + np.log(2)
print(f"Approximated result: {result}")
print(f"True result: {true_result}")

Approximation de $\Large\pi$

Considérer un carré unité avec un quart de cercle inscrit :

Le carré s'étend sur $[0, 1] \times [0, 1]$ ;
Le quart de cercle a un rayon de 1 et est centré à l'origine.

\frac{\text{Points inside the quarter circle}}{\text{Total points}} \approx \frac\pi4

Ainsi, la valeur de $\pi$ peut être calculée comme suit :

\pi \approx 4 \cdot \frac{\text{Points inside}}{\text{Total points}}


              1234567891011121314151617181920212223242526272829
            
import numpy as np
import matplotlib.pyplot as plt

# Lists for coordinates
inside = []
outside = []

# Many samples are required for estimates to be precise
for _ in range(100000):
  # Generation of random variables
  x, y = np.random.uniform(), np.random.uniform()
  # Splitting points inside and outside of the circle
  if x**2 + y**2 <= 1:
    inside.append((x, y))
  else:
    outside.append((x, y))

# Plotting points
plt.figure(figsize=(6,6))
plt.scatter(*zip(*inside), color="blue", s=1, label="Inside")
plt.scatter(*zip(*outside), color="red", s=1, label="Outside")
plt.legend()
plt.xlabel("x")
plt.ylabel("y")
plt.show()

estimate = 4 * len(inside) / (len(inside) + len(outside))
print(f"Estimated value of pi: {estimate}")
print(f"True value of pi: {np.pi}")

Bandits à plusieurs bras

Méthodes de Monte Carlo pour les MDP

Tout était clair ?

Merci pour vos commentaires !

Section 4. Chapitre 1

Introduction à l'Apprentissage par Renforcement

Quelles Sont les Méthodes de Monte Carlo ?

Fonctionnement

Exemples

Calcul d'intégrale

Approximation de π\Large\piπ

Bandits à plusieurs bras

Méthodes de Monte Carlo pour les MDP

Introduction à l'Apprentissage par Renforcement

Quelles Sont les Méthodes de Monte Carlo ?

Fonctionnement

Exemples

Calcul d'intégrale

Approximation de π\Large\piπ

Bandits à plusieurs bras

Méthodes de Monte Carlo pour les MDP

Approximation de $\Large\pi$

Approximation de $\Large\pi$