Le problème du bandit manchot à plusieurs bras (MAB) est un défi bien connu en apprentissage par renforcement, en prise de décision et en théorie des probabilités. Il consiste pour un agent à choisir de manière répétée entre plusieurs actions, chacune offrant une récompense issue d'une distribution de probabilité fixe. L'objectif est de maximiser le gain sur un nombre fixe de pas de temps.

Origine du problème

Le terme « bandit manchot à plusieurs bras » provient de l'analogie avec une machine à sous, souvent appelée « bandit manchot » en raison de son levier. Dans ce scénario, imaginez plusieurs machines à sous, ou une machine à sous possédant plusieurs leviers (bras), chaque bras étant associé à une distribution de probabilité distincte pour les récompenses. L'objectif est de maximiser le gain sur un nombre limité de tentatives en choisissant soigneusement quel levier actionner.

Le défi

Le problème du bandit manchot illustre la difficulté de trouver un équilibre entre exploration et exploitation :

• Exploration : tester différents leviers afin de recueillir des informations sur leurs gains ;
• Exploitation : actionner le levier qui semble actuellement le meilleur pour maximiser les récompenses immédiates.

Une approche naïve — jouer toujours le même levier — peut conduire à des résultats sous-optimaux si un meilleur levier existe mais n'est pas exploré. À l'inverse, une exploration excessive peut gaspiller des ressources sur des options peu rentables.

Applications réelles

Bien qu'à l'origine formulé dans le contexte des jeux de hasard, le problème du bandit manchot apparaît dans de nombreux domaines :

• Publicité en ligne : sélection de la meilleure annonce à afficher en fonction de l'engagement des utilisateurs ;
• Essais cliniques : test de plusieurs traitements pour identifier le plus efficace ;
• Systèmes de recommandation : présentation du contenu le plus pertinent aux utilisateurs.