Le problème du bandit manchot à plusieurs bras (MAB) est un défi bien connu en apprentissage par renforcement, en prise de décision et en théorie des probabilités. Il consiste pour un agent à choisir de façon répétée entre plusieurs actions, chacune offrant une récompense issue d'une distribution de probabilité fixe. L'objectif est de maximiser le gain sur un nombre fixe de pas de temps.

Origine du problème

Le terme « bandit manchot à plusieurs bras » provient de l'analogie avec une machine à sous, souvent appelée « bandit manchot » en raison de son levier. Dans ce contexte, imaginez plusieurs machines à sous, ou une machine à sous possédant plusieurs leviers (bras), chaque bras étant associé à une distribution de probabilité distincte pour les récompenses. L'objectif est de maximiser le gain sur un nombre limité de tentatives en choisissant soigneusement quel levier actionner.

Le défi

Le problème MAB illustre la difficulté de trouver un équilibre entre exploration et exploitation :

• Exploration : essayer différents leviers pour recueillir des informations sur leurs gains ;
• Exploitation : actionner le levier qui semble actuellement le meilleur afin de maximiser les récompenses immédiates.

Une approche naïve — jouer toujours le même levier — peut conduire à des résultats sous-optimaux si un meilleur levier existe mais n'est pas exploré. À l'inverse, une exploration excessive peut gaspiller des ressources sur des options à faible rendement.

Applications réelles

Bien qu'à l'origine formulé dans le contexte des jeux de hasard, le problème du bandit manchot apparaît dans de nombreux domaines :

• Publicité en ligne : sélection de la meilleure annonce à afficher selon l'engagement des utilisateurs ;
• Essais cliniques : test de plusieurs traitements pour identifier le plus efficace ;
• Systèmes de recommandation : présentation du contenu le plus pertinent aux utilisateurs.