Het multi-armed bandit (MAB) probleem is een bekend vraagstuk binnen reinforcement learning, besluitvorming en waarschijnlijkheidstheorie. Hierbij kiest een agent herhaaldelijk tussen meerdere acties, waarbij elke actie een beloning oplevert uit een vaste kansverdeling. Het doel is om de opbrengst te maximaliseren over een vast aantal tijdsintervallen.

Oorsprong van het probleem

De term "multi-armed bandit" vindt zijn oorsprong in de analogie met een gokautomaat, vaak een "one-armed bandit" genoemd vanwege zijn hendel. Stel je in dit scenario voor dat er meerdere gokautomaten zijn, of een gokautomaat met meerdere hendels (armen), waarbij elke arm is gekoppeld aan een unieke kansverdeling voor beloningen. Het doel is om de opbrengst te maximaliseren binnen een beperkt aantal pogingen door zorgvuldig te kiezen aan welke hendel wordt getrokken.

De Uitdaging

Het MAB-probleem omvat de uitdaging van het balanceren tussen exploratie en exploitatie:

• Exploratie: verschillende armen proberen om informatie te verzamelen over hun uitbetalingen;
• Exploitatie: de arm kiezen die op dit moment het beste lijkt om directe beloningen te maximaliseren.

Een naïeve benadering — herhaaldelijk dezelfde arm spelen — kan leiden tot suboptimale opbrengsten als er een betere arm bestaat die niet wordt onderzocht. Omgekeerd kan overmatige exploratie middelen verspillen aan opties met lage opbrengst.

Toepassingen in de praktijk

Hoewel oorspronkelijk afkomstig uit het gokken, komt het MAB-probleem voor in veel verschillende vakgebieden:

• Online adverteren: het kiezen van de beste advertentie om weer te geven op basis van gebruikersbetrokkenheid;
• Klinische proeven: het testen van meerdere behandelingen om de meest effectieve te vinden;
• Aanbevelingssystemen: het aanbieden van de meest relevante inhoud aan gebruikers.