Moniaseinen bandiitti (MAB) -ongelma on tunnettu haaste vahvistusoppimisessa, päätöksenteossa ja todennäköisyysteoriassa. Siinä agentti valitsee toistuvasti useiden toimintojen välillä, joista jokainen tarjoaa palkkion jostakin kiinteästä todennäköisyysjakaumasta. Tavoitteena on maksimoida tuotto ennalta määrätyn aikajakson aikana.

Ongelman alkuperä

Termi "moniaseinen bandiitti" juontaa juurensa analogiasta peliautomaattiin, jota kutsutaan usein "yksiaseiseksi bandiitiksi" sen vivun vuoksi. Tässä tilanteessa kuvitellaan, että käytössä on useita peliautomaatteja tai peliautomaatti, jossa on useita vipuja (aseita), ja jokainen vipu liittyy erilliseen todennäköisyysjakaumaan palkkioiden suhteen. Tavoitteena on maksimoida tuotto rajallisen yritysmäärän aikana valitsemalla huolellisesti, mitä vipua vetää.

Haaste

MAB-ongelma kuvaa tasapainottelun haastetta etsinnän ja hyödyntämisen välillä:

• Etsintä: eri vipujen kokeileminen tietojen keräämiseksi niiden tuotoista;
• Hyödyntäminen: sen vivun vetäminen, joka tällä hetkellä vaikuttaa parhaalta välittömien palkkioiden maksimoimiseksi.

Naivi lähestymistapa — yhden vivun toistuva pelaaminen — voi johtaa epäoptimaalisiin tuottoihin, jos parempi vipu jää tutkimatta. Toisaalta, liiallinen etsintä voi tuhlata resursseja matalan tuoton vaihtoehtoihin.

Reaali­elämän sovellukset

Vaikka alun perin kehitetty uhkapelaamiseen, MAB-ongelma esiintyy monilla aloilla:

• Verkkomainonta: parhaan mainoksen valitseminen käyttäjän sitoutumisen perusteella;
• Kliiniset tutkimukset: useiden hoitojen testaaminen tehokkaimman löytämiseksi;
• Suositusjärjestelmät: käyttäjille merkityksellisimmän sisällön tarjoaminen.