O problema do multi-armed bandit (MAB) é um desafio amplamente conhecido em aprendizado por reforço, tomada de decisão e teoria das probabilidades. Envolve um agente que escolhe repetidamente entre múltiplas ações, cada uma oferecendo uma recompensa proveniente de uma distribuição de probabilidade fixa. O objetivo é maximizar o retorno ao longo de um número fixo de passos de tempo.

Origem do Problema

O termo "multi-armed bandit" origina-se da analogia com uma máquina caça-níqueis, frequentemente chamada de "one-armed bandit" devido à sua alavanca. Neste cenário, imagine várias máquinas caça-níqueis, ou uma máquina com múltiplas alavancas (braços), e cada braço está associado a uma distribuição de probabilidade distinta para as recompensas. O objetivo é maximizar o retorno em um número limitado de tentativas, escolhendo cuidadosamente qual alavanca acionar.

O Desafio

O problema MAB representa o desafio de equilibrar exploração e exploração:

• Exploração: testar diferentes alavancas para coletar informações sobre seus retornos;
• Exploração: puxar a alavanca que atualmente parece melhor para maximizar as recompensas imediatas.

Uma abordagem ingênua — jogar repetidamente com uma única alavanca — pode levar a retornos subótimos se existir uma alavanca melhor que permaneça inexplorada. Por outro lado, exploração excessiva pode desperdiçar recursos em opções de baixo retorno.

Aplicações no Mundo Real

Embora tenha sido originalmente formulado no contexto de jogos de azar, o problema MAB aparece em diversas áreas:

• Publicidade online: seleção do melhor anúncio para exibir com base no engajamento do usuário;
• Ensaios clínicos: teste de múltiplos tratamentos para identificar o mais eficaz;
• Sistemas de recomendação: entrega do conteúdo mais relevante para os usuários.