Restless Bandits

Este segundo artigo da série Inteligência Adaptativa examina o problema clássico do Multi-Armed Bandit, o modelo matemático mais simples de aprendizado por meio de ação repetida, feedback e incerteza. Partindo da discussão anterior sobre a Regra dos 37% e o dilema exploração–aproveitamento, o artigo explica como um agente precisa escolher entre opções incertas, estimar seu valor e equilibrar recompensa imediata com a necessidade de obter informação. O texto apresenta a analogia do cassino, a estrutura matemática básica dos bandits, recompensa esperada, arrependimento e estratégias iniciais como exploração aleatória, exploração gulosa, epsilon-greedy, inicialização otimista, Upper Confidence Bound e Thompson Sampling. O argumento central é que sistemas inteligentes não apenas usam dados — eles criam dados por meio da ação, pagando o preço do aprendizado antes de tomar decisões melhores.