Upper Confidence Bound

  • | | | | | |

    O Problema Multi-Armed Bandit Clássico

    ByMaurício V. Brant Pinheiro

    Este segundo artigo da série Inteligência Adaptativa examina o problema clássico do Multi-Armed Bandit, o modelo matemático mais simples de aprendizado por meio de ação repetida, feedback e incerteza. Partindo da discussão anterior sobre a Regra dos 37% e o dilema exploração–aproveitamento, o artigo explica como um agente precisa escolher entre opções incertas, estimar seu valor e equilibrar recompensa imediata com a necessidade de obter informação. O texto apresenta a analogia do cassino, a estrutura matemática básica dos bandits, recompensa esperada, arrependimento e estratégias iniciais como exploração aleatória, exploração gulosa, epsilon-greedy, inicialização otimista, Upper Confidence Bound e Thompson Sampling. O argumento central é que sistemas inteligentes não apenas usam dados — eles criam dados por meio da ação, pagando o preço do aprendizado antes de tomar decisões melhores.

  • | | | | | |

    The Classical Multi-Armed Bandit Problem

    ByMaurício V. Brant Pinheiro

    This second article in the Adaptive Intelligence series examines the classical Multi-Armed Bandit problem, the simplest mathematical model of learning through repeated action, feedback, and uncertainty. Building on the previous discussion of the 37% Rule and the exploration–exploitation dilemma, the article explains how an agent must choose among uncertain options, estimate their value, and balance immediate reward against the need for information. It introduces the casino analogy, the basic mathematical structure of bandits, expected reward, regret, and early strategies such as random exploration, greedy exploitation, epsilon-greedy, optimistic initialization, Upper Confidence Bound, and Thompson Sampling. The central argument is that intelligent systems do not merely use data — they create data through action, paying the price of learning before they can make better decisions.