Quando o Mundo se Recusa a Ficar Parado: dos Restless Bandits à Inteligência Adaptativa
Inteligência Adaptativa, Parte 4
10 min de leitura
Resumo
A inteligência artificial geralmente é treinada com dados do passado e implantada para atuar no futuro. Isso funciona apenas enquanto o futuro permanece suficientemente semelhante ao mundo representado nos dados de treinamento. Ambientes reais, porém, não ficam parados. Pacientes pioram ou melhoram, máquinas envelhecem, mercados mudam de regime, usuários alteram suas preferências e o conhecimento científico avança.
Este artigo final da série Inteligência Adaptativa examina o que acontece quando as próprias alternativas continuam mudando enquanto as decisões são tomadas. Partimos do concept drift para chegar ao Restless Multi-Armed Bandit, da elegância exata do Índice de Gittins à aproximação prática do Índice de Whittle e, finalmente, a uma concepção mais ampla de inteligência adaptativa. Também propomos um possível papel para os grandes modelos de linguagem como sensores semânticos, capazes de identificar evidências contextuais de que não apenas os dados, mas o próprio mundo mudou.
Ideia central: inteligência em um mundo em mudança exige mais do que tomar boas decisões com o conhecimento disponível. Exige reconhecer quando esse conhecimento começou a expirar.
Palavras-chave
Inteligência Adaptativa, Inteligência Artificial, Restless Multi-Armed Bandit, Índice de Whittle, Índice de Gittins, Concept Drift, Não Estacionariedade, Aprendizado por Reforço, Aprendizado Contínuo, Grandes Modelos de Linguagem, Tomada de Decisão sob Incerteza
A Série
Este artigo encerra a série Inteligência Adaptativa.
Inteligência Adaptativa, Parte 1 — Por Que Toda Decisão Inteligente Começa Antes da Certeza
Leia a Parte 1 no AI‑Talks.org
Inteligência Adaptativa, Parte 2 — Multi-Armed Bandit Clássico: Aprender Sob Incerteza
Leia a Parte 2 no AI‑Talks.org
Inteligência Adaptativa, Parte 3 — O Índice de Gittins: Um dos Algoritmos Mais Elegantes Já Criados
Leia a Parte 3 no AI‑Talks.org
Introdução: A Última Suposição
O Índice de Gittins oferece uma regra extraordinariamente elegante: sob as hipóteses clássicas do problema, basta escolher a alternativa com o maior índice. Entretanto, essa elegância depende de uma condição bastante peculiar: uma alternativa que não é selecionada permanece, essencialmente, congelada.
Se uma máquina é ignorada, ela não se deteriora. Se um experimento é adiado, a oportunidade não desaparece. Se um paciente não é tratado, sua condição espera até que voltemos a considerá-lo. Esse mundo matemático é extremamente útil porque permite analisar cada alternativa de maneira relativamente independente, mas ele se parece pouco com grande parte do mundo real.
Máquinas envelhecem enquanto inspecionamos outras máquinas. Pacientes mudam enquanto médicos tratam outras pessoas. Mercados continuam se movendo enquanto analistas estudam dados anteriores. Usuários alteram suas preferências enquanto sistemas de recomendação lhes mostram conteúdos, produtos ou informações.
A pergunta deixa, portanto, de ser simplesmente:
Qual alternativa devo escolher?
e passa a ser:
Qual alternativa merece atenção agora, sabendo que todas as outras podem continuar mudando enquanto concentro minha atenção em outra coisa?
Essa mudança aparentemente pequena transforma profundamente o problema. Ela nos leva dos modelos estáticos ao concept drift, dos bandits clássicos aos restless bandits, de Gittins a Whittle e, finalmente, a uma concepção mais exigente de inteligência artificial.
A tese central deste artigo é simples: a inteligência em um mundo em mudança não pode ser definida apenas pela capacidade de otimizar. Ela também precisa incluir a capacidade de perceber que o problema que estava sendo otimizado mudou.
Quando o Mundo se Recusa a Ficar Parado
O aprendizado de máquina exige algum grau de regularidade. Um modelo consegue aprender com observações passadas porque pressupõe que pelo menos parte das relações identificadas durante o treinamento continuará sendo útil no futuro. Essa hipótese está ligada à ideia de estacionariedade: não é necessário que tudo permaneça perfeitamente constante, mas o mundo encontrado depois da implantação precisa conservar suficiente semelhança com aquele que produziu os dados de treinamento.
O problema começa quando essa aproximação necessária é confundida com uma propriedade permanente da realidade. Sistemas reais possuem história: máquinas se desgastam, populações mudam, patógenos evoluem, regulamentos são alterados e tecnologias se tornam obsoletas. Até mesmo as preferências humanas respondem à cultura, aos incentivos, à experiência, à concorrência e às próprias recomendações produzidas por algoritmos.
Um modelo pode, portanto, continuar executando exatamente aquilo que aprendeu e, ainda assim, tornar-se progressivamente menos útil. Em aprendizado de máquina, uma parte importante desse fenômeno é conhecida como concept drift: a relação entre aquilo que o modelo observa e aquilo que pretende prever pode mudar com o tempo.
Considere uma IA hospitalar treinada para estimar a probabilidade de a condição de um paciente piorar significativamente nas próximas 24 horas. Durante algum tempo, o sistema funciona muito bem. Depois, porém, o hospital introduz um novo protocolo de tratamento, um novo patógeno começa a circular, a população média de pacientes se torna mais idosa, um laboratório substitui um ensaio por outro e determinados medicamentos passam a ser administrados mais cedo.
Nada disso necessariamente faz a IA parar de funcionar. O software continua executando, o modelo continua produzindo escores de risco e a interface continua operando normalmente. O problema é mais sutil: a relação entre as medições e os resultados clínicos pode ter mudado.
O modelo pode, assim, permanecer computacionalmente correto e tornar-se clinicamente errado.
Esse é um dos perigos mais importantes da inteligência estática. A falha nem sempre se manifesta como um colapso do sistema ou uma mensagem de erro; pode assumir a forma muito mais perigosa de respostas aparentemente confiantes produzidas depois que as hipóteses que lhes davam validade expiraram silenciosamente.
Um sistema adaptativo precisa, portanto, fazer uma pergunta adicional:
Aquilo que aprendi ainda descreve o mundo no qual estou prestes a agir?
O Restless Multi-Armed Bandit
O Multi-Armed Bandit clássico representa um problema fundamental de decisão: diante de várias alternativas incertas, devemos utilizar aquilo que atualmente parece melhor ou explorar algo menos conhecido que pode se revelar superior?
O Restless Multi-Armed Bandit acrescenta uma complicação crucial: as alternativas continuam mudando mesmo quando não estamos prestando atenção a elas.
Voltemos ao hospital. Suponha que vinte pacientes precisem de acompanhamento, mas apenas cinco sistemas avançados de monitoramento estejam disponíveis. O hospital precisa decidir quais cinco pacientes receberão atenção intensiva durante a próxima hora, sabendo que os outros quinze não permanecerão congelados enquanto esperam. Alguns podem melhorar, outros permanecer estáveis e outros piorar; um paciente aparentemente seguro neste momento pode tornar-se o caso mais urgente antes da próxima decisão.
A mesma estrutura aparece em muitos outros contextos. Máquinas continuam se degradando enquanto equipes de manutenção trabalham em outros equipamentos; oportunidades financeiras desaparecem enquanto a atenção está concentrada em outros ativos; canais de comunicação mudam, usuários perdem o interesse e oportunidades científicas podem desaparecer porque outro laboratório publica primeiro.
A diferença fundamental pode ser resumida em uma frase:
Em um rested bandit, esperar adia uma oportunidade. Em um restless bandit, esperar pode modificar a própria oportunidade.
Cada alternativa possui um estado atual e alguma tendência de evolução, e seu futuro pode depender de agirmos ou esperarmos. Um paciente submetido a tratamento intensivo pode estabilizar, enquanto o mesmo paciente sem intervenção pode piorar. Uma máquina que recebe manutenção pode permanecer confiável, enquanto essa mesma máquina pode continuar se degradando caso a manutenção seja adiada.
Em outras palavras, não fazer nada não significa que nada acontece.
É a escassez que transforma essa dinâmica em um problema de decisão. Se todos os pacientes, máquinas, experimentos ou oportunidades pudessem receber atenção ilimitada, praticamente não haveria necessidade de escolher. Sistemas inteligentes, porém, operam com recursos limitados: tempo, computação, dinheiro, energia, pessoal e atenção.
Escolher uma alternativa significa necessariamente adiar outra, e a alternativa adiada continua mudando. À medida que o número de opções aumenta, crescem também as combinações possíveis de estados, ações e futuros, tornando rapidamente impraticável calcular a sequência globalmente perfeita de decisões.
É justamente nesse ponto que a estrutura extraordinariamente elegante do Índice de Gittins deixa de ser suficiente.
De Gittins a Whittle
O Índice de Gittins funciona tão bem porque uma alternativa não escolhida efetivamente espera. Quando as alternativas ignoradas continuam evoluindo, essa separação desaparece: escolher o Paciente A agora já não é apenas uma decisão sobre o Paciente A, porque, durante o mesmo intervalo, os Pacientes B, C, D e todos os demais também continuam mudando.
O valor de escolher uma opção passa, portanto, a depender das consequências de não escolher as outras.
Peter Whittle abordou esse problema por meio de uma ideia engenhosa. Em vez de tentar resolver todo o sistema acoplado de uma única vez, podemos imaginar cada alternativa separadamente e perguntar quanto seria necessário nos oferecer para aceitarmos deixá-la esperando.
Suponha que exista uma compensação hipotética por deixar determinada opção passiva. Para uma alternativa pouco urgente, uma pequena compensação pode tornar a espera aceitável. Para uma alternativa cuja situação pode piorar rapidamente, seria necessária uma compensação muito maior. O ponto em que agir e esperar se tornam igualmente atraentes fornece a intuição por trás do Índice de Whittle.
Um índice elevado indica, portanto, que adiar aquela alternativa possui um custo elevado. Sob determinadas condições, conhecidas como indexabilidade, podemos ordenar as opções segundo esses índices e direcionar os recursos escassos para aquelas que possuem maior prioridade.
Ao contrário do resultado clássico de Gittins, essa estratégia não fornece uma solução universalmente exata. Seu valor está justamente na praticidade: ela transforma um problema global extremamente complexo em vários problemas locais muito menores e potencialmente tratáveis.
Considere três pacientes disputando um único sistema especializado de monitoramento. O Paciente A está estável; o Paciente B apresenta um quadro mais grave, mas costuma evoluir lentamente; e o Paciente C parece apenas moderadamente doente, porém sabemos que sua condição pode piorar muito rapidamente quando a deterioração começa.
Uma classificação puramente estática talvez escolha B porque ele parece pior naquele instante. Uma política restless pode priorizar C porque o custo de esperar é maior para C. Uma hora depois, C pode ter se estabilizado enquanto B piorou, e o equipamento passa então a ser destinado a B.
A prioridade muda porque os pacientes mudam. Daí emerge uma das ideias mais importantes de todo o artigo:
prioridade é uma propriedade de um estado em determinado momento, e não uma propriedade permanente de uma opção.
Dos Restless Bandits à IA Adaptativa
A perspectiva dos restless bandits se estende muito além dos hospitais. Um sistema de recomendação precisa decidir o que merece ocupar o espaço limitado de uma tela enquanto as preferências do usuário continuam mudando. Um sistema financeiro distribui atenção e capital enquanto o mercado muda de regime. Um veículo autônomo aloca recursos computacionais entre pedestres, outros veículos, condições da pista e possíveis riscos que continuam se movimentando enquanto o sistema analisa outras partes do ambiente.
Apesar das diferenças, todos compartilham a mesma estrutura: a atenção é escassa, e a realidade não observada não congela.
O aprendizado por reforço acrescenta outra dimensão a esse problema ao reconhecer que as próprias ações de um agente podem alterar os estados futuros. O sistema inteligente não está apenas observando um mundo que muda; em muitos casos, ele participa ativamente da mudança desse mundo.
O aprendizado contínuo adiciona outra exigência: o sistema precisa continuar aprendendo depois da implantação sem destruir aquilo que já aprendeu. Surge então o conhecido dilema estabilidade–plasticidade. Estabilidade excessiva produz rigidez e impede a incorporação de novas condições; plasticidade excessiva pode levar o sistema a abandonar conhecimentos que continuam úteis sempre que novas informações aparecem.
O problema mais profundo deixa, portanto, de ser apenas como aprender e passa a envolver três decisões relacionadas: o que deve ser preservado, o que precisa ser revisado e o que deve ser esquecido.
Maior poder computacional ou maior capacidade de representação não resolvem automaticamente esse problema. Uma rede neural gigantesca ainda pode estar extraordinariamente bem adaptada ao mundo de ontem. Um sistema pode possuir uma enorme quantidade de conhecimento e mesmo assim falhar porque não consegue perceber que parte desse conhecimento perdeu validade.
A inteligência adaptativa exige, nesse sentido, algo semelhante à metacognição: o sistema não deve apenas manter um modelo do mundo, mas também monitorar continuamente se esse modelo ainda merece confiança.
Grandes Modelos de Linguagem como Sensores Semânticos
Existe, entretanto, outra dificuldade importante: nem toda mudança relevante aparece primeiro na forma de um número.
Voltemos mais uma vez ao hospital. O sistema de monitoramento recebe frequência cardíaca, saturação de oxigênio, pressão arterial, resultados laboratoriais e informações sobre medicamentos. Esses dados possuem uma estrutura bem definida e podem ser processados diretamente por modelos estatísticos.
Agora imagine que uma enfermeira escreva:
“Paciente parece incomumente confuso esta manhã, apesar de sinais vitais estáveis.”
Um médico observa que vários casos semelhantes pioraram de forma incomumente rápida. Um boletim da farmácia informa que um medicamento padrão precisará ser temporariamente substituído, enquanto um novo artigo científico sugere que o patógeno em circulação responde de maneira diferente ao tratamento presente nos dados históricos do hospital.
Nenhuma dessas informações é uma medição convencional de sensor, mas todas podem indicar que algo importante está mudando. É nesse ponto que surge um possível papel adicional para os grandes modelos de linguagem.
LLMs normalmente são apresentados como sistemas capazes de responder perguntas, resumir documentos, traduzir textos, escrever código e produzir linguagem. Dentro de uma arquitetura adaptativa mais ampla, porém, eles também podem funcionar como sensores semânticos.
Um sensor convencional mede uma grandeza previamente definida. Um modelo de linguagem pode analisar relatórios, notas clínicas, regulamentos, artigos científicos, mensagens e outras fontes não estruturadas para identificar afirmações sobre mudanças, contradições, riscos emergentes, relações temporais e possíveis explicações causais.
Considere, por exemplo, um sistema responsável por uma cadeia de suprimentos. Seus indicadores numéricos mostram níveis de estoque, prazos de entrega, custos de transporte e capacidade portuária, e nenhuma variável ultrapassou ainda um limiar de alarme. Ao mesmo tempo, porém, fornecedores começam a mencionar atrasos incomuns, jornais locais relatam conflitos trabalhistas e comunicados governamentais sugerem possíveis restrições de exportação.
Nenhum desses textos, isoladamente, demonstra que ocorreu uma mudança de regime. Em conjunto, entretanto, eles podem fornecer um sinal antecipado importante. Um LLM poderia extrair essas evidências, identificar sua convergência e convertê-las em uma hipótese estruturada que outro componente do sistema pudesse testar.
Essa distinção é essencial: o modelo de linguagem não deve substituir a inferência estatística; ele deve ampliar aquilo que o sistema é capaz de observar.
Uma futura arquitetura adaptativa poderia, portanto, combinar sensoriamento numérico, interpretação semântica, estimação de estado, detecção de mudanças, revisão do modelo e tomada de decisão dentro de um mesmo ciclo:
observar → interpretar → estimar → detectar mudança → revisar → repriorizar → agir → observar novamente
Nesse tipo de sistema, o LLM não substituiria o Índice de Whittle. Sua função seria ajudar a determinar qual estado e qual versão do mundo o cálculo de Whittle deveria representar.
Naturalmente, esse papel exige cautela. Modelos de linguagem podem alucinar, avaliar incorretamente a confiabilidade das fontes, confundir correlação com causalidade ou expressar confiança excessiva. O sensoriamento semântico precisa, portanto, ser acompanhado por proveniência, verificação, calibração, representação de incerteza e confronto com evidências independentes.
A proposta não é entregar toda a decisão ao modelo de linguagem, mas usar a linguagem como uma fonte adicional de evidência sobre partes do mundo que sensores numéricos convencionais não conseguem observar diretamente.
O Futuro da Inteligência Adaptativa
O aprendizado de máquina tradicional costuma ser descrito como uma sequência relativamente linear: coletar dados, treinar um modelo, avaliá-lo e implantá-lo. Nesse paradigma, a implantação parece o ponto de chegada. Para a inteligência adaptativa, porém, é justamente nesse momento que começa o problema mais difícil.
Depois de implantado, o modelo entra em um ambiente que continua evoluindo. Parte do conhecimento adquirido permanece útil, outra parte perde relevância gradualmente e algumas relações podem tornar-se perigosamente enganosas. Novas evidências aparecem, novas restrições surgem e correlações que pareciam estáveis podem desaparecer.
Um sistema verdadeiramente adaptativo precisa, portanto, ser avaliado não apenas por sua precisão em determinado instante, mas por seu desempenho ao longo do tempo. Deve ser capaz de reconhecer mudanças significativas, distinguir transformações estruturais de flutuações passageiras, adaptar-se sem destruir conhecimentos que continuam válidos e reconsiderar suas prioridades antes que o custo da espera se torne excessivo.
A otimização clássica pergunta:
Dado este modelo e estes objetivos, qual é a melhor ação?
A inteligência adaptativa precisa fazer uma pergunta logicamente anterior:
Este ainda é o modelo correto? Estes ainda são os objetivos corretos?
Um sistema pode resolver o problema errado com precisão extraordinária. Nesse caso, sua eficiência não o torna mais inteligente; apenas o torna mais eficiente em produzir uma resposta para uma realidade que deixou de existir.
Conclusão: A Chave de Ouro
Esta série começou perguntando como decisões inteligentes podem ser tomadas antes que a certeza esteja disponível. A Parte 2 transformou essa questão no dilema entre exploração e explotação, e a Parte 3 mostrou que, sob condições especiais, o valor futuro da exploração poderia ser condensado na elegante lógica do Índice de Gittins.
A Parte 4 remove a última conveniência: as alternativas não esperam. Pacientes mudam, máquinas se deterioram, mercados trocam de regime, usuários modificam suas preferências e oportunidades científicas podem desaparecer enquanto nossa atenção está voltada para outra coisa.
Quando esperar passa a ter consequências, inteligência deixa de significar apenas escolher a melhor opção disponível. Ela passa a envolver a alocação contínua de atenção escassa entre futuros que estão se desenrolando simultaneamente.
O Índice de Gittins pergunta qual oportunidade merece atenção quando as demais esperam. O Índice de Whittle pergunta qual merece atenção quando as demais continuam mudando. O aprendizado por reforço pergunta como nossas ações remodelam o futuro; o aprendizado contínuo, como o agente pode continuar aprendendo ao longo dessas mudanças; e o sensoriamento semântico, como um sistema pode perceber que até mesmo o significado das evidências ao seu redor pode ter se alterado.
Essas diferentes linhas convergem para uma mesma conclusão:
o futuro não é apenas incerto. Ele está se movendo enquanto decidimos.
O sistema inteligente mais capaz não será aquele que finalmente descobrir um modelo perfeito e definitivo do mundo, porque nenhum modelo permanece definitivo em um ambiente que continua mudando. Será aquele capaz de reconhecer quando seu modelo começa a perder validade, realocar atenção antes que o custo do atraso se torne alto demais, preservar aquilo que continua útil, abandonar o que deixou de se aplicar e continuar aprendendo sem perder a capacidade de agir.
O futuro, portanto, não pertencerá simplesmente aos sistemas que sabem mais. Pertencerá aos sistemas que sabem quando seu conhecimento expirou.
Essa é a chave de ouro que conecta todos os artigos desta série.
E isso é inteligência adaptativa.
Referências
Inteligência Adaptativa, Parte 1 — Por Que Toda Decisão Inteligente Começa Antes da Certeza
Leia a Parte 1 no AI‑Talks.org
Inteligência Adaptativa, Parte 2 — Multi-Armed Bandit Clássico: Aprender Sob Incerteza
Leia a Parte 2 no AI‑Talks.org
Inteligência Adaptativa, Parte 3 — O Índice de Gittins: Um dos Algoritmos Mais Elegantes Já Criados
Leia a Parte 3 no AI‑Talks.org
Gama, João, Indrė Žliobaitė, Albert Bifet, Mykola Pechenizkiy, and Abdelhamid Bouchachia. 2014. “A Survey on Concept Drift Adaptation.” ACM Computing Surveys 46 (4).
Gittins, John C. 1979. “Bandit Processes and Dynamic Allocation Indices.” Journal of the Royal Statistical Society: Series B 41 (2): 148–177.
Gittins, John C., and David M. Jones. 1974. “A Dynamic Allocation Index for the Sequential Design of Experiments.” In Progress in Statistics, edited by J. Gani. Amsterdam: North-Holland.
Khetarpal, Khimya, Matthew Riemer, Irina Rish, and Doina Precup. 2022. “Towards Continual Reinforcement Learning: A Review and Perspectives.” Journal of Artificial Intelligence Research.
Lesort, Timothée, Vincenzo Lomonaco, Andrei Stoian, Davide Maltoni, David Filliat, and Natalia Díaz-Rodríguez. 2020. “Continual Learning for Robotics: Definition, Framework, Learning Strategies, Opportunities and Challenges.” Information Fusion 58: 52–68.
Papadimitriou, Christos H., and John N. Tsitsiklis. 1999. “The Complexity of Optimal Queueing Network Control.” Mathematics of Operations Research 24 (2): 293–305.
Weber, Richard R., and Gideon Weiss. 1990. “On an Index Policy for Restless Bandits.” Journal of Applied Probability 27 (3): 637–648.
Whittle, Peter. 1988. “Restless Bandits: Activity Allocation in a Changing World.” Journal of Applied Probability 25A: 287–298.
Maurício Veloso Brant Pinheiro, PhD
Professor of Physics, Federal University of Minas Gerais (UFMG)
Founder, Author and Editor, AI-Talks.org
About Us
Editorial transparency note: This article, as with all articles published on this site, was conceived, directed, written, and reviewed by Prof. Maurício Veloso Brant Pinheiro. Artificial intelligence was used as an assistant for editorial refinement, formatting, image generation, SEO metadata, and publication workflow.
Copyright 2026 AI-Talks.org
