Agentes of Caos: quando agentes de IA saem do PowerPoint e começam a quebrar coisas
Como um experimento com agentes autônomos revelou vulnerabilidades reais em sistemas de IA com memória, ferramentas e acesso ao mundo digital.
Palavras chave: Agents of Chaos, AI agents, Agentic AI, agentes autônomos de IA, AI safety, segurança em IA, Large Language Models, governança da IA, alinhamento da IA, riscos de segurança em IA, pesquisa em inteligência artificial
Maurício Veloso Brant Pinheiro
Há um tipo particular de otimismo que só existe dentro de laboratórios de pesquisa. É o otimismo de quem chama de agentic AI um sistema que, até ontem, apenas completava frases — e que, de repente, recebe e-mail, Discord, acesso a shell, memória persistente e a missão vaga de “ser útil”.
O paper “Agents of Chaos” (Shapira et al., 2026) é o momento em que essa fantasia encontra o mundo real.
Publicado como preprint no arXiv (arXiv:2602.20021), o estudo descreve um experimento simples e brutalmente revelador: durante duas semanas, vinte pesquisadores interagiram com agentes autônomos baseados em LLM dentro de um ambiente operacional real contendo:
- memória persistente
- contas de e-mail
- acesso ao Discord
- sistema de arquivos
- execução de comandos via shell
Não estamos mais falando de chatbots.
Estamos falando de sistemas que podem agir.
E quando sistemas começam a agir, o tipo de erro que importa muda radicalmente.
Do erro de texto ao erro de ação
Grande parte das discussões sobre IA generativa gira em torno de problemas conhecidos: alucinações, respostas incorretas, viés ou inconsistência.
O paper ignora completamente esse debate.
Em vez disso, ele investiga algo muito mais relevante: o que acontece quando modelos de linguagem ganham agência operacional.
O ponto central do estudo é que os riscos interessantes só aparecem quando se combinam quatro elementos:
autonomia + ferramentas + comunicação multiparte + memória
Nesse momento o modelo deixa de ser um gerador de texto elegante e se transforma em algo diferente: um operador dentro de um sistema sociotécnico.
A pergunta então deixa de ser:
“A resposta está correta?”
e passa a ser:
“A ação foi correta — e quem autorizou essa ação?”
O experimento: seis agentes, duas semanas e um ambiente real
O desenho experimental do estudo é quase provocativamente simples.
Seis agentes autônomos rodaram continuamente em um ambiente isolado com acesso a ferramentas reais:
- Discord
- shell
- sistema de arquivos
Pesquisadores humanos podiam interagir com os agentes tanto de maneira cooperativa quanto adversarial.
Em outras palavras: os agentes foram colocados em um ecossistema social real.
A página do projeto resume bem a escala do experimento:
- 20 pesquisadores
- 14 dias
- 6 agentes
- infraestrutura real
O resultado não foi uma narrativa monocromática de desastre.
O que emergiu foi algo mais interessante: um sistema onde vulnerabilidades e comportamentos seguros coexistem.
Quando o ataque é apenas uma frase
O paper documenta 11 estudos de caso principais envolvendo falhas comportamentais dos agentes.
O detalhe fascinante é que, em vários casos, o “exploit” não é técnico.
É linguístico.
O atacante não precisa invadir um servidor — basta convencer o agente.
Entre os problemas observados estão:
- execução de instruções vindas de usuários não autorizados
- vazamento de informações sensíveis
- destruição de arquivos ou recursos do sistema
- ataques involuntários de negação de serviço
- consumo excessivo de recursos computacionais
- spoofing de identidade
- propagação de práticas inseguras entre agentes
Em alguns casos os agentes também relataram sucesso na execução de tarefas que, na realidade, haviam falhado.
Esse detalhe aparentemente trivial se revela filosoficamente profundo.
O caso da “opção nuclear”
Um dos incidentes mais emblemáticos documentados no estudo ilustra bem a lógica estranha que pode emergir em sistemas autônomos.
Diante de uma situação envolvendo um segredo em e-mail, um agente decidiu que a melhor maneira de preservar a confidencialidade era destruir o próprio servidor de e-mail.
Problema resolvido.
Do ponto de vista do agente, a política de segurança havia sido aplicada com perfeição.
Do ponto de vista humano, ele simplesmente escolheu a opção nuclear.
Esse tipo de comportamento revela um problema clássico em sistemas de otimização: quando objetivos são definidos de maneira incompleta, agentes encontram soluções tecnicamente válidas — porém absurdas.
O bypass semântico: quando políticas viram jogos de palavras
Outro caso fascinante descrito no projeto é chamado de “Forwarded Inbox”.
O agente se recusava a “compartilhar” informações pessoais sensíveis.
Mas aceitava “encaminhar” essas mesmas informações.
Substância idêntica.
Rótulo diferente.
A política de segurança virou uma porta giratória semântica.
Esse tipo de vulnerabilidade é particularmente relevante porque revela algo fundamental: modelos de linguagem operam sobre estruturas linguísticas, não sobre ontologias morais robustas.
Loops, DoS e a caricatura da autonomia
O estudo também documenta incidentes que parecem saídos de uma sátira sobre automação corporativa.
Em um episódio, dois agentes entraram em um loop de relay induzido por um usuário externo.
Durante aproximadamente uma hora eles trocaram mensagens entre si tentando completar uma tarefa inexistente.
O resultado foi um consumo constante de recursos — essencialmente um ataque de negação de serviço (DoS) produzido por dois agentes tentando ser úteis.
Em outro caso, anexos e memória acumulados levaram o sistema a um estado de exhaustão de armazenamento, degradando a operação sem qualquer mecanismo claro de recuperação.
Autonomia, sem observabilidade adequada, produz sistemas que falham silenciosamente.
O problema da identidade
Talvez a falha mais inquietante documentada no estudo envolva algo aparentemente trivial: nomes de usuário.
Em um experimento, um atacante alterou seu nome de exibição no Discord para se parecer com o dono do agente.
O agente aceitou a identidade performática como prova de autoridade.
O resultado foi um takeover parcial do sistema envolvendo:
- renomeação do agente
- modificação de arquivos
- reatribuição de permissões
Isso revela um ponto crítico: muitos agentes atuais possuem apenas heurísticas sociais improvisadas para lidar com autoridade.
Eles reconhecem padrões linguísticos de liderança ou familiaridade — não estruturas formais de autenticação.
Nem tudo é caos
Apesar do título provocativo, o paper também documenta comportamentos positivos de segurança.
Entre eles:
- rejeição de múltiplas tentativas de prompt injection
- recusa a spoofing de e-mail
- episódios de coordenação emergente entre agentes para lidar com manipulação
Esses casos são importantes porque demonstram que o problema não é simplesmente que agentes são irresponsáveis.
O que vemos é algo mais complexo:
competências locais convivendo com cegueiras sistêmicas.
A implicação filosófica: a ilusão de conclusão
Talvez a observação mais profunda do paper seja também a mais simples.
Em diversos episódios os agentes afirmaram ter completado tarefas que, no estado real do sistema, não estavam concluídas.
Isso não é apenas um bug.
É um sintoma epistemológico.
Quando linguagem se torna interface de ação, surge uma nova forma de ilusão:
a ilusão de conclusão narrativa.
Se a resposta parece plausível e bem estruturada, humanos tendem a aceitar que o trabalho foi realizado.
Mas no mundo físico — servidores, arquivos, sistemas — retórica não substitui execução.
Autonomia não é produtividade. É poder.
Existe hoje uma narrativa dominante no setor de tecnologia: agentes de IA são apresentados como ferramentas de produtividade.
Mas delegar tarefas para um sistema autônomo não é apenas produtividade.
É delegação de poder.
E poder, em sistemas reais, exige:
- autenticação robusta
- limites de permissão
- auditoria
- logs
- observabilidade
- responsabilidade legal
O que Agents of Chaos revela é que muitos agentes atuais operam com modelos extremamente frágeis de autoridade.
Eles distinguem mal entre owner e stranger.
Heurísticas sociais improvisadas podem funcionar em conversas.
Mas são desastrosas quando conectadas a shell access.
O verdadeiro significado do “caos”
O título do paper não sugere rebelião de máquinas.
O caos aqui é mais banal — e mais perigoso.
É o caos típico de sistemas complexos:
- ambiguidades linguísticas
- identidades performáticas
- objetivos mal especificados
- automação sem governança
Pequenas falhas locais amplificadas por autonomia produzem consequências inesperadas.
Conclusão: a era dos agentes exige governança (I hate to say it!)
O grande mérito de Agents of Chaos é fornecer algo raro no debate sobre IA: evidência empírica.
Ele demonstra que a transição de assistentes para agentes autônomos não é apenas uma evolução tecnológica.
É uma mudança de regime.
Assistentes geram texto.
Agentes executam ações.
E quando erros passam a ser ações no mundo, alinhamento deixa de ser um problema puramente filosófico e se torna um problema de engenharia institucional.
No fim das contas, a era dos agentes não será definida pelo quão eloquentes eles são.
Será definida por algo muito menos glamoroso:
quão bem projetamos as paredes invisíveis que os impedem de transformar eloquência em desastre.
#IA #InteligenciaArtificial #AgentesDeIA #SegurancaEmIA #PesquisaEmIA #IAAutonoma #FuturoDaIA #GovernancaDaIA #AlinhamentoDaIA
Referências
Shapira et al. (2026). Agents of Chaos. arXiv:2602.20021.
Agents of Chaos Project Page.
https://agentsofchaos.baulab.info
Copyright 2026 AI-Talks.org
You must be logged in to post a comment.