“Thus the first ultraintelligent machine is the last invention that man need ever make, provided that the machine is docile enough to tell us how to keep it under control.” Irving John Good

“Machine intelligence is the last invention that humanity will ever need to make.” Nick Bostrom

Maurício Pinheiro

Resumo

O autoaperfeiçoamento recursivo descreve o ciclo de retroalimentação emergente no qual sistemas de inteligência artificial ajudam a projetar, construir, testar e otimizar sistemas de IA melhores. Antes restrito em grande parte à especulação sobre explosão de inteligência e sobre a “última invenção humana”, o conceito agora começa a se tornar visível em domínios práticos, como agentes de programação, pipelines de pesquisa automatizada, descoberta algorítmica, otimização de prompts e desenvolvimento de infraestrutura assistido por IA. Este artigo explica como o autoaperfeiçoamento recursivo funciona, por que a avaliação é seu principal gargalo e como exemplos recentes — incluindo o Claude Code dentro da Anthropic, a Darwin Gödel Machine, o AlphaEvolve da Google DeepMind, o The AI Scientist e agentes de prompt autoevolutivos — revelam os primeiros estágios da participação da IA em seu próprio desenvolvimento. O artigo argumenta que o autoaperfeiçoamento recursivo plenamente autônomo ainda não chegou, mas que ciclos recursivos parciais já estão se formando ao longo da pilha de pesquisa e engenharia em IA. Esses ciclos podem acelerar descobertas, reduzir o custo da experimentação e transformar a produção científica e de software, ao mesmo tempo em que levantam riscos sérios relacionados à supervisão, overfitting de benchmarks, manipulação de recompensas, ruído científico, segurança, concentração de poder e deriva de alinhamento. A questão central já não é simplesmente se a IA pode melhorar a si mesma, mas quais objetivos, salvaguardas e instituições irão governar a inteligência que escolhemos amplificar.

Sumário

1. O ciclo de retroalimentação que pode definir a próxima era tecnológica
2. O que significa autoaperfeiçoamento recursivo
3. Por que a ideia é antiga — e por que, de repente, parece nova
4. O motor prático: gerar, testar, selecionar, repetir
5. Exemplos de autoaperfeiçoamento recursivo na prática
   • Claude escrevendo o próprio código da Anthropic
   • A Darwin Gödel Machine
   • AlphaEvolve e a automação da descoberta algorítmica
   • The AI Scientist e a pesquisa automatizada em IA
   • Prompts e agentes autoaperfeiçoáveis
6. Uma taxonomia do autoaperfeiçoamento recursivo
7. Por que a avaliação é o gargalo
8. A diferença entre RSI estreito e RSI completo
9. Por que isso pode acelerar o progresso da IA
10. Por que isso também pode se tornar perigoso
11. O problema da governança
12. A virada filosófica: a inteligência se torna um processo industrial
13. O futuro próximo: não uma explosão, mas muitos ciclos
14. Conclusão: o ciclo começou, mas ainda não se fechou
15. Referências

1. O ciclo de retroalimentação que pode definir a próxima era tecnológica

Há um momento na história de toda tecnologia poderosa em que ela deixa de ser apenas uma ferramenta e passa a fazer parte do motor que cria a próxima geração de ferramentas.

Os computadores fizeram isso com os chips. Computadores melhores ajudaram a projetar chips melhores; chips melhores tornaram possíveis computadores ainda melhores. A internet fez isso com o software. Redes melhores permitiram uma distribuição mais eficiente de software; softwares melhores remodelaram a própria rede.

A inteligência artificial talvez esteja agora entrando no mesmo tipo de ciclo de retroalimentação.

Durante décadas, o autoaperfeiçoamento recursivo soou como ficção científica: um sistema de IA ajuda a projetar um sistema de IA melhor, que então ajuda a projetar outro ainda mais avançado, produzindo um ciclo de capacidade crescente. A ideia era frequentemente associada à hipótese da “explosão de inteligência” — a possibilidade de que, quando máquinas se tornassem boas o suficiente para melhorar a si mesmas, o progresso pudesse acelerar para além dos ciclos usuais de planejamento humano.[1]

Mas a versão mais importante do autoaperfeiçoamento recursivo hoje não é uma cena dramática de singularidade. Ela é mais silenciosa, mais industrial e mais empírica.

Ela se parece com agentes de programação melhorando pipelines de desenvolvimento.

Ela se parece com sistemas de IA descobrindo algoritmos melhores.

Ela se parece com agentes de pesquisa automatizados propondo experimentos, escrevendo código, gerando artigos e avaliando resultados.

Ela se parece com laboratórios na fronteira da IA usando IA para construir a infraestrutura da própria IA de fronteira.

Em outras palavras, o autoaperfeiçoamento recursivo não está começando como magia, mas como engenharia.

Durante a maior parte da história da IA, isso permaneceu especulativo. Redes neurais podiam aprender a partir de dados, mas não reescreviam seus próprios pipelines de treinamento, não projetavam agentes melhores, não depuravam grandes bases de código, não conduziam experimentos nem exploravam o espaço de projeto algorítmico com muita autonomia.

Isso está mudando.

A nova geração de sistemas de IA não apenas responde perguntas. Ela escreve código, projeta experimentos, pesquisa literatura, gera dados sintéticos, avalia soluções candidatas, modifica prompts, constrói agentes, revisa resultados e, cada vez mais, ajuda a construir a infraestrutura usada para treinar e implantar futuros sistemas de IA.

Isso ainda não é autoaperfeiçoamento recursivo plenamente autônomo. Os sistemas atuais ainda dependem de pesquisadores humanos, GPUs, conjuntos de dados, benchmarks de avaliação, pipelines de implantação, capital, energia e tomada de decisão organizacional. Mas as primeiras partes do ciclo já estão visíveis.

A IA está começando a automatizar partes da própria pesquisa em IA.

E isso importa.

---

2. O que significa autoaperfeiçoamento recursivo

Autoaperfeiçoamento recursivo, ou RSI (do inglês Recursive self-improvement), é o processo pelo qual um sistema inteligente melhora sua própria capacidade de melhorar.

Um ciclo simples de aperfeiçoamento funciona assim:

• Um sistema de IA executa uma tarefa.
• Ele avalia o resultado.
• Ele identifica fraquezas.
• Ele modifica seu comportamento, suas ferramentas, seu código, seus prompts, seus dados de treinamento, sua arquitetura ou seu fluxo de trabalho.
• A versão aprimorada apresenta melhor desempenho no ciclo seguinte.

A parte recursiva começa quando a melhoria também torna a próxima rodada de melhoria mais fácil, mais rápida, mais ampla ou mais eficaz.

Um assistente de programação que ajuda um programador humano a escrever software não é, por si só, autoaperfeiçoamento recursivo.

Mas um agente de programação que modifica sua própria base de código, melhora suas próprias ferramentas de depuração, adiciona etapas melhores de avaliação e depois usa essas melhorias para realizar modificações ainda melhores está muito mais próximo do padrão RSI.

A estrutura informal é:

IA → melhor processo de construção de IA → melhor IA → processo ainda melhor de construção de IA.

Podemos expressar a mesma ideia de forma mais formal.

Seja Aₜ o vetor de capacidades de um sistema de IA na iteração t. Esse vetor pode incluir capacidade de programação, capacidade de raciocínio, uso de ferramentas, habilidade de pesquisa, capacidade de planejamento, desempenho em benchmarks, comportamento seguro e competência em infraestrutura.

Seja Mₜ o processo de metaotimização na iteração t: o conjunto de ferramentas, procedimentos de treinamento, pipelines de dados, métodos de avaliação, estratégias de prompt, arquiteturas de agentes e fluxos de pesquisa usados para produzir ou melhorar o próximo sistema de IA.

Seja E o ambiente de avaliação: testes, benchmarks, revisão humana, filtros de segurança, restrições de implantação e feedback do mundo real.

Uma etapa básica de melhoria de IA pode ser escrita como:

$A_{t+1}=M_t(A_t;E)$

Em linguagem simples: o próximo sistema de IA é produzido aplicando-se o processo atual de melhoria ao sistema de IA atual, sob determinado ambiente de avaliação.

Mas o verdadeiro autoaperfeiçoamento recursivo começa quando o sistema de IA também altera o próprio metaotimizador:

$M_{t+1}=A_t(M_t;E)$

Essa segunda equação é a decisiva.

Ela diz que o sistema não está apenas sendo melhorado por um processo externo fixo. Ele começa a modificar o processo pelo qual melhorias futuras são produzidas.

Essa é a diferença entre desenvolvimento comum de IA e desenvolvimento recursivo de IA.

No aperfeiçoamento comum, humanos usam ferramentas para melhorar o modelo.

No aperfeiçoamento recursivo, o modelo começa a melhorar as ferramentas, os fluxos de trabalho, os avaliadores, as bases de código e os processos experimentais que melhoram modelos futuros.

O ciclo pode operar em vários níveis:

• Nível de prompt: o sistema melhora as instruções que orientam seu comportamento.
• Nível de agente: ele redesenha fluxos de trabalho, ferramentas, memória, planejamento ou delegação.
• Nível de código: ele edita sua própria infraestrutura de software.
• Nível de dados: ele gera, filtra ou melhora dados de treinamento.
• Nível de avaliação: ele cria testes e benchmarks mais robustos.
• Nível de pesquisa: ele propõe hipóteses, executa experimentos e escreve artigos.
• Nível algorítmico: ele descobre algoritmos mais rápidos ou mais eficientes.
• Nível de modelo: ele ajuda a projetar, treinar, ajustar, alinhar ou avaliar futuros modelos fundacionais.

A IA moderna não é igualmente avançada em todos esses níveis.

Ela é mais forte onde o sucesso pode ser testado automaticamente: programação, matemática, busca, tarefas com benchmarks, síntese de programas, otimização de prompts e experimentos computacionais.

Ela é mais fraca onde julgamento, novidade, verdade, consequências de longo prazo e causalidade no mundo real são mais difíceis de avaliar.

Essa distinção é crucial. O autoaperfeiçoamento recursivo não exige magia. Ele exige um ciclo com geração, avaliação, seleção e memória.

Na biologia, a evolução usa mutação, seleção e herança.

No aprendizado de máquina, o RSI usa proposta, teste, pontuação e iteração.

Na IA industrial, ele usa cada vez mais agentes, benchmarks, repositórios, dados sintéticos, pipelines de avaliação e revisão humana.

A questão central não é se o ciclo existe.

A questão central é o que esse ciclo está otimizando.

---

3. Por que a ideia é antiga — e por que, de repente, parece nova

As raízes intelectuais do autoaperfeiçoamento recursivo remontam pelo menos à ideia de “explosão de inteligência” proposta por Irving John Good em 1965. Good argumentou que uma máquina ultrainteligente poderia projetar máquinas melhores, fazendo da primeira máquina desse tipo a “última invenção” da humanidade, no sentido de que as invenções seguintes seriam cada vez mais geradas por máquinas.[1]

Mais tarde, a ideia apareceu em discussões sobre seed AI, superinteligência e Máquinas de Gödel. A Máquina de Gödel teórica de Jürgen Schmidhuber imaginava um sistema capaz de reescrever qualquer parte de seu próprio código depois de provar que a reescrita melhoraria sua utilidade esperada.[2]

Era uma ideia elegante, mas impraticável.

Sistemas reais de software raramente vêm acompanhados de provas matemáticas de que uma mudança irá melhorar toda a trajetória futura de um agente. A maioria das melhorias úteis é empírica, não formalmente demonstrável.

A nova onda é diferente.

Ela não espera por uma prova perfeita.

Ela usa o mesmo mecanismo bagunçado, mas poderoso, que impulsiona grande parte da IA moderna: buscar entre muitos candidatos, avaliá-los, manter o que funciona e repetir.

Isso torna o autoaperfeiçoamento recursivo atual menos parecido com a máquina perfeita de um filósofo e mais parecido com um laboratório de pesquisa automatizado.

• Um modelo propõe variações.
• Ferramentas as executam.
• Benchmarks atribuem pontuações.
• Um banco de dados armazena as melhores versões.
• Outro modelo analisa as falhas.
• O sistema tenta novamente.
• O resultado não é onisciência.

É tentativa e erro automatizados em velocidade de máquina.

É por isso que a transição da Máquina de Gödel para a Darwin Gödel Machine é tão conceitualmente importante.

A Máquina de Gödel original exigia automodificação comprovadamente benéfica.

A Darwin Gödel Machine faz uma pergunta de engenharia mais prática: um sistema pode descobrir empiricamente mudanças em seu próprio código e fluxo de trabalho que o tornem melhor em tarefas futuras?

Essa mudança — da prova para o experimento, da otimalidade para a busca, da autorreferência filosófica para a engenharia mensurável — é o que faz o autoaperfeiçoamento recursivo parecer subitamente real.

---

4. O motor prático: gerar, testar, selecionar, repetir

A maioria dos sistemas semelhantes ao RSI segue uma arquitetura comum.

Primeiro, um modelo fundacional gera melhorias candidatas. Elas podem ser novos patches de código, novos prompts, novos fluxos de agentes, novos experimentos ou novos algoritmos.

Segundo, o sistema executa o candidato em um ambiente controlado. Na programação, isso pode significar executar testes unitários ou tentar resolver problemas reais do GitHub. Na pesquisa científica, pode significar lançar experimentos computacionais. Na otimização de prompts, pode significar testar saídas contra um benchmark.

Terceiro, um avaliador pontua o desempenho. Esse avaliador pode ser uma suíte formal de testes, um benchmark, um modelo de recompensa, outro LLM atuando como crítico, um revisor humano ou uma combinação desses elementos.

Quarto, o sistema armazena as variantes bem-sucedidas e as usa como degraus para buscas futuras.

É por isso que o código se tornou o laboratório natural do autoaperfeiçoamento recursivo.

Código pode ser executado.

Bugs podem ser detectados.

Testes podem passar ou falhar.

Benchmarks podem medir se uma mudança tornou o sistema melhor.

Quanto mais verificável é o domínio, mais poderoso se torna o ciclo.

É por isso que os primeiros sinais de RSI estão aparecendo primeiro em engenharia de software, descoberta algorítmica, pesquisa automatizada em aprendizado de máquina, otimização de prompts e projeto de agentes.

O motor prático não é místico.

Ele é:

Gerar → Testar → Selecionar → Arquivar → Repetir.

O limiar recursivo aparece quando o sistema deixa de apenas gerar soluções para tarefas e passa também a gerar maneiras melhores de gerar, testar, selecionar e arquivar soluções futuras.

---

5. Exemplos de autoaperfeiçoamento recursivo na prática

Exemplo 1: Claude escrevendo o próprio código da Anthropic

Um dos sinais recentes mais claros de que o autoaperfeiçoamento recursivo está passando da teoria para a prática vem da própria Anthropic.

Em junho de 2026, a Anthropic relatou que, em maio de 2026, mais de 80% do código incorporado à sua própria base de código havia sido escrito por Claude. Antes de o Claude Code entrar em prévia de pesquisa, em fevereiro de 2025, a empresa afirmou que esse número ainda estava na casa dos baixos dígitos. Em outras palavras, em aproximadamente quinze meses, Claude passou de um assistente de programação marginal dentro da Anthropic para o autor dominante do novo código incorporado internamente.[3]

Isso não significa que Claude esteja “escrevendo a si mesmo” no sentido pleno da ficção científica.

Ele não define de forma independente a agenda de pesquisa da Anthropic, não treina seu próprio sucessor, não controla decisões de implantação nem governa a instituição ao seu redor. Engenheiros humanos ainda especificam objetivos, revisam saídas, aprovam mudanças, mantêm a infraestrutura e decidem o que será incorporado.

Mas a mudança ainda é historicamente importante.

Um laboratório de IA de fronteira está agora usando um sistema de IA de fronteira para escrever grande parte do software que ajuda a operar, melhorar e escalar esse mesmo laboratório de IA de fronteira. A ferramenta está se tornando parte da fábrica que constrói a próxima ferramenta.

Os próprios dados da Anthropic sugerem que isso não é apenas uma mudança cosmética no fluxo de trabalho. A empresa relatou que o engenheiro típico estava incorporando cerca de oito vezes mais código por dia no segundo trimestre de 2026 do que em 2024. A própria Anthropic advertiu que linhas de código são uma métrica imperfeita: oito vezes mais código não significa oito vezes mais produtividade real. Parte do código pode ser boilerplate. Parte pode exigir revisão mais pesada. Parte pode ter qualidade inferior ou ser removida depois. Ainda assim, mesmo com essa ressalva, o sinal é difícil de ignorar: a engenharia assistida por IA dentro dos laboratórios de fronteira está acelerando.[3]

O Claude Code também já não é apenas um chatbot que sugere trechos de código. A Anthropic descreve Claude cada vez mais como parte de um fluxo de programação agentivo: um sistema que pode operar em repositórios, raciocinar sobre problemas de engenharia pouco especificados, executar tarefas e trabalhar em horizontes temporais mais longos do que assistentes de programação anteriores.[3]

Isso importa porque o autoaperfeiçoamento recursivo não começa quando uma IA redesenha magicamente seus próprios pesos neurais.

Ele começa quando a IA se torna profundamente incorporada à maquinaria ordinária da produção de software: repositórios, testes, revisões, rastreadores de problemas, pipelines de implantação e ferramentas de desenvolvimento.

Quanto mais profundamente a IA entra nessa maquinaria, mais a fronteira se desloca.

No início, a IA ajuda a escrever código.

Depois, ela ajuda a escrever o código dos sistemas de treinamento de IA, dos sistemas de avaliação, dos pipelines de dados, dos frameworks de agentes, das ferramentas de interpretabilidade, da infraestrutura de segurança e das plataformas de implantação.

Eventualmente, a pergunta crucial deixa de ser apenas:

“Este modelo consegue resolver o chamado?”

Ela se torna:

“Este modelo consegue ajudar a decidir qual problema técnico vale a pena resolver em seguida?”

A própria formulação da Anthropic aponta para essa progressão. Engenheiros juniores executam tarefas bem especificadas. Engenheiros mais experientes recebem objetivos mais amplos e escolhem a abordagem. Pesquisadores seniores e líderes técnicos decidem quais problemas importam. O movimento de Claude ao longo dessa escada — de corrigir bugs, para lidar com tarefas maiores de engenharia, para ajudar em fluxos de pesquisa mais abertos — é o verdadeiro sinal recursivo.

Isso não é autoaperfeiçoamento recursivo plenamente autônomo.

É melhor descrevê-lo como industrialização recursiva parcial: sistemas de IA começam a participar do processo industrial que produz sistemas de IA mais fortes.

Essa distinção importa.

O ciclo atual ainda depende de humanos, orçamentos de computação, benchmarks, revisões de segurança, incentivos institucionais, capital, energia e governança. Os números também são dados internos da própria Anthropic, não medições independentes. Devem ser lidos como um sinal importante, não como prova de que uma superinteligência autoaperfeiçoável chegou.

Mas também não são triviais.

Se laboratórios de fronteira dependem cada vez mais de IA para construir seu código, avaliar seus modelos, acelerar sua pesquisa e manter sua infraestrutura, então o desenvolvimento de IA se torna um sistema de retroalimentação.

Modelos melhores produzem ferramentas melhores.

Ferramentas melhores aceleram a pesquisa.

Pesquisa mais rápida produz modelos melhores.

Esse é o início do ciclo.

Ainda não fechado.

Mas já não imaginário.

Exemplo 2: A Darwin Gödel Machine

A Darwin Gödel Machine, introduzida por pesquisadores associados à Sakana AI e colaboradores, é um dos exemplos técnicos mais claros de autoaperfeiçoamento recursivo na prática.[4]

A ideia é inspirada na Máquina de Gödel teórica, mas substitui a prova formal pela validação empírica.

Em vez de provar antecipadamente que uma automodificação é globalmente ótima, o sistema propõe mudanças de código, testa essas mudanças em benchmarks de engenharia de software e mantém as versões que apresentam melhor desempenho.

A Darwin Gödel Machine pode ler e modificar sua própria base de código em Python. Ela pode adicionar ferramentas, melhorar fluxos de trabalho, alterar a forma como edita arquivos, introduzir etapas de validação e preservar um histórico do que já foi tentado.[5]

O ponto importante não é apenas que ela melhora em tarefas de programação.

O ponto mais profundo é que algumas de suas melhorias a tornam melhor em melhorar a si mesma.

Por exemplo, se o sistema adiciona um procedimento melhor de validação de patches, automodificações futuras se tornam menos propensas a erro. Se ele melhora a navegação por arquivos, edições futuras de código se tornam mais fáceis. Se aprende a gerar e ranquear múltiplas correções candidatas, seu processo de busca se torna mais forte.

Isso é melhoria recursiva em uma forma concreta e mensurável.

Os resultados relatados mostraram melhora de desempenho de 20,0% para 50,0% no SWE-bench e de 14,2% para 30,7% no Polyglot.[4]

Esses são resultados de benchmark, não prova de inteligência geral. Mas eles mostram que agentes automodificáveis podem descobrir mudanças úteis em seus próprios fluxos de trabalho.

O sistema ainda é restrito.

Ele é executado em sandbox.

Depende de modelos fundacionais.

Depende de benchmarks.

Não redesenha autonomamente toda a pilha de IA.

Mas é um protótipo real de agente autoaperfeiçoável.

Exemplo 3: AlphaEvolve e a automação da descoberta algorítmica

O AlphaEvolve, da Google DeepMind, mostra outro caminho para a melhoria recursiva: não uma IA que reescreve diretamente a si mesma, mas uma IA que descobre algoritmos melhores capazes de melhorar sistemas computacionais, incluindo sistemas usados para treinar IA.[6]

O AlphaEvolve combina grandes modelos de linguagem com avaliadores automatizados e busca evolutiva. O modelo propõe programas. O avaliador os testa. Os melhores candidatos são armazenados, recombinados, mutados e aprimorados.

A DeepMind descreveu o AlphaEvolve como um agente de programação impulsionado pelo Gemini para o projeto de algoritmos avançados. Ele foi aplicado à matemática, à otimização de data centers, ao projeto de chips, à multiplicação de matrizes e a processos de treinamento de IA.[6]

Isso importa porque o progresso da IA não depende apenas de modelos maiores e mais dados, mas também de algoritmos melhores e infraestrutura melhor.

Se a IA descobre algoritmos de treinamento mais eficientes, métodos melhores de escalonamento, kernels mais rápidos, compiladores aprimorados ou rotinas mais eficientes de multiplicação de matrizes, ela melhora indiretamente a maquinaria que constrói futuros sistemas de IA.

Essa é uma forma mais sutil de recursão.

A IA não precisa dizer: “Estou melhorando a mim mesma.”

Ela só precisa melhorar o substrato computacional do qual a IA futura depende.

Um algoritmo mais rápido para treinamento, inferência, projeto de chips, uso de memória ou escalonamento de data centers pode se tornar um multiplicador de força para a próxima geração de modelos.

Esse é o autoaperfeiçoamento recursivo no nível da infraestrutura.

Exemplo 4: The AI Scientist e a pesquisa automatizada em IA

O The AI Scientist leva o ciclo mais adiante, para dentro do próprio processo de pesquisa.

O sistema gera ideias de pesquisa, escreve código, executa experimentos, analisa resultados, produz gráficos, escreve manuscritos e realiza revisão automatizada por pares. Em 2026, um artigo na Nature o apresentou como um pipeline para automação de ponta a ponta da pesquisa em IA.[7]

O ponto central é que o The AI Scientist opera sobre pesquisa em aprendizado de máquina — ou seja, a IA está sendo usada para conduzir pesquisa sobre IA.

Novamente, isso não é magia.

O sistema ainda pode cometer erros de programação, julgar mal a novidade, exagerar resultados fracos ou produzir trabalhos que parecem formalmente científicos sem serem profundamente importantes. A supervisão humana continua essencial.

Mas a importância dos agentes de pesquisa automatizados não deve ser medida apenas pela qualidade de uma única ideia gerada.

Sua verdadeira importância está na geração de hipóteses de baixa fidelidade, altamente paralelizável.

Um grupo humano de pesquisa pode testar um pequeno número de ideias cuidadosamente selecionadas porque tempo, financiamento, atenção e trabalho de estudantes de pós-graduação são recursos escassos. Um sistema automatizado de pesquisa pode explorar muito mais variantes de baixo custo, descartar a maioria delas e, ocasionalmente, revelar ideias raras e não triviais por uma fração do custo operacional humano.

Isso muda a economia da pesquisa.

Mesmo que a maioria das hipóteses geradas por IA seja fraca, o sistema ainda pode ser valioso se expandir o espaço de busca, reduzir o custo de experimentos fracassados e aumentar a probabilidade de que ideias incomuns, porém úteis, sejam descobertas. Nesse sentido, agentes automatizados de pesquisa se parecem mais com busca experimental em escala industrial do que com o modelo clássico do gênio individual.

O artigo da Nature também destacou a importância da revisão e da avaliação automatizadas. O The AI Scientist não apenas gera ideias; ele participa de um pipeline de pesquisa que inclui geração de ideias, busca na literatura, implementação de experimentos, análise de resultados, redação de manuscritos e revisão.[7]

É exatamente por isso que ele importa para o autoaperfeiçoamento recursivo.

A própria pesquisa se torna parte do ciclo de otimização.

O perigo é igualmente claro: uma enxurrada de artigos de baixa qualidade, manipulação automatizada da revisão por pares, novidade superficial e ruído científico.

A oportunidade também é clara: iteração mais rápida, busca de hipóteses mais ampla, experimentação mais barata e novas formas de descoberta assistida por máquina.

O futuro da ciência talvez não seja a IA substituindo cientistas.

Talvez seja cientistas supervisionando populações de agentes de pesquisa semiautônomos.

Exemplo 5: Prompts e agentes autoaperfeiçoáveis

Nem toda melhoria recursiva exige alterar os pesos do modelo.

Às vezes, o sistema melhora ao alterar as instruções, as ferramentas ou o fluxo de trabalho ao redor do modelo.

Frameworks de otimização de prompts, como o DSPy, tratam prompts menos como arte escrita à mão e mais como programas otimizáveis. O desenvolvedor especifica a tarefa e a métrica; o sistema busca instruções, exemplos ou padrões de raciocínio melhores.[8]

Trabalhos mais recentes sobre agentes de prompt autoevolutivos vão além.

A Self-Evolving Prompt Optimization, ou SePO, trata o próprio prompt de sistema do otimizador de prompts como parte do alvo de otimização. Em outras palavras, o sistema não apenas melhora os prompts de agentes de tarefa; ele também melhora o prompt do agente que realiza a melhoria.[9]

Esse é um movimento pequeno, mas conceitualmente importante.

O sistema não está apenas melhorando outro agente.

Ele está melhorando o agente que realiza a melhoria.

Essa é a mesma estrutura recursiva em miniatura.

Um agente de prompt melhora um agente de tarefa.

Depois, ele melhora a si mesmo.

Depois, o agente de prompt aprimorado se torna melhor em melhorar outros agentes.

Esses ciclos podem parecer modestos em comparação com visões de superinteligência vindas da ficção científica, mas provavelmente serão comercialmente importantes. A maioria dos produtos reais de IA não é composta apenas por modelos brutos. Eles são sistemas: prompts, ferramentas, memória, roteamento, recuperação, avaliação, registro, monitoramento e feedback humano.

Se esses sistemas puderem se otimizar cada vez mais, então produtos de IA poderão melhorar continuamente após a implantação.

---

6. Uma taxonomia do autoaperfeiçoamento recursivo

Os exemplos acima ficam mais fáceis de entender quando são mapeados para a camada da pilha de IA que afetam.

Sistema / Framework	Camada-alvo do ciclo	Mecanismo primário de mutação	Métrica empírica ou indicador de sucesso
Claude Code dentro da Anthropic	Infraestrutura e DevOps	Edições agentivas em múltiplos arquivos de repositórios, execução de comandos, integração com ambientes de desenvolvimento e aceleração da engenharia interna	Mais de 80% do código incorporado pela Anthropic teria sido escrito por Claude em maio de 2026; cerca de 8× mais código incorporado por engenheiro por dia em comparação com 2024, segundo os próprios números internos da Anthropic
Darwin Gödel Machine	Arquitetura e ferramentas de agentes	Busca evolutiva aberta em código, automodificação, melhoria de ferramentas e arquivamento de variantes bem-sucedidas	Melhora no SWE-bench de 20,0% para 50,0%; melhora no Polyglot de 14,2% para 30,7%
AlphaEvolve	Kernels algorítmicos e infraestrutura computacional	Mutação de programas guiada por LLMs, busca evolutiva, avaliadores automatizados e recombinação de candidatos bem-sucedidos	Descoberta e otimização de algoritmos para matemática, escalonamento de data centers, projeto de chips, multiplicação de matrizes e processos de treinamento de IA
The AI Scientist	Ciclo de vida da metapesquisa	Pipeline encadeado de pesquisa: geração de ideias, busca na literatura, escrita de código, execução de experimentos, geração de gráficos, redação de manuscritos e revisão automatizada	Geração de ponta a ponta de artigos de pesquisa em IA e revisão automatizada; artigo na Nature o apresentou como um pipeline para automatizar o processo científico
DSPy / agentes de prompt autoevolutivos	Instruções, fluxos de trabalho e comportamento de agentes	Compilação algorítmica de prompts, otimização de metaprompts e melhoria iterativa de instruções de tarefa	Melhora na acurácia de tarefas downstream, na qualidade dos prompts e na eficiência de tokens, dependendo do benchmark e da configuração de otimização

Essa taxonomia mostra que o autoaperfeiçoamento recursivo não é um único mecanismo.

É uma pilha.

Na base, a IA melhora a infraestrutura.

No meio, a IA melhora agentes, prompts, código, ferramentas e algoritmos.

No topo, a IA começa a melhorar o próprio processo de pesquisa.

A questão estratégica é se essas camadas permanecerão separadas, supervisionadas e delimitadas — ou se irão se conectar em um pipeline contínuo no qual modelos melhores produzem sistemas de pesquisa melhores, e sistemas de pesquisa melhores produzem modelos melhores.

---

7. Por que a avaliação é o gargalo

O autoaperfeiçoamento recursivo é tão bom quanto sua função de avaliação.

Essa é a lei central.

Um sistema pode gerar variações infinitas, mas, se não conseguir distinguir de forma confiável o melhor do pior, ele irá otimizar ruído, explorar brechas, superajustar-se a benchmarks ou degradar-se de maneiras ocultas.

É aqui que a Lei de Goodhart [10] se torna inevitável.

A frase costuma ser resumida como:

“Quando uma medida se torna uma meta, ela deixa de ser uma boa medida.”

No aprendizado de máquina comum, esse já é um problema familiar. Um modelo pode melhorar em um benchmark enquanto se torna menos robusto fora dele. Pode aprender artefatos do conjunto de dados em vez do conceito pretendido. Pode se tornar mais persuasivo enquanto se torna menos verdadeiro. Pode maximizar o engajamento do usuário enquanto prejudica sua compreensão.

Sistemas recursivos intensificam esse problema porque o otimizador pode começar a influenciar o próprio avaliador.

Se um agente de programação modifica sua própria base de código para obter pontuação mais alta em um benchmark estático, ele não está apenas resolvendo a tarefa. Ele está explorando a forma do ambiente de avaliação. Se o benchmark contém brechas, o agente pode descobri-las. Se o modelo de recompensa está mal calibrado, o agente pode aprender a satisfazer o modelo de recompensa em vez do objetivo subjacente. Se a suíte de testes está incompleta, o agente pode produzir código que passa nos testes, mas falha em casos ocultos.

Esse é o problema clássico de specification gaming: o sistema aprende a satisfazer a métrica formal, não necessariamente a intenção original. Em sistemas recursivos, porém, o problema ganha uma dimensão adicional, pois o próprio processo de avaliação pode se tornar alvo de otimização.

O sistema não está apenas sendo avaliado.

Ele pode começar a melhorar em ser avaliado.

Na programação, a avaliação é relativamente forte: testes passam ou falham. Na matemática, provas e respostas exatas ajudam. Em jogos, pontuações são claras. No projeto de algoritmos, o desempenho muitas vezes pode ser medido diretamente.

Mas, em pesquisa aberta, design de produtos, ética, política, educação, direito, medicina ou impacto social, a avaliação é muito mais difícil.

O que conta como melhor?

• Um modelo pode escrever textos mais persuasivos, mas se tornar menos verdadeiro.
• Pode passar em um benchmark, mas se tornar menos robusto.
• Pode otimizar a eficiência de curto prazo enquanto reduz a interpretabilidade.
• Pode gerar artigos que parecem plausíveis, mas acrescentam pouco conhecimento.
• Pode melhorar a velocidade enquanto torna seu próprio raciocínio menos auditável.
• É por isso que o autoaperfeiçoamento recursivo é ao mesmo tempo poderoso e perigoso.
• O ciclo amplifica aquilo que o avaliador recompensa.

Se o avaliador recompensa verdade, robustez, segurança, transparência e utilidade, o sistema pode melhorar de formas genuinamente valiosas.

Se o avaliador recompensa apenas desempenho em benchmark, velocidade, persuasão, engajamento ou lucro, o sistema pode se tornar extremamente capaz de otimizar o alvo errado.

Em sistemas recursivos, o desalinhamento não é estático.

Ele se acumula.

É por isso que a avaliação independente se torna mais importante à medida que a autonomia aumenta. O gerador não deve controlar plenamente o avaliador. O agente não deve reescrever casualmente os testes que certificam sua própria melhoria. Benchmarks de segurança não devem ser otimizados até se tornarem irrelevantes. Sistemas de avaliação devem ser diversificados, adversariais, periodicamente atualizados e separados do sistema que está sendo avaliado.

O autoaperfeiçoamento recursivo não falha apenas quando o modelo se torna fraco demais.

Ele também pode falhar quando o modelo se torna bom demais em satisfazer o sistema de medição errado.

---

8. A diferença entre RSI restrito e RSI completo

É importante distinguir o autoaperfeiçoamento recursivo restrito do autoaperfeiçoamento recursivo completo.

O RSI restrito já está emergindo.

O RSI completo permanece teórico.

Característica	RSI restrito: realidade atual	RSI completo: futuro teórico
Escopo	Específico por domínio: programação, algoritmos, prompts, fluxos de pesquisa e infraestrutura	Geral e abrangente em toda a pilha de IA
Papel humano	Humanos definem objetivos, fornecem computação, revisam resultados, avaliam segurança e aprovam implantações	Envolvimento humano mínimo ou ausente
Avaliação	Depende de benchmarks, sandboxes, testes e processos de revisão projetados por humanos	O sistema pode projetar, modificar e avaliar seu próprio ambiente de avaliação
Autonomia	Parcial e delimitada	Ampla, persistente e potencialmente aberta
Trajetória	Ciclos incrementais e industrializados	Explosão de inteligência rápida e cumulativa
Evidência atual	Agentes de programação, otimizadores de prompts, descoberta algorítmica e sistemas de pesquisa automatizada	Nenhum exemplo público demonstrado de RSI plenamente autônomo

Exemplos de RSI restrito incluem:

• Agentes melhorando seus próprios prompts.
• Agentes de programação melhorando suas próprias ferramentas.
• Sistemas de IA descobrindo algoritmos mais rápidos.
• Agentes de pesquisa automatizados executando experimentos de aprendizado de máquina.
• Modelos gerando dados sintéticos para melhorar modelos futuros.
• Laboratórios de IA usando IA para acelerar sua própria engenharia.

O RSI completo seria algo muito mais forte:

Um sistema de IA projeta autonomamente um sucessor melhor.

• Ele reúne ou gera os dados necessários.
• Ele melhora o algoritmo de treinamento.
• Ele obtém computação.
• Ele treina o sucessor.
• Ele o avalia.
• Ele alinha ou modifica seus objetivos.
• Ele o implanta.

Então repete o processo com controle humano mínimo.

Isso ainda não existe em forma pública demonstrada.

Mas a distância entre as versões restrita e completa pode diminuir se cada componente ausente for automatizado.

O erro perigoso é dizer:

“Como o RSI completo ainda não chegou, nada importante está acontecendo.”

O erro oposto é dizer:

“Como o RSI restrito já está aqui, a superinteligência é inevitável no próximo ano.”

A posição responsável é mais sutil: ciclos recursivos estão aparecendo em sistemas reais, seu domínio de operação está se expandindo, e suas consequências podem ser enormes se eles se conectarem ao longo de toda a pipeline de desenvolvimento de IA.

---

9. Por que isso poderia acelerar o progresso da IA

O autoaperfeiçoamento recursivo poderia acelerar o progresso da IA por vários mecanismos. Aqui, a velha lógica da Lei dos Retornos Acelerados reaparece [11]: o progresso não apenas acrescenta capacidade em uma sequência linear; ele pode retroalimentar o próprio processo que produz a próxima onda de progresso.

Sistemas de IA melhores podem ajudar a construir ferramentas melhores; ferramentas melhores podem acelerar a pesquisa; pesquisas mais rápidas podem produzir modelos mais fortes; e modelos mais fortes podem, então, melhorar o próprio processo de pesquisa. Nesse sentido, o autoaperfeiçoamento recursivo não é apenas mais um ciclo de melhoria. É um mecanismo pelo qual o progresso tecnológico pode começar a se acumular de forma composta.

Primeiro, ele aumenta a produtividade dos pesquisadores. Se a IA escreve código, executa experimentos, revisa resultados e redige artigos, cada pesquisador humano pode explorar mais ideias.

Segundo, ele amplia o espaço de busca. Sistemas de IA podem testar mais variações do que humanos conseguem inspecionar manualmente.

Terceiro, ele reduz o custo do fracasso. Na pesquisa, a maioria das ideias falha. Se experimentos fracassados se tornam mais baratos, a taxa total de descoberta pode aumentar.

Quarto, ele melhora a infraestrutura. Algoritmos, compiladores, pipelines de dados, escalonamento de hardware e métodos de treinamento melhores tornam os modelos futuros mais baratos e mais fortes.

Quinto, ele cria uma retroalimentação entre capacidade dos modelos e automação da pesquisa. Modelos melhores produzem melhores agentes de pesquisa. Melhores agentes de pesquisa ajudam a produzir modelos melhores.

Esse último ciclo é o coração do RSI.

• O modelo melhora o agente.
• O agente melhora a pesquisa.
• A pesquisa melhora o modelo.
• Repetir.

O mecanismo central não é simplesmente o fato de a IA se tornar “mais inteligente”.

É o fato de a IA mudar a economia da experimentação.

A pesquisa humana é limitada por atenção, tempo, especialização, coordenação e custo institucional. A pesquisa assistida por IA pode reduzir o custo da iteração, permitindo que muito mais hipóteses, variantes de código, estratégias de prompt, arquiteturas e transformações algorítmicas sejam exploradas.

A maioria irá falhar.

Isso não é uma fraqueza.

A busca funciona porque a maioria dos candidatos falha.

A questão é se o sistema consegue gerar candidatos suficientes a baixo custo, avaliá-los de forma confiável, preservar degraus úteis e evitar a otimização do alvo errado.

Se conseguir, o autoaperfeiçoamento recursivo se torna menos parecido com uma descoberta isolada e mais parecido com um volante de inércia industrial.

---

10. Por que isso também poderia se tornar perigoso

O autoaperfeiçoamento recursivo concentra riscos porque acelera capacidades mais rapidamente do que a compreensão.

Há vários perigos específicos.

O primeiro é a perda de supervisão. Se os sistemas se tornarem rápidos demais, complexos demais ou autônomos demais, a revisão humana pode se tornar mais simbólica do que real. Um humano pode aprovar resultados sem compreender a cadeia de raciocínio, as mudanças no código, as suposições ocultas ou os efeitos de longo prazo.

O segundo é o overfitting de benchmarks. Um sistema autoaperfeiçoável pode se tornar excelente nos testes que lhe damos, ao mesmo tempo em que piora em dimensões não testadas.

O terceiro é a manipulação de recompensas. Se o sistema puder influenciar seu próprio processo de avaliação, ele pode aprender a obter pontuações mais altas em vez de alcançar desempenho genuinamente melhor.

O quarto é a poluição científica. Agentes de pesquisa automatizados poderiam gerar enormes volumes de artigos plausíveis, mas fracos, sobrecarregando a revisão por pares e tornando o conhecimento genuíno mais difícil de identificar.

O quinto é o risco de segurança. Sistemas de IA que melhoram programação, depuração e descoberta de vulnerabilidades podem fortalecer a defesa — mas também ampliar as capacidades disponíveis para agentes mal-intencionados.

O sexto é a concentração de poder. Se apenas alguns poucos laboratórios possuírem pipelines de IA autoaperfeiçoáveis, a distância entre organizações de fronteira e todos os demais poderá crescer dramaticamente.

O sétimo é a deriva de alinhamento. Se cada geração de sistemas modifica as ferramentas, os dados e os objetivos usados para criar a geração seguinte, pequenos desalinhamentos podem ser amplificados ao longo do tempo.

Sistemas recursivos não apenas escalam capacidades.

Eles escalam as consequências das escolhas de projeto.

É por isso que o problema da avaliação não pode ser tratado como detalhe secundário. Em um sistema recursivo, a função de avaliação não é apenas um instrumento de medição. Ela é um mecanismo de direção. Ela determina a direção em que o ciclo se acumula.

---

11. O problema da governança

O desafio de governança é que o RSI não é um único produto que possa ser facilmente proibido, licenciado ou inspecionado.

Ele é um padrão.

Pode aparecer dentro de ferramentas de programação, assistentes de pesquisa, pipelines de dados sintéticos, sistemas de AutoML, otimizadores de prompts, geradores de benchmarks, frameworks de agentes e infraestrutura de nuvem.

Regular diretamente o “autoaperfeiçoamento recursivo” é difícil porque muitos sistemas benignos contêm ciclos recursivos parciais.

Uma abordagem prática de governança deve se concentrar em limiares e controles:

• Quanta autonomia o sistema possui?
• Ele pode modificar seu próprio código, suas ferramentas, seus prompts ou seu processo de avaliação?
• Ele pode criar sistemas sucessores?
• Ele pode acessar computação, dados, redes ou pipelines de implantação?
• Suas melhorias são executadas em sandbox?
• As avaliações são independentes?
• Há aprovação humana antes que as mudanças se propaguem?
• Os registros são preservados?
• O sistema pode ser revertido?
• As avaliações de segurança são mais fortes do que as avaliações de capacidade?
• Auditores externos podem inspecionar o processo?

O princípio de governança mais importante é a separação entre gerador e avaliador.

Um sistema autoaperfeiçoável não deve ter controle irrestrito sobre os testes que determinam se ele melhorou. Na ciência, a revisão por pares é separada da autoria. No software, os testes não devem ser reescritos casualmente pelo agente que está sendo testado. Na segurança, o modelo não deve ter permissão para avaliar seu próprio alinhamento.

Sistemas recursivos precisam de fricção, auditabilidade e medição independente.

Sem isso, a melhoria se transforma em autocertificação.

Quanto mais forte o ciclo se torna, mais importante é preservar freios institucionais: avaliações por equipes vermelhas, auditorias independentes, implantação em estágios, governança da capacidade computacional, registro de incidentes, capacidade de reversão e testes adversariais.

O objetivo não é interromper todo ciclo recursivo.

Isso seria impossível e indesejável.

O objetivo é garantir que os ciclos que construímos amplifiquem a inteligência sem amplificar silenciosamente a falha.

---

12. A virada filosófica: a inteligência se torna um processo industrial

A implicação mais profunda do RSI não é que máquinas de repente se tornem conscientes, emocionais ou semelhantes aos humanos.

É que a inteligência se torna industrializada.

A inteligência humana é lenta, biológica, local e cara. Ela opera por meio de educação, instituições, memória, cultura e colaboração.

A inteligência de máquina pode ser copiada, paralelizada, submetida a benchmarks, modificada, comprimida, ajustada e implantada. Uma vez que sistemas de IA passam a participar de seu próprio aperfeiçoamento, a inteligência se torna parte de um ciclo de produção.

• A pesquisa passa a se parecer mais com manufatura.
• Hipóteses se tornam candidatos.
• Experimentos se tornam avaliações automatizadas.
• Artigos se tornam saídas.
• Agentes se tornam populações em evolução.
• Software se torna infraestrutura automodificável.
• O próprio método científico se torna parcialmente mecanizado.

Isso não torna os humanos irrelevantes. Isso muda o lugar onde o valor humano se situa.

O papel humano se desloca de executar cada etapa para escolher problemas, definir valores, projetar instituições, auditar sistemas, interpretar resultados e decidir quais tipos de inteligência devem ser amplificados.

Em um mundo de IA recursiva, a pergunta central deixa de ser apenas:

“As máquinas conseguem pensar?”

Ela se torna:

“Que tipos de pensamento escolheremos escalar?”

Essa talvez seja a virada filosófica mais importante de todas.

O autoaperfeiçoamento recursivo não diz respeito apenas à inteligência artificial se tornar mais capaz.

Diz respeito à sociedade criando sistemas capazes de escalar certos tipos de cognição — programação, busca, experimentação, otimização, persuasão, descoberta — muito além dos limites humanos tradicionais.

Isso torna o RSI uma questão técnica.

Também o torna uma questão política, ética, econômica e civilizacional.

---

13. O futuro próximo: não uma explosão, mas muitos ciclos

O futuro talvez não chegue como uma única e dramática “explosão de inteligência”.

Talvez ele chegue como milhares de ciclos menores:

• IA melhorando editores de código.
• Editores de código melhorando a infraestrutura de IA.
• Pesquisadores de IA usando agentes de pesquisa em IA.
• Agentes de IA projetando benchmarks melhores.
• Benchmarks selecionando agentes melhores.
• Agentes gerando dados sintéticos.
• Dados sintéticos melhorando modelos.
• Modelos melhorando a busca científica.
• A busca científica melhorando algoritmos.
• Algoritmos reduzindo custos de treinamento.
• Treinamento mais barato produzindo modelos mais fortes.

Cada ciclo pode parecer incremental.

Juntos, podem se tornar civilizacionais.

É assim que revoluções tecnológicas frequentemente acontecem. Não como um único trovão, mas como retroalimentação acumulada entre muitos sistemas.

• A eletricidade melhorou as fábricas. As fábricas melhoraram os equipamentos elétricos.
• Os computadores melhoraram o projeto de chips. Chips melhores melhoraram os computadores.
• A internet melhorou a distribuição de software. Softwares melhores melhoraram a internet.
• Agora a IA pode melhorar a IA.

É por isso que o autoaperfeiçoamento recursivo merece atenção séria.

Não porque toda previsão apocalíptica seja verdadeira.

Não porque todo ganho em benchmark signifique Superinteligência [12].

Mas porque a direção do movimento é inequívoca: a IA está deixando de ser apenas um produto da pesquisa humana e se tornando uma participante da própria pesquisa.

---

14. Conclusão: o ciclo começou, mas ainda não se fechou

O autoaperfeiçoamento recursivo já não é apenas um experimento mental.

Suas primeiras formas são visíveis em agentes de programação, sistemas de descoberta algorítmica, pipelines de pesquisa automatizada, prompts autoevolutivos e engenharia de IA assistida por IA.

O ciclo ainda não está totalmente fechado. Humanos ainda fornecem objetivos, computação, supervisão, instituições, financiamento e julgamento. Os sistemas atuais permanecem frágeis, restritos e dependentes de avaliação externa.

Mas o ciclo está se fechando parcialmente.

• A IA agora ajuda a construir as ferramentas que constroem IA.
• A IA agora ajuda a escrever o código que opera laboratórios de IA.
• A IA agora ajuda a descobrir algoritmos que melhoram a computação.
• A IA agora ajuda a gerar e avaliar pesquisa em IA.

A IA agora ajuda a otimizar os prompts e fluxos de trabalho que governam agentes de IA.

Este é o início de uma nova fase tecnológica: não apenas inteligência artificial, mas inteligência artificial como aceleradora de seu próprio desenvolvimento.

Se isso se tornará uma renascença da descoberta ou uma perigosa perda de controle dependerá menos da existência do ciclo do que de como o projetamos, governamos, avaliamos e restringimos.

O futuro não será determinado apenas por saber se a IA pode melhorar a si mesma.

Ele será determinado pelo que permitiremos que ela otimize.

#IA #InteligenciaArtificial #AutoaperfeicoamentoRecursivo #IAAutoaperfeicoavel #AgentesDeIA #AGI #SegurancaEmIA #AlinhamentoDeIA #AprendizadoDeMaquina #FuturoDaIA #Automacao #InovacaoTecnologica #IAAgentica #PesquisaEmIA #AprendizadoProfundo

---

15. Referências

[1] Good, I. J. “Speculations Concerning the First Ultraintelligent Machine.” In Advances in Computers, vol. 6, edited by Franz L. Alt and Morris Rubinoff, 31–88. New York: Academic Press, 1965.

[2] Schmidhuber, Jürgen. “Gödel Machines: Fully Self-Referential Optimal Universal Self-Improvers.” In Artificial General Intelligence, edited by Ben Goertzel and Cassio Pennachin, 199–226. Cognitive Technologies. Berlin: Springer, 2007.

[3] Anthropic Institute. “When AI Builds Itself.” Anthropic, June 2026.

[4] Zhang, Jenny, Shengran Hu, Cong Lu, Robert Tjarko Lange, and Jeff Clune. “Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents.” arXiv, May 29, 2025.

[5] Sakana AI. “The Darwin Gödel Machine: AI That Improves Itself by Rewriting Its Own Code.” Sakana AI, May 30, 2025.

[6] Google DeepMind. “AlphaEvolve: A Gemini-Powered Coding Agent for Designing Advanced Algorithms.” Google DeepMind, May 14, 2025.

[7] Lu, Chris, Cong Lu, Robert Tjarko Lange, Yutaro Yamada, Shengran Hu, Jakob Foerster, David Ha, and Jeff Clune. “Towards End-to-End Automation of AI Research.” Nature 651 (2026): 914–919.

[8] Khattab, Omar, Arnav Singhvi, Paridhi Maheshwari, Zhiyuan Zhang, Keshav Santhanam, Sri Vardhamanan, Saiful Haq, Ashutosh Sharma, Thomas T. Joshi, Hanna Moazam, Heather Miller, Matei Zaharia, and Christopher Potts. “DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines.” arXiv, 2023.

[9] Tao, Wangcheng, Han Wu, and Weng-Fai Wong. “SePO: Self-Evolving Prompt Agent for System Prompt Optimization.” arXiv, June 3, 2026.

[10] Strictly speaking, this popular formulation is not Charles Goodhart’s original wording. Goodhart introduced the underlying idea in the context of British monetary policy in 1975, arguing that an observed statistical regularity tends to break down once policymakers try to use it as an instrument of control. In other words, the moment a proxy becomes a policy target, the system begins adapting to the proxy. A closely related idea appeared in Donald Campbell’s work on social indicators. Campbell warned that the more a quantitative indicator is used for social decision-making, the more it becomes vulnerable to corruption pressures — and the more likely it is to distort the very process it was meant to monitor. Marilyn Strathern later gave the idea its now-famous compact form while discussing audit culture and university ratings in the 1990s. Recursive self-improvement makes this old problem more dangerous. In ordinary measurement systems, people learn to game indicators: schools teach to the test, universities optimize rankings, companies inflate performance metrics, and researchers chase citation counts. In recursive AI systems, the optimizer is not merely responding to a metric from the outside. It may begin to explore, exploit, and reshape the evaluation environment itself. If a self-improving coding agent is rewarded for passing a benchmark, it may genuinely become better at coding. But it may also become better at exploiting benchmark weaknesses, satisfying superficial tests, overfitting to static evaluation suites, or producing outputs that look correct to the evaluator while failing in hidden cases. That is Goodhart’s Law under automation. The danger is not simply that the model optimizes a bad metric. The deeper danger is that the model becomes increasingly capable at optimizing whatever metric we give it — even when that metric is only a fragile proxy for truth, safety, robustness, or scientific value.

[11] Kurzweil, Ray. The Singularity Is Near: When Humans Transcend Biology. New York: Viking, 2005.

[12] Bostrom, Nick. Superintelligence: Paths, Dangers, Strategies. Oxford: Oxford University Press, 2014.

Editorial transparency note: This article, as with all articles published on this site, was conceived, directed, written, and reviewed by Prof. Maurício Veloso Brant Pinheiro. Artificial intelligence was used as an assistant for editorial refinement, formatting, image generation, SEO metadata, and publication workflow.

---

Copyright 2026 AI-Talks.org