OpenAI vai honrar sinal comum em robots.txt para treino de IA generativa de base

A OpenAI vai respeitar um sinal comum em robots.txt sobre o uso do conteúdo para treinar IA generativa de base. O anúncio é de 30 de outubro de 2026 e poupa o operador de site de manter regras por provedor.

A publicação está no blog da OpenAI. Segundo a empresa, a implementação vem "nos próximos meses", com nova atualização quando houver detalhes.

O sinal único reduz o trabalho por provedor

Com um sinal compartilhado, o operador deixa de manter regras separadas para cada provedor. A proposta não altera o funcionamento dos crawlers que a OpenAI já documenta: o que muda é a camada de comunicação.

Segundo a publicação, o sinal comum é dedicado a preferências sobre o uso de conteúdo para treino de IA generativa de base. Antes, na descrição da própria OpenAI, os operadores precisavam identificar crawlers individuais e manter regras separadas "para cada e para todo provedor". Com um sinal compartilhado entre múltiplos provedores, esse trabalho diminui.

O compromisso é voluntário e vale para vários provedores participantes ao mesmo tempo. Não há, no texto, data fechada nem especificação técnica do formato do sinal.

O novo sinal não substitui GPTBot nem OAI-SearchBot

A OpenAI é explícita: o sinal novo não substitui os controles já oferecidos via robots.txt. Os controles existentes de crawler continuam valendo e sendo respeitados.

A documentação de crawlers da OpenAI explica como esses controles se dividem hoje. Cada ajuste é independente dos outros. Um site pode permitir o OAI-SearchBot para aparecer em resultados de busca. Ao mesmo tempo, pode bloquear o GPTBot para indicar que o conteúdo não deve ser usado no treino dos modelos de base.

• OAI-SearchBot: usado para busca, para exibir sites nos resultados dos recursos de busca do ChatGPT. Sites que optam por sair não são mostrados nas respostas do ChatGPT search. Eles ainda podem aparecer como links de navegação. A OpenAI recomenda permitir o robô no robots.txt e liberar as faixas de IP publicadas.
• GPTBot: usado para tornar os modelos de fundação mais úteis e seguros, rastreando conteúdo que pode ser usado em treino. Bloqueá-lo indica que o conteúdo do site não deve ser usado no treinamento.
• ChatGPT-User: usado em ações pontuais iniciadas por usuários no ChatGPT e em GPTs personalizados. Por serem ações disparadas por uma pessoa, as regras do robots.txt podem não se aplicar. A OpenAI afirma que esse agente não serve para definir opt-out de busca nem para rastreamento automático.
• OAI-AdsBot: valida a segurança de páginas enviadas como anúncios no ChatGPT e, segundo a documentação, não treina modelos de fundação.

A documentação também informa dois pontos práticos. Se o site permitir os dois robôs, a OpenAI pode usar o resultado de um único rastreamento para os dois casos, evitando rastreamento duplicado. E, para resultados de busca, ajustes no robots.txt podem levar cerca de 24 horas para serem refletidos nos sistemas.

Base no IETF e convite a outros provedores

A OpenAI diz que o anúncio se apoia no trabalho em andamento do grupo de AI Preferences do IETF, a Internet Engineering Task Force. A empresa afirma que se junta a outros participantes do grupo na divulgação do sinal compartilhado.

Segundo a empresa, isso fortalece sua participação nas discussões de padronização. O texto encerra incentivando outros provedores de IA a honrar o sinal.

Para quem acompanha os controles de treino, a leitura útil é esta: treino, grounding e busca como usos distintos do conteúdo. O sinal novo trata de treino, não de exibição em respostas.

Busca no ChatGPT continua dependendo do OAI-SearchBot

Para quem quer aparecer no ChatGPT search, o caminho documentado segue o mesmo: permitir o OAI-SearchBot no robots.txt e liberar as faixas de IP publicadas. O sinal compartilhado anunciado agora não é um mecanismo de opt-in de busca. A própria OpenAI diz que ele não substitui os controles atuais.

Vale revisar o arquivo com calma e conferir as diretivas disponíveis. O guia de como permitir ou bloquear GPTBot, OAI-SearchBot e ChatGPT-User mostra o caminho. A comparação entre crawlers de IA ajuda a não confundir agentes com finalidades diferentes. O passo a passo de como criar um robots.txt cobre a sintaxe básica do arquivo.