Como permitir ou bloquear GPTBot, OAI-SearchBot e ChatGPT-User

A OpenAI separa seus user agents por uso, e a documentação da empresa sobre crawlers trata cada permissão como decisão independente. Dá para aparecer na busca do ChatGPT sem liberar o conteúdo para treino — e o contrário também.

O veículo de controle é o mesmo de sempre: o arquivo robots.txt na raiz do domínio. Entender qual bot faz o quê evita dois erros comuns.

Um é bloquear tudo por precaução e perder presença na busca do ChatGPT. O outro é liberar tudo sem saber que o rastreamento alimenta treino de modelos.

Os bots da OpenAI e o que cada um faz

A OpenAI mantém um user agent separado para cada uso da web. Cada um responde a uma permissão própria no robots.txt.

OAI-SearchBot: o bot que sustenta a busca

O OAI-SearchBot é o bot de busca. Segundo a OpenAI, ele é usado para mostrar sites nos resultados de busca dos recursos de busca do ChatGPT. A empresa recomenda permitir o OAI-SearchBot no robots.txt e liberar as requisições dos intervalos de IP que publica.

A consequência do bloqueio está descrita de forma explícita. Sites que optam por sair do OAI-SearchBot não serão exibidos nas respostas de busca do ChatGPT, embora ainda possam aparecer como links de navegação.

A documentação também avisa que pode levar cerca de 24 horas, a partir da atualização do robots.txt, para os sistemas ajustarem os resultados de busca no ChatGPT.

GPTBot: o bot que alimenta o treino

O GPTBot é o bot de treino. A OpenAI o descreve como o rastreador usado para tornar os modelos de fundação mais úteis e seguros, a partir de conteúdo que pode ser usado no treinamento.

Bloquear o GPTBot indica que o conteúdo do site não deve ser usado no treino desses modelos.

ChatGPT-User: o agente das ações do usuário

O ChatGPT-User é o agente das ações iniciadas por usuário. A OpenAI explica que ele é usado em determinadas ações no ChatGPT e nos Custom GPTs. Quando alguém faz uma pergunta, o ChatGPT pode visitar uma página com esse user agent.

O ChatGPT-User não rastreia a web de forma automática. Como as ações partem do usuário, a documentação afirma que regras de robots.txt podem não se aplicar.

A empresa é direta ao dizer que esse bot não deve ser usado para controlar a presença na busca. Para isso existe o OAI-SearchBot.

OAI-AdsBot: o validador de anúncios

Há ainda um quarto agente, fora do escopo editorial. O OAI-AdsBot valida a segurança de páginas enviadas como anúncios no ChatGPT e só visita páginas submetidas como anúncio.

A OpenAI afirma que os dados coletados por ele não são usados para treinar modelos de fundação.

Uma decisão por bot, não uma decisão só

A documentação trata cada configuração como independente. O exemplo é da própria OpenAI: dá para permitir o OAI-SearchBot para aparecer nos resultados de busca e bloquear o GPTBot para sinalizar que o conteúdo não deve ser usado em treino.

Há um detalhe operacional relevante. Se o site permitir os dois bots, a OpenAI diz que pode usar o resultado de um único rastreamento para os dois usos.

A ideia é evitar rastreamento duplicado. O volume de requisições não dobra só porque duas permissões foram dadas.

Ao buscar o arquivo robots.txt, a OpenAI pode acrescentar um marcador ao user agent, como robots.txt. Isso ajuda o dono do site a distinguir a leitura do arquivo de outras requisições — útil quando os logs não registram o caminho.

Os intervalos de IP de cada bot são publicados em arquivos JSON separados.

Exemplos de robots.txt

O guia do Google sobre criação de robots.txt define a anatomia do arquivo:

• um ou mais grupos;
• cada grupo começa por uma linha User-agent;
• regras Allow e Disallow;
• Sitemap, opcional.

O Google diz que os grupos são processados de cima para baixo e que o agente corresponde ao primeiro grupo mais específico que casa com ele.

Bloquear só o GPTBot

User-agent: GPTBot
Disallow: /

Aqui a busca continua liberada: o OAI-SearchBot não é citado e, portanto, segue o comportamento padrão. Como o Google lembra, tudo o que não está bloqueado é implicitamente permitido.

Permitir a busca e bloquear o treino

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

Sitemap: https://www.example.com/sitemap.xml

O bloco do OAI-SearchBot é redundante. Se tudo já é permitido por padrão, ele pode ser omitido sem mudar o resultado.

Bloquear todos os rastreadores

User-agent: *
Disallow: /

Cuidado: essa regra atinge também os buscadores tradicionais. O Google observa que o asterisco corresponde a todos os crawlers, exceto os vários AdsBot, que precisam ser nomeados explicitamente.

Detalhes de sintaxe, curingas e diretivas estão em como criar um robots.txt. A comparação entre os principais agentes de IA está em Crawlers de IA comparados.

O que acontece quando você bloqueia

Bloquear o GPTBot sinaliza que o conteúdo do site não deve ser usado no treino de modelos da OpenAI. É uma decisão separada da que controla a presença na busca — tema de Treino, grounding e busca: os três usos que IAs fazem do seu conteúdo.

Bloquear o OAI-SearchBot tem efeito direto e declarado sobre a busca do ChatGPT: o site sai das respostas de busca. A documentação não promete o contrário em nenhum momento, e não há garantia de que o bloqueio reduza citações em outros produtos da OpenAI.

Já o ChatGPT-User fica em uma zona ambígua. Como as visitas são disparadas por usuários, a própria OpenAI avisa que as regras de robots.txt podem não ser aplicadas.

Quem precisa impedir acesso a conteúdo sensível deve combinar robots.txt com outras barreiras, como autenticação.

Para entender como o ChatGPT escolhe o que citar, veja como o ChatGPT search encontra e cita sites.

O que fazer agora

O Google descreve quatro passos: criar o arquivo, escrever as regras, subir para a raiz do site e testar.

1. Crie o arquivo com o nome robots.txt e escreva as regras.
2. Suba o arquivo para a raiz do host a que ele se aplica. Só pode haver um por site, em texto UTF-8.
3. Teste em uma janela de navegação privada e acesse https://seudominio.com/robots.txt. Se o conteúdo aparecer, o arquivo está público.

O Google alerta para não usar editores de texto com formatação própria, que podem inserir caracteres inesperados. Ele oferece o relatório de robots.txt no Search Console e uma biblioteca de robots.txt de código aberto usada na própria Busca.

Publicado o arquivo, os rastreadores do Google o encontram sozinhos — não há envio a fazer.