Crawlers e tokens de IA: Googlebot, Google-Extended, GPTBot e PerplexityBot

Cinco tokens aparecem na documentação de Google, OpenAI e Perplexity, e não fazem a mesma coisa. Três montam resultados de busca; GPTBot é o token de treino da OpenAI e Google-Extended é um token de controle.

Três finalidades, cinco tokens

Os cinco tokens cobrem três finalidades: busca, treino e controle de preferência. A documentação do Google, atualizada em 30 de outubro de 2026, descreve os crawlers comuns da empresa. Eles buscam informação para os índices de busca e fazem rastreamentos específicos de produtos e análise. Todos obedecem ao robots.txt quando rastreiam de forma automática.

A OpenAI separa seus bots em tokens independentes: GPTBot, ligado ao treino de modelos fundacionais, e OAI-SearchBot, ligado à busca.

A Perplexity segue o mesmo desenho, com PerplexityBot para busca e Perplexity-User para ações disparadas por usuários. São finalidades diferentes, com consequências diferentes para quem publica — tema de Treino, grounding e busca: os três usos que IAs fazem do seu site.

Cada token cobre uma finalidade e tem seu bloqueio

Nenhum dos cinco faz tudo: cada token cobre uma finalidade e obedece a um comando próprio no robots.txt.

Empresa	User-agent / token	Finalidade declarada	Como bloquear no robots.txt	Fonte
Google	Googlebot	Rastrear para os índices da Busca, incluindo Discover, Imagens, Vídeo e News	User-agent: Googlebot + Disallow: /	Documentação do Google
Google	Google-Extended	Token de controle (sem user-agent HTTP próprio) para treino de futuras gerações de modelos Gemini e grounding	User-agent: Google-Extended + Disallow: /	Documentação do Google
OpenAI	GPTBot	Rastrear conteúdo que pode ser usado no treino dos modelos fundacionais	User-agent: GPTBot + Disallow: /	Documentação da OpenAI
OpenAI	OAI-SearchBot	Exibir sites nos resultados de busca do ChatGPT	User-agent: OAI-SearchBot + Disallow: /	Documentação da OpenAI
Perplexity	PerplexityBot	Exibir e linkar sites nos resultados de busca da Perplexity; não é usado para rastrear conteúdo para modelos fundacionais de IA	User-agent: PerplexityBot + Disallow: /	Documentação da Perplexity

Googlebot mexe na Busca; Google-Extended, no treino

O Googlebot é o crawler que alimenta a Busca. A documentação afirma que preferências de rastreamento endereçadas a esse token afetam a Busca do Google (incluindo Discover e todos os recursos de busca).

Afetam também produtos como Imagens, modo Vídeo, Google News e Discover. Há variações com tokens próprios — Googlebot-Image, Googlebot-Video, Googlebot-News — em que basta casar um dos tokens para a regra valer.

User-agent: Googlebot
Disallow: /arquivo/

O Google-Extended é outra categoria. A empresa explica que ele não tem string de user-agent HTTP separada: o rastreamento continua sendo feito pelos user-agents existentes do Google, e o token no robots.txt funciona como controle.

Ele gerencia o uso do conteúdo rastreado no treino de futuras gerações de modelos Gemini. Esses modelos alimentam os apps Gemini e a API do Vertex AI para Gemini. O token também vale para grounding: o envio de conteúdo do índice de busca ao modelo no momento do prompt.

A documentação afirma ainda que o Google-Extended não impacta a inclusão do site na Busca nem é usado como sinal de ranqueamento. O passo a passo está em Google-Extended: o que é e como configurar.

A mesma página registra que o Google pretende suportar o sinal compartilhado de preferência de treino AIPREF, com o token __usage_ai-training, no início de 2027.

Na OpenAI, treino e busca se bloqueiam separadamente

A OpenAI afirma que os dois tokens são independentes. Um webmaster pode permitir OAI-SearchBot para aparecer em resultados de busca. E pode bloquear GPTBot para indicar que o conteúdo não deve ser usado no treino dos modelos fundacionais.

Se o site permitir os dois, a empresa diz que pode usar o resultado de um único rastreamento para os dois casos, para evitar rastreamento duplicado.

O efeito de bloquear o token de busca é concreto. Segundo a OpenAI, sites que saem do OAI-SearchBot não são mostrados nas respostas de busca do ChatGPT, embora ainda possam aparecer como links de navegação.

A empresa recomenda permitir o OAI-SearchBot no robots.txt e liberar as faixas de IP publicadas. Mudanças no robots.txt podem levar cerca de 24 horas para os sistemas se ajustarem.

Há ainda o ChatGPT-User, usado em ações dentro do ChatGPT e de GPTs personalizados. Como a visita é iniciada por um usuário, a OpenAI avisa que regras de robots.txt podem não se aplicar. Esse token não serve para gerenciar a presença na busca. O detalhamento está em Como permitir ou bloquear GPTBot, OAI-SearchBot e ChatGPT-User.

PerplexityBot serve só à busca

A Perplexity descreve o PerplexityBot como o bot que exibe e linka sites nos resultados de busca da plataforma. A empresa afirma que ele não é usado para rastrear conteúdo destinado a modelos fundacionais de IA.

A recomendação é permitir o PerplexityBot no robots.txt e liberar as faixas de IP publicadas. Já o Perplexity-User atende ações de usuários e geralmente ignora regras de robots.txt, porque a busca foi pedida por uma pessoa.

User-agent sozinho não prova quem é o bot

O Google alerta que a string de user-agent HTTP pode ser falsificada. Seus crawlers comuns geralmente rastreiam a partir das faixas de IP publicadas, com DNS reverso no formato crawl-***-***-***-***.googlebot.com ou geo-crawl-***-***-***-***.geo.googlebot.com.

A Perplexity orienta configurar WAF — em Cloudflare e AWS WAF — combinando correspondência de user-agent com verificação de IP. Também recomenda atualizar as faixas a partir dos endpoints JSON oficiais, que mudam com o tempo. Por isso, verificar IP e DNS reverso é o que separa o bot legítimo de uma imitação.

Para bloquear por caminho ou página, e não por bot, vale comparar robots.txt vs meta robots vs X-Robots-Tag e revisar o guia de criação de robots.txt.