Guia · AI Search/GEO
Google-Extended: o que é e como configurar no robots.txt
O token do Google controla o uso do conteúdo rastreado no treino de modelos Gemini e no grounding, mas não afeta a inclusão na Busca nem serve como sinal de ranqueamento.
Em 30 segundos
- O Google-Extended é um token de robots.txt que controla o uso do conteúdo rastreado no treino de modelos Gemini e no grounding.
- Ele não afeta a inclusão na Busca nem o ranqueamento, e não substitui regras para o Googlebot e os demais agentes.
- Para bloquear, use um grupo `user-agent: Google-Extended` com `disallow: /` no robots.txt.
O Google-Extended é um token de robots.txt que permite ao publisher controlar o uso do conteúdo rastreado no treino de modelos Gemini e no grounding. Ele não afeta a inclusão na Busca nem o ranqueamento.
O que é o Google-Extended
O Google-Extended é um token de produto independente, usado no robots.txt, e não um crawler. A definição está na página de crawlers comuns do Google, atualizada em 30 de outubro de 2026.
A mesma página diz que ele não afeta a inclusão do site na Busca nem serve como sinal de ranqueamento.
O token não tem string de user agent HTTP própria: o rastreamento continua sendo feito com os user agents que o Google já utiliza.
Na prática, não é um robô novo nem um "bloqueio de crawler" no sentido tradicional. Ele só declara a preferência de uso, sem mudar qual agente faz a requisição ao servidor.
O que o token controla
Segundo o Google, o token cobre dois usos:
- Treino de modelos: o uso do conteúdo para treinar futuras gerações de modelos Gemini que alimentam o Gemini Apps e a API Vertex AI para Gemini.
- Grounding: o fornecimento de conteúdo do índice da Busca ao modelo no momento do prompt. Isso melhora factualidade e relevância no Gemini Apps e no Grounding with Google Search do Vertex AI.
O jornal já detalhou os três usos que IAs fazem do seu conteúdo.
O que o Google-Extended não controla
O token não interfere em três frentes: a Busca, o rastreamento e os outros produtos do Google.
- Inclusão na Busca e ranqueamento. A própria documentação diz que o token não impacta a presença do site no Google Search nem funciona como sinal de ranking.
- O rastreamento em si. O rastreamento é feito pelos user agents existentes do Google. Uma regra para o Google-Extended não substitui regras para o Googlebot ou para os demais agentes.
- Outros produtos do Google. A lista de crawlers comuns inclui tokens separados como Googlebot, Googlebot-Image, Googlebot-Video, Googlebot-News, Storebot-Google, Google-InspectionTool, GoogleOther (com variantes de imagem e vídeo) e Google-CloudVertexBot.
Cada entrada descreve os produtos afetados, e alguns não afetam nenhum produto específico. A comparação entre os principais agentes de busca e de IA está em crawlers de IA comparados.
A documentação lembra ainda que os crawlers comuns do Google sempre obedecem às regras do robots.txt quando rastreiam automaticamente. Ou seja: o robots.txt segue sendo o lugar onde as preferências de rastreamento — e, no caso do Google-Extended, de uso — são declaradas.
Como configurar no robots.txt
Quatro passos bastam para declarar a preferência:
- Localize o arquivo robots.txt do site, na raiz do domínio. Se ele ainda não existe, o passo a passo está em como criar um robots.txt.
- Crie um grupo de regras começando pela linha
user-agent: Google-Extended. O token é escrito exatamente assim. - Defina os caminhos com
allowedisallow. O formato é o mesmo de qualquer grupo de robots.txt. - Publique o arquivo e confira o resultado em
/robots.txtno navegador.
O exemplo de grupo usado pela própria documentação do Google é:
user-agent: Google-Extended
allow: /archive/1Q84
disallow: /archive/
Para declarar que o conteúdo do site não deve ser usado nos usos cobertos pelo token, a regra pode apontar para a raiz:
user-agent: Google-Extended
disallow: /
Vale uma ressalva de sintaxe: alguns crawlers do Google têm mais de um token de user agent. Nesses casos, basta que a regra case com um dos tokens para ser aplicada. O Google-Extended aparece com um único token de user agent.
O que observar nos próximos meses
O Google informa que pretende suportar o sinal compartilhado e legível por máquina de preferência de treino AIPREF, com user-agent: __usage_ai-training, no início de 2027.
A adoção de um padrão comum é o movimento que o jornal acompanhou quando o Google passou a apoiar um controle compartilhado de treino de IA para sites.
Dois pontos de atenção técnicos vêm da mesma página. A string de user agent HTTP pode ser falsificada, e o Google mantém orientação para verificar se um visitante é realmente um crawler da empresa.
A lista de crawlers comuns também não é exaustiva. Ela cobre apenas os solicitantes mais prováveis de aparecer em arquivos de log e sobre os quais o Google recebeu perguntas.
O que muda na prática
Revise o robots.txt para saber se o site já declara uma preferência sobre o uso do conteúdo no treino de modelos Gemini e no grounding. Lembre que a regra não altera a inclusão do site na Busca nem o ranqueamento, e que o rastreamento continua sendo feito pelos user agents existentes do Google.
Checagem das afirmações
- Fato
O Google-Extended é um token de robots.txt que permite a publishers gerenciar se o conteúdo rastreado de seus sites pode ser usado no treino de futuras gerações de modelos Gemini e no grounding em Gemini Apps e no Grounding with Google Search do Vertex AI.
- Fato
O Google-Extended não tem string de user agent HTTP própria: o rastreamento é feito com user agents existentes do Google e o token é usado em capacidade de controle.
- Fato
Segundo o Google, o Google-Extended não afeta a inclusão de um site na Busca do Google nem é usado como sinal de ranqueamento.
- Fato
O Google afirma que pretende suportar o sinal compartilhado e legível por máquina de preferência de treino AIPREF, com "user-agent: __usage_ai-training", no início de 2027.
- Fato
A página de documentação sobre os crawlers comuns do Google foi atualizada em 30 de outubro de 2026.
Fontes
Primárias
- Google's common crawlers — Google, acessado em 4 de novembro de 2026