Google pretende apoiar controle compartilhado de treino de IA no robots.txt

O Google anunciou em 30 de outubro de 2026 que pretende apoiar no robots.txt um controle compartilhado de treino de IA. O sinal único, previsto para 2027, não substitui o Google-Extended.

Um token único no lugar de instruções por fornecedor

O controle compartilhado troca instruções separadas por desenvolvedor por um "policy token" único dentro do robots.txt. Com ele, o site declara sua preferência a vários provedores de uma só vez.

A proposta se baseia no trabalho do grupo AIPREF, do IETF (Internet Engineering Task Force), e foi detalhada no blog do Google Search Central. Segundo a empresa, a intenção é apoiar o novo controle em 2027, em conjunto com outros provedores de IA. O anúncio descreve um plano e uma proposta em draft, não um recurso já em operação.

O plano segue pedidos de publishers e o código da UE

O Google afirma que a proposta reflete pedidos de publishers, grupos da sociedade civil, reguladores e outras partes interessadas. O alvo são controles de treino válidos para toda a indústria, e a empresa diz que seguirá o trabalho de padronização no IETF.

O texto também é consistente, segundo o Google, com o Código de Prática para Modelos de IA de Uso Geral (GPAI) da UE. Esse código reconhece o robots.txt como método primário para publishers expressarem preferências legíveis por máquina.

Recusar treino sem citar o Google-Extended conta como bloqueio

Um site pode usar o token de política para recusar o treino sem citar o Google-Extended de forma explícita. Nesse caso, o Google pretende interpretar isso como bloqueio ao Google-Extended. Outros provedores podem tratar o sinal da mesma forma, o que permite recusar o treino em todos os participantes ou escolher caso a caso.

A documentação de rastreadores do Google indica que o sinal previsto é user-agent: __usage_ai-training. A intenção é suportá-lo no início de 2027.

O Google-Extended continua valendo ao lado do sinal conjunto

O Google-Extended é o controle de treino que o Google oferece desde 2023. Com a proposta, os controles específicos de cada empresa continuam funcionando ao lado do sinal conjunto. O site pode combinar uma preferência ampla com instruções ajustadas a um desenvolvedor.

Segundo a documentação, é um token de robots.txt sem string de user agent própria. O rastreamento continua sendo feito pelos user agents do Google, e o token vale como controle.

Ele define se o conteúdo rastreado pode ser usado para treinar gerações futuras dos modelos Gemini. Esses modelos alimentam o Gemini Apps e a API Vertex AI para Gemini.

Vale também para grounding no Gemini Apps e no Grounding with Google Search do Vertex AI. Grounding é o fornecimento de conteúdo do índice da Busca ao modelo, no momento do prompt.

A mesma documentação afirma que o Google-Extended não afeta a inclusão na Busca Google nem é usado como sinal de ranqueamento. Pelas regras atuais, sites que permitem explicitamente o Google-Extended ficam elegíveis a aparecer em respostas e a receber cliques via grounding no Gemini Apps.

Nada precisa ser alterado agora

Nenhuma mudança é necessária neste momento: o suporte ao novo controle está previsto para 2027, e o Google prometeu informar o andamento. A configuração atual segue válida.

• Quem já usa o Google-Extended pode manter o token, que funciona ao lado do novo sinal.
• O Google-Extended segue como o controle disponível para expressar a preferência de treino.
• Vale registrar por escrito a política de treino do site, para comparar quando o recurso estiver disponível.

O guia de robots.txt cobre os cuidados básicos de configuração.