Treino, grounding e busca: os três usos que IAs fazem do seu conteúdo

Treinar um modelo, sustentar uma resposta gerada e aparecer na busca são 3 usos diferentes do mesmo conteúdo. Bing, Google e OpenAI dão controles separados a cada um — e bloquear tudo junto fecha mais portas do que o site queria.

Treino, grounding e busca são decisões separadas

São 3 usos com efeitos distintos, e cada um responde a uma pergunta própria.

• Treino: usar o conteúdo para mudar os parâmetros aprendidos de um modelo generativo. Afeta modelos futuros, não a resposta que o usuário vê hoje.
• Grounding: usar o conteúdo como entrada para informar uma resposta gerada em tempo real. Afeta a chance de o material ser usado e citado nessa resposta.
• Busca: rastrear e indexar a página para os resultados tradicionais.

Segundo o Bing, indexar e ranquear páginas nos resultados de busca tradicionais não é grounding. São camadas distintas, com efeitos distintos.

No Bing, treino e grounding têm controles separados

O Bing separa treino e grounding em duas famílias de preferências independentes. O anúncio saiu em outubro de 2026 no blog de busca do Bing e é assinado por Krishna Madhavan, gerente de produto principal da Microsoft Bing.

A preferência de treino é compartilhada. Vem do grupo de trabalho IETF AI Preferences, descrito em um Internet-Draft, e é escrita em robots.txt com o token __usage_ai-training.

# bloquear treino para o site inteiro
User-Agent: __usage_ai-training
Disallow: /

O grounding só existe por página

O grounding aceita 3 valores e não tem versão site-wide em robots.txt. A preferência vai por meta tag ou cabeçalho HTTP.

• Allow: padrão quando nada é declarado.
• DisallowExtended: limita o uso a experiências operadas pela Microsoft — AI Mode, AI Overview, Copilot e Microsoft 365 — e exclui serviços de grounding fornecidos a terceiros, como Web IQ e o acesso por API no Foundry.
• Disallow.

<meta name="Bingbot" content="ai-grounding:disallow">

As novas preferências substituem NoArchive e NoCache. A Microsoft passa a respeitá-las conforme rastreia, a partir de 1º de fevereiro de 2027.

Quem usava NoArchive ou NoCache em 15 de dezembro de 2026 e quer manter a restrição de grounding tem até 1º de março de 2027. É preciso publicar a preferência nas páginas e registrar uma preferência temporária no Bing Webmaster Tools.

A ferramenta abriu em 15 de dezembro de 2026 e vale até 30 de setembro de 2027 ou o recrawl, o que vier antes.

A empresa ressalva que nenhuma das escolhas garante inclusão, tráfego ou pagamento.

Dois limites práticos aparecem no próprio guia. As configurações regem o uso do conteúdo, não o acesso de rastreamento: um Allow não sobrepõe uma regra que bloqueia o Bingbot.

E publicar não é ativar: a Microsoft precisa rastrear a página para descobrir a preferência. O IndexNow pode sinalizar a mudança e aumentar a chance de recrawl, mas não garante data.

Vale comparar com o que já foi publicado em Bing separa preferências de treino e grounding.

No Google, o Google-Extended cobre treino e grounding no Gemini

O Google-Extended controla treino e grounding no Gemini, não a Busca. A documentação de crawlers comuns do Google, atualizada em 30 de outubro de 2026, trata o Google-Extended de forma diferente dos demais.

Ele não tem user agent HTTP próprio. O rastreamento usa os user agents existentes, e o token de robots.txt funciona "em capacidade de controle", em tradução livre.

O Google-Extended decide se o conteúdo rastreado pode treinar futuras gerações de modelos Gemini. Esses modelos alimentam o Gemini Apps e a Vertex AI API for Gemini.

O token também cobre grounding no Gemini Apps e no Grounding with Google Search no Vertex AI. A documentação define grounding como fornecer conteúdo do índice da Busca ao modelo no momento do prompt.

A página afirma que o token não afeta a inclusão do site na Busca e não é usado como sinal de ranqueamento. Também informa que o Google pretende suportar o sinal de treino compartilhado do AIPREF, com user-agent: __usage_ai-training, no início de 2027.

É um contraste com o Googlebot, que carrega as preferências da Busca. Regras endereçadas a ele afetam a Busca, incluindo Discover e todos os recursos, além de produtos como Imagens, Vídeo e News.

Quem quiser detalhes de configuração pode ver o guia do Google-Extended e o comparativo entre crawlers de IA.

Na OpenAI, GPTBot e OAI-SearchBot respondem a perguntas diferentes

Cada robô da OpenAI tem uma finalidade declarada, e treino e busca não dividem o mesmo. O GPTBot rastreia conteúdo que pode ser usado no treino dos modelos de fundação; desabilitá-lo indica que o conteúdo não deve ser usado para treino.

O OAI-SearchBot existe para busca: é ele que sustenta a exibição de sites nos recursos de busca do ChatGPT. A empresa avisa que sites fora do OAI-SearchBot não aparecem nas respostas do ChatGPT search, embora ainda possam surgir como links de navegação.

As configurações são independentes. Um site pode permitir o OAI-SearchBot para aparecer na busca e desabilitar o GPTBot para indicar que o conteúdo não deve ser usado em treino.

Se ambos estiverem liberados, a OpenAI diz que pode aproveitar o resultado de um único rastreamento para os dois usos.

Para resultados de busca, a OpenAI informa que seus sistemas podem levar cerca de 24 horas após a atualização do robots.txt para se ajustarem. O passo a passo está em como permitir ou bloquear GPTBot e OAI-SearchBot.

Dois robôs completam a lista. O ChatGPT-User atende ações disparadas por usuários, não faz rastreamento automático e, por isso, regras de robots.txt podem não se aplicar. A OpenAI ressalva que ele não decide a presença em resultados de busca.

O OAI-AdsBot visita apenas páginas enviadas como anúncios, para validar conformidade. Os dados que coleta não são usados para treinar modelos de fundação.

O que os controles não fazem

Nenhum desses controles, sozinho, promete aparição em resposta de IA, tráfego ou pagamento.

• Não garantem inclusão, tráfego ou remuneração, como a Microsoft afirma sobre as preferências de treino e grounding.
• Não substituem o bloqueio de rastreamento: governam o uso do conteúdo depois que ele é acessado.
• Não valem no dia em que são publicados: dependem de recrawl para serem descobertos.
• Não são idênticos entre empresas: o Bing tem preferência de grounding por página; a OpenAI separa treino e busca por robô; o Google usa um token para treino e grounding no Gemini.