robots.txt vs meta robots vs X-Robots-Tag: qual usar em cada caso

robots.txt, meta robots e X-Robots-Tag não são alternativas entre si: cada um age numa etapa diferente do caminho entre rastrear e exibir uma página. Usar o mecanismo errado anula a diretiva de indexação.

robots.txt controla o acesso, não a indexação

O arquivo informa aos rastreadores quais URLs podem ser acessadas no site. O uso principal é evitar sobrecarga no servidor com requisições, não manter páginas fora do Google.

Segundo a documentação do Google, o robots.txt "não é um mecanismo para manter uma página web fora do Google" (tradução livre). Para esse fim, a recomendação é bloquear a indexação com noindex ou proteger a página com senha.

Bloquear tem efeito colateral. Se outras páginas apontam para uma URL bloqueada com texto descritivo, o Google pode indexar o endereço sem visitar o conteúdo — o resultado aparece sem descrição.

Imagens, vídeos, PDFs e outros arquivos embutidos nela também ficam fora do rastreamento, a menos que sejam referenciados por páginas liberadas.

A documentação lista outras limitações:

• as regras podem não ser seguidas por todos os buscadores;
• cada rastreador interpreta a sintaxe à sua maneira;
• o arquivo não impede que terceiros linkem para uma imagem, um vídeo ou um áudio.

Para conteúdo sensível, a orientação é proteção por senha.

O meta robots decide a indexação, página a página

A meta tag define como um documento HTML deve ser indexado e servido nos resultados. É a abordagem granular, por página, e não impede o acesso ao arquivo.

Ela fica na seção <head>, mas o Google avisa que não exige essa posição: também respeita a tag no body do documento.

<meta name="robots" content="noindex">

O valor robots no atributo name aplica a regra a todos os rastreadores. Tanto name quanto content não diferenciam maiúsculas de minúsculas.

Para falar com um rastreador específico, o Google suporta apenas 2 tokens: googlebot, para resultados de texto, e googlebot-news, para resultados de notícias. Outros valores são ignorados.

As regras podem ser combinadas ou separadas em várias tags. A lista inclui noindex, nofollow, none, nosnippet, indexifembedded, max-snippet, max-image-preview, max-video-preview, notranslate, noimageindex e unavailable_after.

Sobre IA, a documentação é explícita. nosnippet vale para todos os formatos de resultado, incluindo AI Overviews e AI Mode, e impede o uso do conteúdo como entrada direta nesses recursos.

O mesmo raciocínio se aplica ao limite de caracteres definido em max-snippet. Já noarchive, nocache e nositelinkssearchbox estão na lista de regras históricas que o Google Search não usa mais.

O X-Robots-Tag leva as regras para arquivos não HTML

PDFs, imagens e vídeos não têm <head> para receber uma meta tag. Nesses casos, o Google indica o cabeçalho HTTP X-Robots-Tag, que aceita qualquer regra do meta robots.

HTTP/1.1 200 OK
X-Robots-Tag: noindex

O cabeçalho pode ser repetido ou trazer uma lista separada por vírgulas. Também pode nomear um user agent (o robô que faz a requisição) antes da regra, como X-Robots-Tag: googlebot: nofollow.

Regras sem user agent valem para todos os rastreadores, e cabeçalho, nome e valores não são sensíveis a maiúsculas.

A vantagem apontada na documentação é aplicar regras globalmente pelo servidor, com apoio a expressões regulares. Em Apache, um bloco <Files ~ "\.pdf$"> com Header set X-Robots-Tag "noindex, nofollow" atinge todos os PDFs do site.

Em NGINX, a instrução equivalente usa location ~* \.pdf$ com add_header.

Qual usar em cada caso

Antes de bloquear, confirme se o mecanismo corresponde ao objetivo: robots.txt para rastreamento, noindex ou X-Robots-Tag para indexação.

Situação	Mecanismo indicado	Por quê
Reduzir a carga do servidor	robots.txt	O arquivo existe para gerenciar o tráfego de rastreadores
Evitar rastrear páginas internas de busca ou páginas muito parecidas	robots.txt	É o uso descrito para páginas sem importância
Tirar uma página dos resultados de busca	noindex (meta robots ou X-Robots-Tag)	O robots.txt não remove páginas do índice
Impedir a indexação de um PDF, vídeo ou imagem	X-Robots-Tag	O meta robots só existe em HTML
Evitar que imagens da página sejam indexadas	noimageindex	Regra específica para imagens
Impedir trecho e uso como entrada direta em AI Overviews e AI Mode	nosnippet (ou max-snippet:0)	A documentação estende essas regras a todos os formatos de resultado
Limitar o tamanho do trecho e da entrada direta	max-snippet:[número]	A regra define um máximo de caracteres, sem impedir o trecho
Retirar a página dos resultados em uma data	unavailable_after	Regra de exibição documentada
Proteger conteúdo confidencial	Senha no servidor	Nenhuma diretiva impede o acesso ao arquivo

Um Disallow no robots.txt anula o noindex

Meta robots e X-Robots-Tag são descobertos quando a URL é rastreada. Se o robots.txt impede o rastreamento, essas informações não são encontradas e a diretiva de indexação é ignorada.

Na prática, um Disallow em uma página que também tem noindex a deixa fora dos resultados apenas enquanto o endereço não for descoberto por links externos.

Quando há regras conflitantes, vale a mais restritiva: uma página com max-snippet:50 e nosnippet recebe o nosnippet.

A mesma lógica se aplica a tags de rastreadores diferentes — o Google soma as regras negativas e aplica o conjunto mais restritivo.

Para revisar a lógica do par mais confundido, veja o comparativo noindex vs disallow no robots.txt e o passo a passo de como criar um robots.txt. A lista completa de diretivas está em meta robots e X-Robots-Tag: todas as diretivas.