noindex vs bloqueio no robots.txt: por que bloquear não remove do índice

Bloquear uma URL no robots.txt não tira a página do Google: a documentação separa as duas ferramentas, e o noindex é o sinal que pede remoção dos resultados. Quando as duas regras aparecem juntas na mesma URL, o bloqueio anula o noindex.

O robots.txt controla o rastreamento, não a indexação

Na introdução ao robots.txt, o Google Search Central descreve o arquivo como a forma de informar aos rastreadores quais URLs eles podem acessar no site — não como um mecanismo para manter páginas fora do índice. O uso principal é evitar sobrecarga do servidor e deixar de fora páginas pouco importantes ou muito parecidas entre si.

A mesma página adverte: não use o robots.txt para esconder páginas da Busca. Se outras páginas apontam para a URL bloqueada com texto descritivo, o Google pode indexar o endereço sem visitar o conteúdo.

Nesse cenário, o resultado aparece sem descrição. Imagens, vídeos e PDFs embutidos na página bloqueada também ficam fora do rastreamento — a menos que sejam referenciados por páginas liberadas.

Para quem precisa bloquear rastreamento de fato, o procedimento está em como criar um robots.txt.

O noindex só funciona se a página for rastreada

O noindex é a regra que impede a indexação do conteúdo por buscadores que a suportam, como o Google. Segundo a documentação sobre bloqueio de indexação, quando o Googlebot rastreia a página e extrai a regra, o Google retira aquela página dos resultados — independentemente de outros sites linkarem para ela.

A documentação lista duas formas de implementar a regra, com o mesmo efeito: uma meta tag na seção <head> da página ou um cabeçalho HTTP de resposta. O mesmo texto alerta que especificar noindex dentro do robots.txt não é suportado pelo Google.

Meta tag

<meta name="robots" content="noindex">

Para atingir apenas os rastreadores do Google, a marcação troca robots por googlebot. O Google observa que o noindex pode ser combinado com outras regras, como o nofollow, e avisa que alguns buscadores interpretam a diretiva de forma diferente — por isso a página pode continuar aparecendo em resultados de outros buscadores.

Quem usa CMS como Wix, WordPress ou Blogger pode encontrar a opção em uma página de configurações de buscador, em vez de editar o HTML.

Cabeçalho HTTP

X-Robots-Tag: noindex

O cabeçalho é a alternativa para recursos não HTML, como PDFs, arquivos de vídeo e imagens, que não têm <head> para receber a meta tag. A documentação cita ainda a variante none como valor aceito no mesmo cabeçalho.

Bloqueio no robots.txt e noindex lado a lado

Critério	noindex (meta tag ou X-Robots-Tag)	Bloqueio no robots.txt
Papel descrito na documentação	Impedir a indexação do conteúdo	Gerenciar o tráfego de rastreadores
Tira a página dos resultados?	Sim, depois que o Googlebot rastreia e lê a regra	Não garante: a URL pode ser indexada se for linkada de outros sites
O rastreador precisa acessar a página?	Sim; se o acesso estiver bloqueado, a regra nunca é lida	Não; o bloqueio acontece antes do acesso ao conteúdo
Como implementar	<meta name="robots" content="noindex"> ou cabeçalho X-Robots-Tag: noindex	Bloqueio por entrada no arquivo robots.txt
Arquivos de mídia	Funciona pelo cabeçalho HTTP	A documentação trata o caso separadamente, para evitar que imagens, vídeos e áudios apareçam nos resultados

Por que o bloqueio vence o noindex

Para a regra funcionar, a página não pode estar bloqueada pelo robots.txt e precisa estar acessível ao rastreador. É o que diz a própria documentação do noindex.

Se o arquivo bloqueia a URL, o rastreador nunca chega a ver a meta tag ou o cabeçalho. A página pode continuar nos resultados — por exemplo, se outras páginas linkarem para ela.

O bloqueio corta o caminho antes de o sinal de indexação ser lido. A introdução ao robots.txt alerta que combinar regras de rastreamento e de indexação pode fazer com que uma anule a outra.

O detalhamento de cada mecanismo está em robots.txt vs meta robots vs X-Robots-Tag.

Como diagnosticar o problema

• Página ainda nos resultados: segundo o Google, provavelmente ela não foi rastreada desde que a regra foi adicionada. Dependendo da importância da página, o Googlebot pode levar meses para voltar; é possível pedir novo rastreamento pela ferramenta de inspeção de URL.
• Resultado sem descrição: acontece quando a página está bloqueada por robots.txt; para corrigir, edite o arquivo e remova a entrada que bloqueia a página.
• Meta tag ausente no HTML recebido: a inspeção de URL mostra o HTML que o Googlebot obteve ao rastrear. Se a regra não estiver lá, a implementação não chegou ao rastreador.
• Monitoramento contínuo: o relatório de indexação de páginas, no Search Console, acompanha as páginas das quais o Googlebot extraiu noindex.

Quando a necessidade é remover algo do ar rapidamente, o Google remete à documentação de remoções, e a alternativa mais segura para conteúdo privado é proteger a página com senha. As diretivas de noindex e como aplicá-las por página estão em como usar noindex corretamente.