Como criar um robots.txt: sintaxe, regras, testes e erros comuns

O robots.txt é um arquivo de texto que informa aos rastreadores de buscadores quais URLs eles podem acessar em um site. Segundo a documentação do Google, ele serve principalmente para evitar sobrecarga do servidor com requisições de rastreadores — e não é um mecanismo para manter uma página fora do Google.

O guia de criação mantido pela empresa descreve quatro etapas: criar o arquivo, adicionar regras, publicá-lo na raiz do site e testá-lo.

O robots.txt controla rastreamento, não indexação

O arquivo informa aos rastreadores quais URLs eles podem acessar, e nada além disso. Ele segue o padrão conhecido como Robots Exclusion Standard. O uso principal é evitar sobrecarga do servidor, não esconder páginas.

Cada regra bloqueia ou libera o acesso a um caminho no domínio ou subdomínio onde o arquivo está hospedado. Ela vale para todos os rastreadores ou para um rastreador específico. Pela documentação, todo arquivo é liberado por padrão: a menos que o robots.txt diga o contrário, tudo pode ser rastreado.

Para páginas web (HTML, PDF e outros formatos que o Google consegue ler), o uso principal é administrar o volume de requisições. Vale quando há risco de o servidor ser sobrecarregado. Vale também para evitar o rastreamento de páginas pouco importantes ou semelhantes entre si.

Para arquivos de mídia, ele pode impedir que imagens, vídeos e áudios apareçam nos resultados de busca.

Para esconder páginas do Google, use noindex

O Google faz uma ressalva explícita: não se deve usar o robots.txt para esconder páginas dos resultados de busca. Se outras páginas apontarem para a URL com texto descritivo, o Google pode indexá-la mesmo sem visitá-la. O resultado pode aparecer sem descrição.

Nesses casos, a orientação é usar noindex ou proteção por senha. O tema está no comparativo noindex vs disallow no robots.txt.

A documentação também lista limites:

• As regras podem não ser suportadas por todos os buscadores.
• Cada rastreador pode interpretar a sintaxe de forma diferente.
• Instruções de rastreamento e de indexação combinadas podem se anular.

Vale conhecer as diferenças entre robots.txt, meta robots e X-Robots-Tag antes de decidir o que bloquear.

O arquivo é único e fica na raiz do host

O site pode ter apenas um robots.txt, e ele precisa ficar na raiz do host ao qual se aplica. As demais exigências de formato e localização são igualmente rígidas:

• O arquivo precisa se chamar robots.txt.
• O site pode ter apenas um robots.txt.
• Ele deve ficar na raiz do host ao qual se aplica. Para controlar todas as URLs abaixo de https://www.example.com/, o arquivo tem de estar em https://www.example.com/robots.txt. Não vale um subdiretório como https://example.com/pages/robots.txt.
• O arquivo pode ser publicado em um subdomínio ou em portas não padrão. Mas vale apenas para os caminhos dentro do protocolo, host e porta onde está hospedado. As regras de https://example.com/robots.txt não valem para https://m.example.com/ nem para http://example.com/.
• O arquivo precisa ser texto codificado em UTF-8. O Google pode ignorar caracteres fora dessa faixa, o que pode invalidar regras.

Quem não tem acesso à raiz do site deve usar outro método de bloqueio, como meta tags. Sites em CMS como Wix ou Blogger podem nem exigir edição direta do arquivo. A plataforma costuma oferecer uma página de configurações de busca.

Cada grupo começa por uma linha User-agent

Um robots.txt é formado por um ou mais grupos, e cada grupo começa por uma linha User-agent. Essa linha define a quem as regras se aplicam.

Os rastreadores processam os grupos de cima para baixo. Um user agent pode casar com apenas um conjunto de regras: o primeiro grupo mais específico que corresponder a ele. Se houver vários grupos para o mesmo user agent, eles são combinados em um só antes do processamento.

Linhas que não correspondem a nenhuma diretiva conhecida são ignoradas. O caractere # inicia um comentário.

Diretiva	Obrigatória?	O que faz
User-agent	Sim, e pode haver mais de um por grupo	Define a quem as regras se aplicam. O asterisco casa com todos os rastreadores, exceto os diversos rastreadores AdsBot, que precisam ser nomeados explicitamente.
Disallow / Allow	Pelo menos uma das duas por grupo	O caminho é relativo à raiz do domínio e começa com /. Quando se refere a um diretório, termina com /. Para uma página, use o nome completo como aparece no navegador. O Allow libera uma subpasta ou página dentro de um diretório bloqueado, sobrepondo o Disallow.
Sitemap	Não, e pode aparecer mais de uma vez no arquivo	A URL precisa ser completa: o Google não assume nem verifica variações de http/https ou com e sem www. Sitemaps indicam o que o site quer que seja rastreado, e não o que pode ou não ser rastreado. O passo a passo está em Sitemap XML: como criar e enviar.

O asterisco em User-agent casa com todos os rastreadores, exceto os diversos rastreadores AdsBot. Esses precisam ser nomeados explicitamente:

User-agent: Googlebot
User-agent: AdsBot-Google
Disallow: /

Todas as regras, exceto Sitemap, aceitam o asterisco como curinga para prefixo, sufixo ou a string inteira de um caminho.

O exemplo do Google bloqueia o Googlebot em uma pasta

No exemplo completo dado pelo Google, o Googlebot fica fora de uma pasta. Todos os outros rastreadores continuam liberados para o site inteiro:

User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Nesse caso, o Googlebot não pode rastrear URLs que começam com https://example.com/nogooglebot/. Todos os outros user agents podem rastrear o site inteiro — o que poderia ser omitido, já que o padrão é permitir. O sitemap do site está em https://www.example.com/sitemap.xml.

Como publicar e testar: 4 passos

1. Crie o arquivo em um editor de texto simples, como Notepad, TextEdit, vi ou emacs. Não use processador de texto. Eles costumam salvar em formato proprietário e inserir caracteres inesperados, como aspas curvas, que atrapalham os rastreadores. Se o diálogo de salvamento pedir, escolha UTF-8.
2. Adicione as regras.
3. Envie o arquivo para a raiz do site. O procedimento depende da hospedagem e da arquitetura do servidor.
4. Teste o acesso público abrindo uma janela de navegação privada e visitando o endereço do arquivo, por exemplo https://example.com/robots.txt. Se o conteúdo aparecer, falta validar a marcação.

Para validar, o Google oferece duas opções. O relatório robots.txt no Search Console só funciona para arquivos já acessíveis no site. A biblioteca open source de robots.txt, usada pelo próprio Google Search, permite testar o arquivo localmente no computador.

O envio ao Google é automático: depois de publicado e testado, os rastreadores encontram e passam a usar o arquivo sozinhos. Só existe um passo extra quando o arquivo é atualizado e o site precisa que o Google renove a cópia em cache o mais rápido possível.

Erros comuns

• Tratar o robots.txt como bloqueio de indexação. Ele controla rastreamento; para retirar uma página dos resultados, use noindex corretamente ou proteja o conteúdo com senha.
• Publicar o arquivo em um subdiretório, onde ele não é lido.
• Esquecer que as regras diferenciam maiúsculas de minúsculas: Disallow: /file.asp não bloqueia /FILE.asp.
• Presumir que o asterisco bloqueia os rastreadores AdsBot.
• Criar o arquivo em um processador de texto e salvá-lo com aspas curvas.
• Empilhar regras de rastreamento e de indexação que se contradizem.