Crawl budget: como o Google rastreia sites grandes e o que otimizar

Crawl budget é o conjunto de URLs que o Google pode e quer rastrear. O guia do Google, atualizado em 22 de julho de 2026, explica para quais sites isso importa e o que cortar do rastreamento.

Dois limites definem o crawl budget

A web é um espaço quase infinito, que excede a capacidade do Google de explorar cada URL acessível publicamente. Por isso existem limites de tempo e de recursos que a empresa dedica a rastrear um único site. A alocação desses recursos é o crawl budget.

A infraestrutura de rastreamento trata como site um hostname único: https://www.example.com/ e https://code.example.com/ são sites separados, com budgets separados. O budget combina quanto o Google consegue puxar e quanto ele quer puxar.

Segundo o Google, mesmo que o limite de capacidade não seja atingido, uma demanda baixa faz o site ser rastreado menos. A documentação também separa rastreamento de indexação: para a Busca, não é toda página rastreada que será indexada. Depois do rastreamento, cada página passa por avaliação, consolidação e análise.

Na prática, o guia serve a sites grandes

O próprio Google classifica o material como um guia avançado. Se o site não tem muitas páginas que mudam rápido, não é preciso se aprofundar. O mesmo vale quando as páginas parecem ser rastreadas no mesmo dia em que são publicadas.

Nesses casos, manter o sitemap atualizado e conferir com regularidade o relatório de indexação de páginas é considerado suficiente.

A recomendação mira três perfis:

• Sites grandes (1 milhão ou mais de páginas únicas) com conteúdo que muda com frequência moderada, como uma vez por semana.
• Sites médios ou maiores (10 mil ou mais de páginas únicas) com conteúdo que muda muito rapidamente, como diariamente.
• Sites com uma grande parte das URLs classificada no Search Console como "Discovered – currently not indexed".

O Google ressalva que esses números são estimativas grosseiras para classificar o site, não limiares exatos.

O limite de capacidade depende da saúde do servidor

O Google afirma que quer rastrear o site sem sobrecarregar o servidor. Para isso, os rastreadores calculam um limite de capacidade de rastreamento, também chamado de hostload. Ele restringe o tempo total que o servidor passa mantendo conexões abertas para o Google, considerando o número de conexões paralelas e a duração de cada uma.

Todo site começa com o mesmo limite padrão, conservador. Se houver demanda para rastrear mais e o site continuar saudável, os sistemas do Google ajustam esse limite automaticamente ao longo do tempo. O limite pode subir ou descer conforme:

• Saúde de rastreamento: se o site responde de forma consistente e os tempos de resposta — incluindo latência e Time-to-First Byte — ficam estáveis ou melhoram, o limite sobe. Se o site fica mais lento, responde com erros de servidor (status HTTP 5xx) ou dá sinais de rate limiting (como HTTP 429), o limite cai e o Google rastreia menos.
• Limites do próprio Google: os recursos da empresa, embora extensos, são finitos, e precisam ser distribuídos por toda a web.

A demanda muda conforme o rastreador

Cada rastreador tem a sua própria demanda, definida por fatores específicos daquele produto. O AdsBot costuma ter demanda maior quando o site veicula alvos dinâmicos de anúncio. O Google Shopping tem demanda maior pelos produtos presentes nos feeds do comerciante.

Para o Googlebot, a demanda varia conforme o tamanho do site, a frequência de atualização, a qualidade das páginas e a relevância, sempre em comparação com outros sites. Três fatores o publisher consegue influenciar:

• Inventário percebido: sem orientação do site, o Google tenta rastrear todas ou a maioria das URLs que conhece. Se muitas delas são duplicatas, ou não deveriam ser rastreadas por outro motivo (removidas, sem importância), o tempo de rastreamento é desperdiçado. Segundo o Google, é o fator mais controlável pelo site.
• Popularidade: URLs mais populares na internet tendem a ser rastreadas com mais frequência, para se manterem atualizadas nos sistemas da empresa.
• Obsolescência (staleness): os sistemas querem rastrear os documentos com frequência suficiente para captar mudanças.

Eventos amplos, como uma migração de site, podem elevar a demanda para reprocessar o conteúdo sob as novas URLs. A demanda é individual de cada rastreador, mas o limite de capacidade é compartilhado: demanda alta de um rastreador pode reduzir a capacidade disponível para os demais.

Nove boas práticas para gastar menos rastreamento

A documentação lista um conjunto de medidas para maximizar a eficiência de rastreamento:

1. Gerencie o inventário de URLs. Use as ferramentas adequadas para dizer ao Google o que rastrear e o que não rastrear. Se os rastreadores gastam tempo em URLs que não deveriam, podem deixar de explorar o restante do site ou não elevar o crawl budget.
2. Consolide conteúdo duplicado. O objetivo é concentrar o rastreamento em conteúdo único, não em URLs únicas.
3. Bloqueie URLs no robots.txt. Exemplos citados são páginas de rolagem infinita que repetem informação de páginas linkadas e versões da mesma página com ordenações diferentes. O guia como criar um robots.txt detalha a sintaxe. Não use noindex para isso: o Google ainda requisita a página. Ele só a descarta ao ver a meta tag ou o cabeçalho, e isso desperdiça tempo de rastreamento — a diferença está em noindex vs disallow no robots.txt. Também não use robots.txt para realocar budget temporariamente. O Google não repassa a capacidade liberada para outras páginas, a menos que já esteja batendo no limite de capacidade do site.
4. Retorne 404 ou 410 para páginas removidas em definitivo. O Google não esquece uma URL que conhece, mas o 404 é um sinal forte para não rastreá-la de novo. URLs bloqueadas permanecem mais tempo na fila de rastreamento e voltam a ser rastreadas quando o bloqueio é removido.
5. Elimine soft 404. Essas páginas continuam sendo rastreadas e consomem budget; o relatório de indexação de páginas aponta os casos.
6. Mantenha os sitemaps atualizados. O Google lê o sitemap com regularidade. A recomendação é incluir todo o conteúdo que se quer rastreado, com a tag <lastmod> quando houver atualizações.
7. Evite cadeias longas de redirecionamento, que afetam negativamente o rastreamento.
8. Torne as páginas eficientes de carregar. Otimize tempos de resposta do servidor e recursos. Use cache HTTP com suporte a status 304 (Not Modified): se a página não mudou desde o último rastreamento, o 304 manda o Google reutilizar a versão em cache.
9. Depure problemas de crawl budget. Verifique se houve problemas de disponibilidade durante o rastreamento e procure formas de tornar o rastreamento mais eficiente.

Como conseguir mais crawl budget

A documentação aponta duas formas. A primeira é adicionar recursos de servidor, quando o site não consegue ser rastreado por capacidade do próprio servidor — caso em que a ferramenta de inspeção de URL exibe "Hostload exceeded".

A segunda é melhorar a qualidade do conteúdo para o produto do Google que se quer atingir. Para a Busca, o Google cita popularidade, valor geral para o usuário, unicidade do conteúdo e capacidade de servir.