Bing “URLs that are robots.txt disallowed”: ache a regra e corrija

Onde aparece

No Bing Webmaster Tools, abra o Site Explorer e aplique o filtro “URLs that are robots.txt disallowed”. O robots.txt tester mostra qual linha bloqueia uma página.

O que significa

As diretrizes do Bing dizem que o robots.txt controla o rastreamento, não o que o Bing mostra. A ajuda do Bing também diz que uma página bloqueada ainda pode aparecer nos resultados sem descrição. Para deixar uma página fora do Bing, use noindex, e deixe o Bingbot rastrear a página para ver a regra.

As causas mais comuns

• Uma regra Disallow feita para uma pasta também pega páginas que você quer. Por exemplo, Disallow: /p também bloqueia /produtos/.
• Existe um grupo User-agent: bingbot. Aí o Bingbot segue só esse grupo e pula as regras do *, inclusive as linhas Allow.
• O Disallow: / do site de teste foi ao ar junto com o site.
• Um plugin, um tema ou uma configuração da plataforma escreveu regras por você.
• Arquivos CSS ou JavaScript bloqueados, e o Bingbot não consegue renderizar a página.

Como descobrir a causa

1. Abra seudominio.com.br/robots.txt no navegador. Leia todos os grupos, não só o User-agent: *.
2. No Bing Webmaster Tools, abra o robots.txt tester. Digite a página em Test URL, deixe Bingbot selecionado e clique em Test. Ele mostra a linha que bloqueia.
3. Pelo Site Explorer, você manda um endereço bloqueado direto para o robots.txt tester.
4. Se você usa um plugin de SEO ou um criador de sites, confira a configuração de robots.txt dele. Ele pode refazer o arquivo a cada salvamento.

Como resolver

1. Apague ou estreite a regra que bloqueia páginas que você quer no Bing. Termine regras de pasta com uma barra, como Disallow: /privado/.
2. Se você mantém um grupo bingbot, copie para ele todas as regras do grupo * que também devem valer para o Bing.
3. Libere os arquivos CSS e JavaScript de que as páginas precisam.
4. Suba o arquivo novo. No robots.txt tester, clique em Fetch latest e teste a página de novo.
5. Clique em Request indexing na URL Inspection para as páginas que mais importam.

Ignore em páginas que você bloqueia de propósito: áreas de administração, carrinhos, busca interna e combinações de filtros sem fim. As diretrizes do Bing sugerem bloquear caminhos de rastreamento como esses.

Com o CrawlCoach

Nos planos pagos, o CrawlCoach lê o seu robots.txt e aponta regras que bloqueiam o Bingbot nas suas páginas públicas que estão no Google. Ele faz o mesmo com os rastreadores de busca do ChatGPT, do Claude, do Perplexity e da Apple. A correção diz o rastreador e as páginas, e o CrawlCoach confere o arquivo de novo depois que você muda.

Perguntas frequentes

Fontes

Conferido em 8 de outubro de 2026. O Google muda o Search Console e a ajuda de tempos em tempos. Se algo estiver diferente na sua tela, confira a fonte.

• Ajuda do Bing Webmaster Tools: Site Explorer (em inglês)
• Ajuda do Bing Webmaster Tools: robots.txt tester (em inglês)
• Diretrizes do Bing para webmasters (em inglês)
• Ajuda do Bing Webmaster Tools: por que meu site não está no índice? (em inglês)
• Ajuda do Bing Webmaster Tools: Crawl control (em inglês)
• Ajuda do Bing Webmaster Tools: quais rastreadores o Bing usa? (em inglês)