Claude-SearchBot: user agent e robots.txt

A Anthropic diz que o Claude-SearchBot rastreia a web para melhorar a qualidade dos resultados de busca para quem usa o Claude, e para deixar as respostas de busca mais relevantes e precisas.

O que ele faz

Ele é separado do ClaudeBot, que coleta dados de treinamento. Você pode liberar um e bloquear o outro.

User agent

A ajuda da Anthropic dá o token Claude-SearchBot, mas não publica o user agent completo. Procure Claude-SearchBot e confira o IP na lista da Anthropic.

robots.txt

A Anthropic diz que os bots dela respeitam o robots.txt e aceitam Crawl-delay.

Para liberar:

User-agent: Claude-SearchBot
Allow: /

Para bloquear:

User-agent: Claude-SearchBot
Disallow: /

O que você perde ao bloquear

A Anthropic diz que bloquear o Claude-SearchBot impede que ele indexe o seu conteúdo para busca, o que pode reduzir a sua visibilidade e a precisão nos resultados de busca do Claude.

Como saber se é ele de verdade

Confira o IP do pedido na lista publicada pela Anthropic (link nas fontes).

Firewall

Uma regra que bloqueia “Claude” ou “Anthropic” pelo nome pega o Claude-SearchBot também. Se você só quer parar o treinamento, bloqueie apenas o ClaudeBot. Se você usa a Cloudflare, abra Security Settings > Configure AI bot policies e deixe Search em Allow (não bloqueie). A documentação da Cloudflare diz que, desde 15 de setembro de 2026, bloquear Training também bloqueia os rastreadores que fazem busca e treinamento.

Com o CrawlCoach

Em todo plano pago, o CrawlCoach lê o seu robots.txt e aponta regras que bloqueiam o Claude-SearchBot nas suas páginas públicas que estão no Google. Ele também pede uma página pública como Claude-SearchBot e como um rastreador comum, e avisa quando um firewall provavelmente recusa o Claude-SearchBot.

Perguntas frequentes

Devo liberar o Claude-SearchBot?

Sim, se você quer suas páginas nas respostas de busca do Claude. A Anthropic diz que bloquear pode reduzir a sua visibilidade ali. O treinamento é outra configuração: o ClaudeBot.

ClaudeBot ou Claude-SearchBot: qual a diferença?

O ClaudeBot coleta páginas que podem treinar os modelos da Anthropic. O Claude-SearchBot rastreia para os resultados de busca do Claude. Cada um lê o próprio grupo no robots.txt.

Fontes

Conferido em 8 de outubro de 2026. O Google muda o Search Console e a ajuda de tempos em tempos. Se algo estiver diferente na sua tela, confira a fonte.

Claude-SearchBot: o rastreador de busca da Anthropic, e por que liberar