Claude-SearchBot: user agent e robots.txt

Claude-SearchBot scansiona pagine per migliorare i risultati di ricerca di Claude. Anthropic dice che bloccarlo può ridurre la tua visibilità lì.

Cosa fa

Anthropic dice che Claude-SearchBot scansiona il web per migliorare la qualità dei risultati di ricerca per chi usa Claude, e rendere le risposte più pertinenti e precise. È separato da ClaudeBot, che raccoglie dati di addestramento: puoi consentire l'uno e bloccare l'altro.

User agent

La guida di Anthropic indica il token Claude-SearchBot ma non pubblica la stringa completa. Cerca Claude-SearchBot e controlla l'IP con l'elenco di Anthropic.

robots.txt

Anthropic dice che i suoi bot rispettano robots.txt e supportano Crawl-delay.

User-agent: Claude-SearchBot
Allow: /

Cosa costa bloccarlo

Anthropic dice che bloccare Claude-SearchBot gli impedisce di indicizzare i tuoi contenuti per la ricerca, e questo può ridurre la tua visibilità e la precisione dei risultati di ricerca di Claude.

Verifica e firewall

Controlla l'IP della richiesta con l'elenco pubblicato da Anthropic. Una regola che blocca "Claude" o "Anthropic" per nome prende anche Claude-SearchBot. Se vuoi fermare solo l'addestramento, blocca solo ClaudeBot.

Se usi Cloudflare, apri Security Settings > Configure AI bot policies e imposta Search su Allow (do not block). La documentazione di Cloudflare dice che dal 15 settembre 2026 bloccare Training blocca anche i crawler che fanno sia ricerca sia addestramento.

Con CrawlCoach

Su ogni piano a pagamento, CrawlCoach legge il tuo robots.txt e segnala le regole che bloccano Claude-SearchBot sulle tue pagine pubbliche presenti su Google. Richiede anche una pagina pubblica come Claude-SearchBot e come crawler normale, e ti avvisa quando un firewall probabilmente lo respinge.

Domande frequenti

Devo consentire Claude-SearchBot?

Sì, se vuoi le tue pagine nelle risposte di ricerca di Claude. Anthropic dice che bloccarlo può ridurre la tua visibilità lì. L'addestramento è un'impostazione a parte: ClaudeBot.

Che differenza c'è tra ClaudeBot e Claude-SearchBot?

ClaudeBot raccoglie pagine che possono addestrare i modelli di Anthropic. Claude-SearchBot scansiona per i risultati di ricerca di Claude. Ognuno legge il suo gruppo in robots.txt.

Fonti

Verificato il 8 ottobre 2026. Google cambia ogni tanto Search Console e la sua guida. Se sul tuo schermo vedi qualcosa di diverso, controlla la fonte.

Claude-SearchBot: il crawler di ricerca di Anthropic, e perché consentirlo