ClaudeBot: user agent e robots.txt

Q: Come blocco ClaudeBot?

Aggiungi User-agent: ClaudeBot e Disallow: / al robots.txt di ogni sottodominio. Anthropic dice che robots.txt è il modo per escluderti. Il blocco degli IP può non funzionare bene.

Q: Posso rallentare ClaudeBot invece di bloccarlo?

Sì. Anthropic supporta Crawl-delay. Per esempio: User-agent: ClaudeBot e poi Crawl-delay: 1.

ClaudeBot raccoglie pagine che possono aiutare ad addestrare i modelli di Anthropic. Bloccarlo è una tua scelta, e non ti toglie dalla ricerca di Claude.

Cosa fa

Anthropic dice che ClaudeBot raccoglie contenuti dal web che possono contribuire ad addestrare i suoi modelli di AI generativa. Quando un sito blocca ClaudeBot, Anthropic dice che i contenuti futuri del sito vengono esclusi dai dati di addestramento. Anthropic usa altri due agenti: Claude-SearchBot per la ricerca e Claude-User per le pagine che una persona chiede a Claude di leggere. Ognuno ha la sua impostazione in robots.txt.

User agent

La guida di Anthropic indica il token ClaudeBot ma non pubblica la stringa completa. Cerca ClaudeBot nello user agent e controlla l'IP con l'elenco di Anthropic.

robots.txt

Anthropic dice che i suoi bot rispettano robots.txt e non provano a superare i CAPTCHA. Supporta anche la riga Crawl-delay, che quasi tutti i crawler ignorano: usala per rallentare ClaudeBot invece di bloccarlo. Aggiungi la regola nel robots.txt di ogni sottodominio che vuoi coprire.

User-agent: ClaudeBot
Disallow: /

Cosa costa bloccarlo

Le tue pagine future restano fuori dai dati di addestramento di Anthropic. I risultati di ricerca di Claude sono un'impostazione a parte, Claude-SearchBot, quindi bloccare ClaudeBot non ti nasconde lì.

Verifica e firewall

Anthropic pubblica un solo elenco IP per i suoi bot, e dice che un crawler con un IP in quell'elenco viene da Anthropic. Avvisa anche che bloccare i suoi IP invece di usare robots.txt può non funzionare come esclusione, perché così non può leggere il tuo robots.txt. Una regola del firewall che blocca "Anthropic" o "Claude" per nome può prendere anche Claude-SearchBot e Claude-User: blocca solo ClaudeBot se vuoi fermare solo l'addestramento.

Se usi Cloudflare, apri Security Settings > Configure AI bot policies e imposta Search su Allow (do not block). La documentazione di Cloudflare dice che dal 15 settembre 2026 bloccare Training blocca anche i crawler che fanno sia ricerca sia addestramento.

Con CrawlCoach

Bloccare ClaudeBot è una tua scelta, quindi CrawlCoach non lo segnala. Segnala invece le regole di robots.txt e i rifiuti del firewall che colpiscono Claude-SearchBot, il crawler usato dalla ricerca di Claude.

Domande frequenti

Come blocco ClaudeBot?

Aggiungi User-agent: ClaudeBot e Disallow: / al robots.txt di ogni sottodominio. Anthropic dice che robots.txt è il modo per escluderti. Il blocco degli IP può non funzionare bene.

Posso rallentare ClaudeBot invece di bloccarlo?

Sì. Anthropic supporta Crawl-delay. Per esempio: User-agent: ClaudeBot e poi Crawl-delay: 1.

Fonti

Verificato il 8 ottobre 2026. Google cambia ogni tanto Search Console e la sua guida. Se sul tuo schermo vedi qualcosa di diverso, controlla la fonte.

ClaudeBot: cosa fa il crawler di Anthropic e come bloccarlo