ClaudeBot: qué hace el rastreador de Anthropic y cómo bloquearlo

Qué hace

Anthropic dice que ClaudeBot recoge contenido web que podría contribuir a entrenar sus modelos de IA generativa.

Cuando un sitio bloquea ClaudeBot, Anthropic dice que el contenido futuro de ese sitio debe quedar fuera de sus conjuntos de datos de entrenamiento.

Anthropic tiene otros dos agentes: Claude-SearchBot para la búsqueda y Claude-User para las páginas que una persona le pide leer a Claude. Cada uno tiene su propio ajuste de robots.txt.

User agent

La página de ayuda de Anthropic da el token de robots.txt ClaudeBot, pero no publica la cadena de user agent completa. Busca ClaudeBot en el user agent y comprueba la IP con la lista de Anthropic.

robots.txt

Anthropic dice que sus bots respetan robots.txt y no intentan saltarse los CAPTCHA.

Anthropic también admite la línea Crawl-delay, que la mayoría de los rastreadores ignoran. Úsala para frenar a ClaudeBot en lugar de bloquearlo. Añade la regla al robots.txt de cada subdominio que quieras cubrir.

# Permitirlo
User-agent: ClaudeBot
Allow: /

# Bloquearlo
User-agent: ClaudeBot
Disallow: /

Lo que pierdes si lo bloqueas

• Tus páginas futuras quedan fuera de los datos de entrenamiento de Anthropic.
• Los resultados de búsqueda de Claude son un ajuste aparte, Claude-SearchBot, así que bloquear ClaudeBot no te oculta ahí.

Cómo comprobar que es real

Anthropic publica una sola lista de IP para sus bots: lista de IP de los rastreadores de Anthropic (JSON). Anthropic dice que un rastreador con una IP de origen de esa lista viene de Anthropic.

Anthropic avisa de que bloquear sus IP en lugar de usar robots.txt puede no funcionar como exclusión, porque entonces no puede leer tu robots.txt.

Cortafuegos

Si una regla de cortafuegos bloquea "Anthropic" o "Claude" por nombre, puede atrapar también a Claude-SearchBot y Claude-User. Bloquea solo ClaudeBot si lo único que quieres parar es el entrenamiento.

Si usas Cloudflare, abre Security Settings > Configure AI bot policies y pon Search en Allow (do not block). La documentación de Cloudflare dice que, desde el 15 de septiembre de 2026, bloquear Training también bloquea los rastreadores que hacen búsqueda y entrenamiento a la vez.

Por qué CrawlCoach no lo marca

Bloquear ClaudeBot es decisión tuya, así que CrawlCoach no lo marca. Sí avisa de las reglas de robots.txt y de los rechazos del cortafuegos que afectan a Claude-SearchBot, el rastreador que usa la búsqueda de Claude.

Preguntas frecuentes

Fuentes

Revisado el 8 de octubre de 2026. Google cambia Search Console y su ayuda de vez en cuando. Si algo no coincide con lo que ves en pantalla, consulta la fuente.

• Anthropic: ¿Anthropic rastrea datos de la web y cómo pueden bloquear el rastreador los propietarios de sitios? (en inglés)
• Documentación de Cloudflare: bloquear bots de IA y políticas de bots de IA (en inglés)