User agent Claude-User: qué es y robots.txt

Claude-User visita páginas cuando una persona le hace una pregunta a Claude. Bloquearlo puede reducir tu visibilidad en las búsquedas que la gente hace en Claude.

Qué hace

Anthropic dice que Claude-User da servicio a los usuarios de Claude. Cuando la gente le hace preguntas a Claude, puede visitar sitios web con este agente.

No es un rastreador que recorre la web según su propio calendario. Obtiene páginas para la petición de una persona.

User agent

La página de ayuda de Anthropic da el token Claude-User, pero no publica la cadena de user agent completa. Busca Claude-User y comprueba la IP con la lista de Anthropic.

robots.txt

Anthropic dice que Claude-User permite a los propietarios de sitios controlar a qué sitios pueden llegar estas peticiones de los usuarios, y que sus bots respetan robots.txt.

Eso es distinto de OpenAI y Perplexity, que dicen que puede que robots.txt no se aplique a sus agentes activados por usuarios.

# Permitirlo
User-agent: Claude-User
Allow: /

# Bloquearlo
User-agent: Claude-User
Disallow: /

Lo que pierdes si lo bloqueas

Anthropic dice que bloquear Claude-User impide que obtenga tu contenido para la pregunta de un usuario, lo que puede reducir tu visibilidad en las búsquedas que dirige el usuario.

Cómo comprobar que es real

Compara la IP de la petición con la lista de IP de los rastreadores de Anthropic (JSON).

Cortafuegos

Las reglas que bloquean todos los agentes de IA atrapan a Claude-User. Permítelo si quieres que la gente pueda preguntarle a Claude por tus páginas.

Si usas Cloudflare, abre Security Settings > Configure AI bot policies y pon Search en Allow (do not block). La documentación de Cloudflare dice que, desde el 15 de septiembre de 2026, bloquear Training también bloquea los rastreadores que hacen búsqueda y entrenamiento a la vez.

Lo que revisa CrawlCoach

CrawlCoach revisa Claude-SearchBot, el rastreador de búsqueda de Anthropic, en robots.txt y a través de tu cortafuegos. Deja fuera de sus revisiones a los agentes que activa una persona, de todas las empresas.

Preguntas frecuentes

¿Claude-User respeta robots.txt?

Anthropic dice que sus bots respetan robots.txt y que Claude-User te permite controlar a qué sitios pueden llegar las peticiones de los usuarios. Así que un Disallow para Claude-User debería pararlo.

¿Debo bloquear Claude-User?

Normalmente no. Solo visita cuando una persona le pregunta a Claude por algo. Bloquearlo significa que Claude no puede leer tu página para esa persona.

Fuentes

Revisado el 8 de octubre de 2026. Google cambia Search Console y su ayuda de vez en cuando. Si algo no coincide con lo que ves en pantalla, consulta la fuente.

Anthropic: ¿Anthropic rastrea datos de la web y cómo pueden bloquear el rastreador los propietarios de sitios? (en inglés)

Claude-User: qué es y si debes bloquearlo