Claude-SearchBot: user agent y robots.txt

Claude-SearchBot rastrea páginas para mejorar los resultados de búsqueda de Claude. Anthropic dice que bloquearlo puede reducir tu visibilidad ahí.

Qué hace

Anthropic dice que Claude-SearchBot rastrea la web para mejorar la calidad de los resultados de búsqueda para los usuarios de Claude, y para que las respuestas sean más relevantes y precisas.

Es distinto de ClaudeBot, que recoge datos de entrenamiento. Puedes permitir uno y bloquear el otro.

User agent

La página de ayuda de Anthropic da el token Claude-SearchBot, pero no publica la cadena de user agent completa. Busca Claude-SearchBot y comprueba la IP con la lista de Anthropic.

robots.txt

Anthropic dice que sus bots respetan robots.txt y admiten Crawl-delay.

# Permitirlo
User-agent: Claude-SearchBot
Allow: /

# Bloquearlo
User-agent: Claude-SearchBot
Disallow: /

Lo que pierdes si lo bloqueas

Anthropic dice que bloquear Claude-SearchBot impide que indexe tu contenido para la búsqueda, lo que puede reducir tu visibilidad y la precisión en los resultados de búsqueda de Claude.

Cómo comprobar que es real

Compara la IP de la petición con la lista de IP de los rastreadores de Anthropic (JSON).

Cortafuegos

Una regla que bloquea "Claude" o "Anthropic" por nombre también atrapa a Claude-SearchBot. Si solo quieres parar el entrenamiento, bloquea solo ClaudeBot.

Si usas Cloudflare, abre Security Settings > Configure AI bot policies y pon Search en Allow (do not block). La documentación de Cloudflare dice que, desde el 15 de septiembre de 2026, bloquear Training también bloquea los rastreadores que hacen búsqueda y entrenamiento a la vez.

Lo que revisa CrawlCoach

En todos los planes de pago, CrawlCoach lee tu robots.txt y avisa de las reglas que bloquean a Claude-SearchBot en tus páginas públicas que están en Google. También pide una página pública como Claude-SearchBot y como un rastreador normal, y te avisa cuando probablemente un cortafuegos rechaza a Claude-SearchBot.

Preguntas frecuentes

¿Debo permitir Claude-SearchBot?

Sí, si quieres tus páginas en las respuestas de búsqueda de Claude. Anthropic dice que bloquearlo puede reducir tu visibilidad ahí. El entrenamiento es un ajuste aparte: ClaudeBot.

ClaudeBot o Claude-SearchBot: ¿qué diferencia hay?

ClaudeBot recoge páginas que podrían entrenar los modelos de Anthropic. Claude-SearchBot rastrea para los resultados de búsqueda de Claude. Cada uno lee su propio grupo de robots.txt.

Fuentes

Revisado el 8 de octubre de 2026. Google cambia Search Console y su ayuda de vez en cuando. Si algo no coincide con lo que ves en pantalla, consulta la fuente.

Claude-SearchBot: el rastreador de búsqueda de Anthropic, y por qué permitirlo