Rastreadores de IA: cuáles permitir y cómo, en robots.txt y en tu cortafuegos
Cada empresa de IA tiene varios rastreadores, y no todos hacen lo mismo. Los de búsqueda deciden si tus páginas salen en las respuestas de ChatGPT, Claude, Perplexity o Copilot. Los de entrenamiento recogen páginas para entrenar modelos. Cada guía explica uno, con sus líneas exactas de robots.txt y cómo comprobar que la petición es real.
Búsqueda con IA
Rastreadores que encuentran páginas para mostrarlas y enlazarlas en las respuestas de búsqueda con IA. Déjalos pasar si quieres salir en esas respuestas.
- OAI-SearchBotOAI-SearchBot encuentra páginas para la búsqueda de ChatGPT. Si lo bloqueas, ChatGPT no mostrará tus páginas en sus respuestas.
- Claude-SearchBotClaude-SearchBot rastrea páginas para la búsqueda de Claude. Anthropic dice que bloquearlo puede reducir tu visibilidad ahí.
- PerplexityBotPerplexityBot encuentra y enlaza páginas en los resultados de Perplexity. Perplexity dice que no rastrea para entrenar modelos.
- BingbotBingbot rastrea para Bing, y Copilot usa el mismo rastreo e índice. Si lo bloqueas, pierdes los dos.
Entrenamiento de modelos
Rastreadores que recogen páginas que pueden servir para entrenar modelos. Bloquearlos es decisión tuya y no te saca de la búsqueda con IA.
Visitas que pide una persona
Agentes que abren una página porque una persona se lo pidió al asistente. No recorren la web por su cuenta.
- ChatGPT-UserChatGPT-User visita una página cuando una persona lo pide en ChatGPT. No es un rastreador de búsqueda.
- Claude-UserClaude-User visita páginas cuando una persona le pregunta a Claude. Bloquearlo puede reducir tu visibilidad en esas búsquedas.
- Perplexity-UserPerplexity-User carga una página cuando una persona pregunta a Perplexity. Perplexity dice que en general ignora robots.txt.
Tokens de control
Tokens de robots.txt que controlan cómo se usan las páginas rastreadas. No envían ninguna petición.
Búsqueda y entrenamiento
Un rastreador de búsqueda cuyas páginas también pueden servir para entrenar modelos, con un token aparte para el entrenamiento.
Descubre qué páginas de tu sitio se quedaron fuera de Google
Inicia sesión con Google. CrawlCoach revisa gratis hasta 500 páginas y te da la solución de cada problema.
Obtener mi informe gratisGratis hasta 500 páginas. Sin tarjeta. Inicia sesión con la cuenta de Google que usas en Search Console.
La aplicación y los informes de CrawlCoach están en inglés.