Robots d'IA et robots.txt : lesquels autoriser, et comment
Les entreprises d'IA envoient des robots différents pour la recherche, pour l'entraînement de leurs modèles et pour les pages qu'une personne leur demande de lire. Autorisez les robots de recherche pour apparaître dans les réponses des IA. L'entraînement, c'est votre choix.
Robots de recherche
Autorisez-les pour apparaître dans les réponses des moteurs de recherche à IA.
- OAI-SearchBotOAI-SearchBot trouve les pages pour la recherche de ChatGPT. Bloquez-le, et la recherche de ChatGPT ne montre plus vos pages dans ses réponses.
- Claude-SearchBotClaude-SearchBot explore des pages pour améliorer les résultats de recherche de Claude. Anthropic dit que le bloquer peut réduire votre visibilité.
- PerplexityBotPerplexityBot trouve des pages et les lie dans les résultats de recherche de Perplexity. Perplexity dit qu'il n'explore pas pour l'entraînement de modèles.
- bingbotBingbot explore pour la recherche Bing, et les consignes de Bing disent que Copilot utilise la même exploration et le même index. Bloquez-le, et vous perdez les deux.
Robots d'entraînement
Les bloquer ne vous retire pas de la recherche par IA. C'est votre choix.
- GPTBotGPTBot collecte des pages qui peuvent servir à entraîner les modèles d'OpenAI. Le bloquer ne vous retire pas de la recherche de ChatGPT.
- ClaudeBotClaudeBot collecte des pages qui pourraient aider à entraîner les modèles d'Anthropic. Le bloquer est votre choix. Cela ne vous retire pas de la recherche de Claude.
Robots déclenchés par une personne
Ils chargent une page quand quelqu'un pose une question à un assistant d'IA.
- ChatGPT-UserChatGPT-User visite une page quand une personne le demande dans ChatGPT. Ce n'est pas un robot de recherche, et OpenAI dit que robots.txt peut ne pas s'appliquer.
- Claude-UserClaude-User visite des pages quand une personne pose une question à Claude. Le bloquer peut réduire votre visibilité dans les recherches que les gens font dans Claude.
- Perplexity-UserPerplexity-User charge une page quand une personne pose une question à Perplexity. Perplexity dit qu'il ignore en général robots.txt, car une personne l'a demandé.
Jetons de contrôle
Ce ne sont pas des robots : une ligne de robots.txt décide de l'usage de pages déjà explorées.
Recherche et entraînement
Un même robot pour la recherche, et un jeton à part pour refuser l'entraînement.
Découvrez quelles pages de votre site manquent sur Google
Connectez-vous avec Google. CrawlCoach vérifie gratuitement jusqu'à 500 pages et vous montre la correction pour chaque problème.
Obtenir mon rapport gratuitGratuit jusqu'à 500 pages. Sans carte bancaire. Connectez-vous avec le compte Google que vous utilisez pour la Search Console.
L'application et les rapports CrawlCoach sont en anglais.