Rastreadores de IA: quais liberar no robots.txt e quais bloquear
Alguns rastreadores de IA levam o seu site às respostas de busca. Outros coletam páginas para treinar modelos. Libere os de busca, se você quer aparecer nas respostas de IA. Os de treinamento são escolha sua. Cada guia traz o token exato, o user agent e as linhas do robots.txt.
Rastreadores de busca
Acham páginas para mostrar e citar nas respostas de busca de IA. Bloquear tira você dessas respostas.
- OAI-SearchBotO OAI-SearchBot acha páginas para a busca do ChatGPT. Bloqueie e o ChatGPT não mostra suas páginas nas respostas. Veja como liberar.
- Claude-SearchBotO Claude-SearchBot rastreia páginas para melhorar os resultados de busca do Claude. A Anthropic diz que bloquear pode reduzir a sua visibilidade.
- PerplexityBotO PerplexityBot acha e cita páginas nos resultados de busca do Perplexity. O Perplexity diz que ele não rastreia para treinar modelos.
- BingbotO Bingbot rastreia para o Bing, e as diretrizes do Bing dizem que o Copilot usa o mesmo rastreamento e índice. Bloqueie e você perde os dois.
Rastreadores de treinamento
Coletam páginas que podem treinar modelos. Bloquear é escolha sua e não tira você da busca.
Visitas pedidas por uma pessoa
Abrem uma página quando alguém pede ao assistente. Não rastreiam a web por conta própria.
- ChatGPT-UserO ChatGPT-User visita uma página quando uma pessoa no ChatGPT pede. Não é rastreador de busca, e a OpenAI diz que o robots.txt pode não valer.
- Claude-UserO Claude-User visita páginas quando uma pessoa pergunta algo ao Claude. Bloquear pode reduzir a sua visibilidade nas buscas feitas no Claude.
- Perplexity-UserO Perplexity-User carrega uma página quando uma pessoa pergunta algo ao Perplexity. O Perplexity diz que ele em geral ignora o robots.txt.
Tokens de controle
Uma linha no robots.txt que controla o uso do conteúdo. Não mandam nenhum pedido.
Busca e treinamento
Um rastreador de busca cujas páginas também podem treinar modelos, com um token à parte para o treinamento.
Veja quais páginas do seu site estão fora do Google
Entre com sua conta Google. O CrawlCoach confere até 500 páginas de graça e mostra a correção de cada problema.
Gerar meu relatório grátisGrátis para até 500 páginas. Sem cartão. Entre com a conta Google que você usa no Search Console.
O app e os relatórios do CrawlCoach estão em inglês.