Crawler AI e robots.txt: cosa consentire e cosa bloccare
I crawler AI non sono tutti uguali. Alcuni trovano pagine per le risposte di ricerca, altri raccolgono dati per addestrare modelli, altri visitano una pagina solo quando una persona lo chiede. Qui trovi ogni crawler con il suo token esatto, le righe di robots.txt per consentirlo o bloccarlo e cosa perdi se lo blocchi.
Crawler di ricerca
Trovano pagine da mostrare e collegare nelle risposte di ricerca AI. Se li blocchi, quelle risposte non ti mostrano.
- OAI-SearchBotTrova pagine per la ricerca di ChatGPT. Bloccalo e ChatGPT non ti mostra nelle risposte.
- Claude-SearchBotScansiona pagine per i risultati di ricerca di Claude. Bloccarlo può ridurre la tua visibilità.
- PerplexityBotTrova e collega pagine nei risultati di Perplexity. Perplexity dice che non serve all'addestramento.
- BingbotScansiona per Bing, e Copilot usa la stessa scansione e lo stesso indice. Bloccalo e perdi entrambi.
Crawler di addestramento
Raccolgono pagine che possono addestrare i modelli. Bloccarli è una tua scelta e non cambia la ricerca.
Visite chieste da una persona
Caricano una pagina quando una persona lo chiede all'assistente. Alcuni fornitori dicono che robots.txt può non valere.
Token di controllo
Un token di robots.txt che decide come vengono usate le pagine scansionate. Non manda richieste.
Ricerca e addestramento
Un crawler di ricerca le cui pagine possono anche addestrare modelli, con un token a parte per l'addestramento.
Scopri quali pagine del tuo sito mancano su Google
Accedi con Google. CrawlCoach controlla gratis fino a 500 pagine e ti dà la soluzione per ogni problema.
Ottieni il report gratuitoGratis fino a 500 pagine. Nessuna carta richiesta. Accedi con l'account Google che usi per Search Console.
L'app e i report di CrawlCoach sono in inglese.