KI-Crawler: welche Sie erlauben sollten, und wie
KI-Firmen schicken verschiedene Crawler: für die Suche, für das Training ihrer Modelle und für Seiten, nach denen eine Person fragt. Erlauben Sie die Suchcrawler, damit Sie in KI-Antworten erscheinen. Das Training ist Ihre Entscheidung. Sperren Sie nie Googlebot oder bingbot, um sich von KI abzumelden: Damit fallen Sie aus der Google- oder Bing-Suche und aus den KI-Antworten, die darauf aufbauen.
Suchcrawler
Sie finden Seiten für die Antworten von ChatGPT, Claude, Perplexity und Bing. Erlauben Sie sie, wenn Sie dort erscheinen wollen.
- OAI-SearchBotOAI-SearchBot findet Seiten für die Suche in ChatGPT. Sperren Sie ihn, zeigt ChatGPT Ihre Seiten nicht in Suchantworten.
- Claude-SearchBotClaude-SearchBot crawlt für die Suchergebnisse von Claude. Laut Anthropic kann eine Sperre Ihre Sichtbarkeit dort verringern.
- PerplexityBotPerplexityBot findet und verlinkt Seiten in den Suchergebnissen von Perplexity. Für Modelltraining crawlt er laut Perplexity nicht.
- BingbotBingbot crawlt für Bing, und laut Bing nutzt Copilot dasselbe Crawling und denselben Index. Eine Sperre kostet beides.
Trainings-Crawler
Sie sammeln Seiten, die Modelle trainieren können. Sie zu sperren, ist Ihre Entscheidung, und es kostet Sie keine Suchergebnisse.
Abrufe für eine Person
Sie laden eine Seite nur, wenn eine Person danach fragt. Für manche gilt die robots.txt laut Anbieter nicht.
- ChatGPT-UserChatGPT-User besucht eine Seite, wenn eine Person in ChatGPT danach fragt. Laut OpenAI gilt die robots.txt für ihn vielleicht nicht.
- Claude-UserClaude-User besucht Seiten, wenn eine Person Claude etwas fragt. Eine Sperre kann Ihre Sichtbarkeit in Claude verringern.
- Perplexity-UserPerplexity-User lädt eine Seite, wenn eine Person Perplexity fragt. Laut Perplexity ignoriert er die robots.txt meist.
robots.txt-Tokens
Kein eigener Crawler, sondern eine Regel in der robots.txt, die steuert, wofür gecrawlte Inhalte genutzt werden.
Suche und Training
Ein Crawler für die Suche, dazu ein eigenes Token, mit dem Sie sich vom Training abmelden.
Sehen Sie, welche Seiten Ihrer Website bei Google fehlen
Melden Sie sich mit Google an. CrawlCoach prüft bis zu 500 Seiten kostenlos und zeigt für jedes Problem die Lösung.
Kostenlosen Bericht holenKostenlos für bis zu 500 Seiten. Keine Kreditkarte nötig. Melden Sie sich mit dem Google-Konto an, das Sie für die Search Console nutzen.
Die App und die Berichte von CrawlCoach sind auf Englisch.