Claude-SearchBot: User-Agent und robots.txt

Claude-SearchBot crawlt Seiten, um die Suchergebnisse von Claude zu verbessern. Laut Anthropic kann eine Sperre Ihre Sichtbarkeit dort verringern.

Was Claude-SearchBot macht

Laut Anthropic crawlt Claude-SearchBot das Web, um die Qualität der Suchergebnisse für Nutzer von Claude zu verbessern und Suchantworten relevanter und genauer zu machen.

Er ist von ClaudeBot getrennt, der Trainingsdaten sammelt. Sie können den einen erlauben und den anderen sperren.

User-Agent

Die Hilfeseite von Anthropic nennt das Token Claude-SearchBot, veröffentlicht aber keinen vollständigen User-Agent. Prüfen Sie auf Claude-SearchBot und gleichen Sie die IP mit der Liste von Anthropic ab.

robots.txt

Laut Anthropic halten sich seine Bots an die robots.txt und unterstützen Crawl-delay.

Erlauben:

User-agent: Claude-SearchBot
Allow: /

Sperren:

User-agent: Claude-SearchBot
Disallow: /

Was Sie mit einer Sperre verlieren

Laut Anthropic hindert eine Sperre Claude-SearchBot daran, Ihre Inhalte für die Suche zu indexieren. Das kann Ihre Sichtbarkeit und Genauigkeit in den Suchergebnissen von Claude verringern.

Prüfen, ob die Anfrage echt ist

Prüfen Sie die IP der Anfrage gegen die veröffentlichte Liste von Anthropic.

IP-Adressen der Crawler von Anthropic (JSON)

Firewall und Bot-Schutz

Eine Regel, die „Claude“ oder „Anthropic“ über den Namen sperrt, trifft auch Claude-SearchBot. Wollen Sie nur das Training stoppen, sperren Sie nur ClaudeBot.
Nutzen Sie Cloudflare, öffnen Sie Security Settings > Configure AI bot policies und stellen Sie Search auf Allow (do not block). Laut Cloudflare-Dokumentation sperrt seit dem 15. September 2026 das Blockieren von Training auch Crawler, die Suche und Training zugleich erledigen.

Mit CrawlCoach

In jedem kostenpflichtigen Tarif liest CrawlCoach Ihre robots.txt und meldet Regeln, die Claude-SearchBot von Ihren öffentlichen Seiten fernhalten, die bei Google sind. Außerdem ruft es eine öffentliche Seite als Claude-SearchBot und als einfacher Crawler ab und sagt Ihnen, wenn eine Firewall Claude-SearchBot vermutlich abweist.

Häufige Fragen

Sollte ich Claude-SearchBot erlauben?

Ja, wenn Ihre Seiten in den Suchantworten von Claude erscheinen sollen. Laut Anthropic kann eine Sperre Ihre Sichtbarkeit dort verringern. Das Training ist eine eigene Einstellung: ClaudeBot.

ClaudeBot oder Claude-SearchBot: Was ist der Unterschied?

ClaudeBot sammelt Seiten, die die Modelle von Anthropic trainieren können. Claude-SearchBot crawlt für die Suchergebnisse von Claude. Jeder liest seine eigene Gruppe in der robots.txt.

Quellen

Geprüft am 8. Oktober 2026. Google ändert die Search Console und die Hilfe ab und zu. Sieht etwas auf Ihrem Bildschirm anders aus, sehen Sie in der Quelle nach.

Claude-SearchBot: der Suchcrawler von Anthropic, und warum Sie ihn erlauben sollten