ClaudeBot: was der Crawler von Anthropic tut und wie Sie ihn sperren

Was ClaudeBot macht

Laut Anthropic sammelt ClaudeBot Webinhalte, die zum Training seiner generativen KI-Modelle beitragen können.

Sperrt eine Website ClaudeBot, sollen ihre künftigen Inhalte laut Anthropic aus seinen Trainingsdaten bleiben.

Anthropic betreibt zwei weitere Agents: Claude-SearchBot für die Suche und Claude-User für Seiten, die eine Person Claude lesen lässt. Jeder hat seine eigene robots.txt-Einstellung.

User-Agent

Die Hilfeseite von Anthropic nennt das robots.txt-Token ClaudeBot, veröffentlicht aber keinen vollständigen User-Agent. Prüfen Sie auf ClaudeBot im User-Agent und gleichen Sie die IP mit der Liste von Anthropic ab.

robots.txt

Laut Anthropic halten sich seine Bots an die robots.txt und versuchen nicht, CAPTCHAs zu umgehen.

Anthropic unterstützt auch die Zeile Crawl-delay, die die meisten Crawler ignorieren. Nutzen Sie sie, um ClaudeBot zu bremsen, statt ihn zu sperren.

Setzen Sie die Regel in die robots.txt jeder Subdomain, die sie abdecken soll.

Erlauben:

User-agent: ClaudeBot
Allow: /

Sperren:

User-agent: ClaudeBot
Disallow: /

Was Sie mit einer Sperre verlieren

• Ihre künftigen Seiten bleiben aus den Trainingsdaten von Anthropic.
• Die Suchergebnisse von Claude sind eine eigene Einstellung, Claude-SearchBot. ClaudeBot zu sperren, verbirgt Sie dort also nicht.

Prüfen, ob die Anfrage echt ist

• Anthropic veröffentlicht eine IP-Liste für seine Bots. Laut Anthropic kommt ein Crawler mit einer Quell-IP auf dieser Liste von Anthropic.
• Anthropic warnt, dass eine Sperre seiner IPs statt der robots.txt als Abmeldung vielleicht nicht funktioniert, weil es Ihre robots.txt dann nicht lesen kann.

• IP-Adressen der Crawler von Anthropic (JSON)

Firewall und Bot-Schutz

• Sperrt eine Firewall-Regel „Anthropic“ oder „Claude“ über den Namen, trifft sie vielleicht auch Claude-SearchBot und Claude-User. Sperren Sie nur ClaudeBot, wenn Sie nur das Training stoppen wollen.
• Nutzen Sie Cloudflare, öffnen Sie Security Settings > Configure AI bot policies und stellen Sie Search auf Allow (do not block). Laut Cloudflare-Dokumentation sperrt seit dem 15. September 2026 das Blockieren von Training auch Crawler, die Suche und Training zugleich erledigen.

Mit CrawlCoach

ClaudeBot zu sperren, ist Ihre Entscheidung, deshalb meldet CrawlCoach es nicht. Gemeldet werden robots.txt-Regeln und Abweisungen durch die Firewall, die Claude-SearchBot treffen, den Crawler hinter der Suche von Claude.

Häufige Fragen

Quellen

Geprüft am 8. Oktober 2026. Google ändert die Search Console und die Hilfe ab und zu. Sieht etwas auf Ihrem Bildschirm anders aus, sehen Sie in der Quelle nach.

• Anthropic: Crawlt Anthropic Daten im Web, und wie können Websitebetreiber den Crawler sperren? (auf Englisch)
• Cloudflare-Dokumentation: KI-Bots blockieren und KI-Bot-Richtlinien (auf Englisch)