Claude-User: was er ist, und robots.txt

Claude-User besucht Seiten, wenn eine Person Claude eine Frage stellt. Ihn zu sperren, kann Ihre Sichtbarkeit bei Suchen verringern, die Menschen in Claude starten.

Was Claude-User macht

Laut Anthropic unterstützt Claude-User die Nutzer von Claude. Stellen Menschen Claude Fragen, besucht es vielleicht Websites mit diesem Agent.

Er ist kein Crawler, der nach eigenem Zeitplan durchs Web zieht. Er ruft Seiten für die Anfrage einer Person ab.

User-Agent

Die Hilfeseite von Anthropic nennt das Token Claude-User, veröffentlicht aber keinen vollständigen User-Agent. Prüfen Sie auf Claude-User und gleichen Sie die IP mit der Liste von Anthropic ab.

robots.txt

Laut Anthropic können Websitebetreiber mit Claude-User steuern, welche Websites diese von Nutzern ausgelösten Anfragen erreichen, und seine Bots halten sich an die robots.txt.

Das unterscheidet sich von OpenAI und Perplexity, die sagen, dass die robots.txt für ihre von Nutzern ausgelösten Abrufe vielleicht nicht gilt.

Erlauben:

User-agent: Claude-User
Allow: /

Sperren:

User-agent: Claude-User
Disallow: /

Was Sie mit einer Sperre verlieren

Laut Anthropic hindert eine Sperre Claude-User daran, Ihre Inhalte für die Frage eines Nutzers abzurufen. Das kann Ihre Sichtbarkeit bei Websuchen verringern, die Nutzer steuern.

Prüfen, ob die Anfrage echt ist

Prüfen Sie die IP der Anfrage gegen die veröffentlichte Liste von Anthropic.

IP-Adressen der Crawler von Anthropic (JSON)

Firewall und Bot-Schutz

Bot-Regeln, die alle KI-Agents sperren, treffen auch Claude-User. Erlauben Sie ihn, wenn Menschen Claude nach Ihren Seiten fragen können sollen.
Nutzen Sie Cloudflare, öffnen Sie Security Settings > Configure AI bot policies und stellen Sie Search auf Allow (do not block). Laut Cloudflare-Dokumentation sperrt seit dem 15. September 2026 das Blockieren von Training auch Crawler, die Suche und Training zugleich erledigen.

Mit CrawlCoach

CrawlCoach prüft Claude-SearchBot, den Suchcrawler von Anthropic, in der robots.txt und durch Ihre Firewall. Die von Personen ausgelösten Abrufe der Anbieter lässt es bei seinen Prüfungen aus.

Häufige Fragen

Hält sich Claude-User an die robots.txt?

Laut Anthropic halten sich seine Bots an die robots.txt, und mit Claude-User steuern Sie, welche Websites Nutzeranfragen erreichen. Ein Disallow für Claude-User sollte ihn also stoppen.

Sollte ich Claude-User sperren?

Meist nicht. Er kommt nur, wenn eine Person Claude nach etwas fragt. Sperren Sie ihn, kann Claude Ihre Seite für diese Person nicht lesen.

Quellen

Geprüft am 8. Oktober 2026. Google ändert die Search Console und die Hilfe ab und zu. Sieht etwas auf Ihrem Bildschirm anders aus, sehen Sie in der Quelle nach.

Anthropic: Crawlt Anthropic Daten im Web, und wie können Websitebetreiber den Crawler sperren? (auf Englisch)

Claude-User: was er ist und ob Sie ihn sperren sollten