ClaudeBot: Anthropic のクローラーの役割とブロックの方法

何をするか

Anthropic には他に 2 つのエージェントがあります。検索用の Claude-SearchBot と、人が Claude に読むよう頼んだページを読む Claude-User です。それぞれに robots.txt の設定があります。

ユーザー エージェント

Anthropic のヘルプは robots.txt のトークン ClaudeBot を示していますが、完全なユーザー エージェント文字列は公開していません。ユーザー エージェントの ClaudeBot で照合し、IP を Anthropic の一覧と照らし合わせます。

robots.txt

Anthropic によると、同社のボットは robots.txt に従い、CAPTCHA を突破しようとはしません。多くのクローラーが無視する Crawl-delay にも対応しているので、ブロックせずに ClaudeBot を遅くできます。対象にしたいすべてのサブドメインの robots.txt にルールを入れます。

# ブロックする
User-agent: ClaudeBot
Disallow: /

# ブロックせずに遅くする
User-agent: ClaudeBot
Crawl-delay: 1

ブロックすると失うもの

今後のページが Anthropic の学習データから外れます。Claude の検索結果は別の設定（Claude-SearchBot）なので、ClaudeBot をブロックしてもそこからは消えません。

本物か確かめる

Anthropic は、ボットの IP の一覧を 1 つ公開しています（https://claude.com/crawling/bots.json）。その一覧にある IP からのクローラーは Anthropic のものです。Anthropic は、robots.txt の代わりに IP をブロックすると robots.txt を読めなくなるため、拒否の方法として働かないことがあると注意しています。

ファイアウォールと CDN

「Anthropic」や「Claude」を名前でブロックするルールは、Claude-SearchBot と Claude-User も止めることがあります。学習だけを止めたいなら、ClaudeBot だけをブロックします。Cloudflare を使っているなら、Security Settings > Configure AI bot policies を開き、Search を Allow（ブロックしない）にします。Cloudflare のドキュメントによると、2026 年 9 月 15 日から、Training をブロックすると、検索と学習の両方を行うクローラーもブロックされます。

CrawlCoach でわかること

ClaudeBot をブロックするかはサイト運営者が決めることなので、CrawlCoach は知らせません。知らせるのは、Claude の検索が使う Claude-SearchBot を止める robots.txt のルールと、ファイアウォールの拒否です。

よくある質問

出典

2026年10月8日 に確認しました。Search Console とヘルプの内容は Google が随時変更します。画面の表示が違う場合は、出典をご確認ください。

• Anthropic: Anthropic はウェブのデータをクロールするか、サイト所有者はどうブロックできるか（英語）
• Cloudflare ドキュメント: AI ボットのブロックと AI ボットのポリシー（英語）