Claude-SearchBot: Anthropic の検索用クローラーと、許可すべき理由
Anthropic によると、Claude-SearchBot は、Claude の利用者のために検索結果の質を上げ、検索の回答をより的確で正確にするためにウェブをクロールします。
何をするか
学習データを集める ClaudeBot とは別物です。一方を許可し、もう一方をブロックできます。
ユーザー エージェント
Anthropic のヘルプはトークン Claude-SearchBot を示していますが、完全なユーザー エージェント文字列は公開していません。Claude-SearchBot で照合し、IP を Anthropic の一覧と照らし合わせます。
robots.txt
Anthropic によると、同社のボットは robots.txt に従い、Crawl-delay にも対応しています。
# 許可する
User-agent: Claude-SearchBot
Allow: /
# ブロックする
User-agent: Claude-SearchBot
Disallow: /ブロックすると失うもの
Anthropic によると、Claude-SearchBot をブロックすると、検索のためにコンテンツを登録できなくなり、Claude の検索結果での表示と正確さが下がることがあります。
本物か確かめる
リクエストの IP を、Anthropic が公開している一覧（https://claude.com/crawling/bots.json）と照らし合わせます。
ファイアウォールと CDN
「Claude」や「Anthropic」を名前でブロックするルールは、Claude-SearchBot も止めます。学習だけを止めたいなら、ClaudeBot だけをブロックします。Cloudflare を使っているなら、Security Settings > Configure AI bot policies を開き、Search を Allow（ブロックしない）にします。Cloudflare のドキュメントによると、2026 年 9 月 15 日から、Training をブロックすると、検索と学習の両方を行うクローラーもブロックされます。
CrawlCoach でわかること
すべての有料プランで、CrawlCoach は robots.txt を読み、Google に載っている公開ページへの Claude-SearchBot を止めるルールを知らせます。公開ページ 1 つを Claude-SearchBot として、また普通のクローラーとしてリクエストし、ファイアウォールが Claude-SearchBot を拒否している可能性が高いときに伝えます。
よくある質問
Claude-SearchBot は許可すべきですか？
Claude の検索の回答にページを出したいなら、許可します。Anthropic によると、ブロックするとそこでの表示が減ることがあります。学習は別の設定（ClaudeBot）です。
ClaudeBot と Claude-SearchBot の違いは何ですか？
ClaudeBot は、Anthropic のモデルの学習に使える可能性のあるページを集めます。Claude-SearchBot は、Claude の検索結果のためにクロールします。それぞれが robots.txt の自分のグループを読みます。
出典
2026年10月8日 に確認しました。Search Console とヘルプの内容は Google が随時変更します。画面の表示が違う場合は、出典をご確認ください。
Google に載っていないページを確認しましょう
Google アカウントでログインするだけです。CrawlCoach が最大 500 ページを無料でチェックし、問題ごとに直し方を示します。
無料レポートを受け取る500 ページまで無料です。クレジットカードは不要です。Search Console で使っている Google アカウントでログインしてください。
CrawlCoach のアプリとレポートは英語で表示されます。