Claude-User とは何か、ブロックすべきか
Anthropic によると、Claude-User は Claude の利用者を支えます。人が Claude に質問すると、このエージェントでウェブサイトを訪れることがあります。
何をするか
自分のスケジュールでウェブを回るクローラーではありません。人の頼みに応じてページを取得します。
ユーザー エージェント
Anthropic のヘルプはトークン Claude-User を示していますが、完全なユーザー エージェント文字列は公開していません。Claude-User で照合し、IP を Anthropic の一覧と照らし合わせます。
robots.txt
Anthropic によると、Claude-User によって、サイト所有者は人が始めるリクエストがどのサイトに届くかを管理でき、同社のボットは robots.txt に従います。OpenAI や Perplexity は、人が始める取得に robots.txt が適用されないことがあるとしており、そこが違います。
# 許可する
User-agent: Claude-User
Allow: /
# ブロックする
User-agent: Claude-User
Disallow: /ブロックすると失うもの
Anthropic によると、Claude-User をブロックすると、利用者の質問のためにコンテンツを取得できなくなり、人が指示するウェブ検索での表示が減ることがあります。
本物か確かめる
リクエストの IP を、Anthropic が公開している一覧(https://claude.com/crawling/bots.json)と照らし合わせます。
ファイアウォールと CDN
すべての AI エージェントをブロックするボットのルールは、Claude-User も止めます。人がページについて Claude に聞けるようにしたいなら、許可しましょう。Cloudflare を使っているなら、Security Settings > Configure AI bot policies を開き、Search を Allow(ブロックしない)にします。Cloudflare のドキュメントによると、2026 年 9 月 15 日から、Training をブロックすると、検索と学習の両方を行うクローラーもブロックされます。
CrawlCoach でわかること
CrawlCoach は、Anthropic の検索用クローラーである Claude-SearchBot を、robots.txt とファイアウォールでチェックします。各社の、人が始める取得のエージェントはチェックの対象から外しています。
よくある質問
Claude-User は robots.txt に従いますか?
Anthropic によると、同社のボットは robots.txt に従い、Claude-User で人のリクエストが届くサイトを管理できます。Claude-User への Disallow で止まるはずです。
Claude-User はブロックすべきですか?
普通はしません。人が Claude に何かを聞いたときだけ訪れます。ブロックすると、その人のために Claude がページを読めなくなります。
出典
2026年10月8日 に確認しました。Search Console とヘルプの内容は Google が随時変更します。画面の表示が違う場合は、出典をご確認ください。
Google に載っていないページを確認しましょう
Google アカウントでログインするだけです。CrawlCoach が最大 500 ページを無料でチェックし、問題ごとに直し方を示します。
無料レポートを受け取る500 ページまで無料です。クレジットカードは不要です。Search Console で使っている Google アカウントでログインしてください。
CrawlCoach のアプリとレポートは英語で表示されます。