[クロールを許可？] が「いいえ、robots.txt によってブロックされています」: 直し方

表示の意味

クロールをブロックしても、ページが検索から消えるとは限りません。他のページからリンクされていれば、Google は中身なしで URL を表示できます。その場合は「robots.txt によりブロックされましたが、インデックスに登録しました」になります。

Google はクロールできないページの noindex を見ることができません。Google のヘルプによると、このとき [インデックス登録を許可？] は、ページに noindex があっても常に「はい」になります。

よくある原因

• Disallow ルールが意図より広い。たとえば Disallow: /blog は /blog-news もブロックします。
• テスト用やステージング用のルール（Disallow: / など）が、公開後も残っている。
• プラグインやプラットフォームの設定が、検索、タグ、絞り込みのページにルールを追加した。
• Disallow: /*? のようなワイルドカードが、クエリ文字列付きのすべての URL をブロックしている。

ルールの見つけ方

1. ブラウザで https://your-domain/robots.txt を開き、User-agent: * と User-agent: Googlebot の下のルールを読みます。
2. Search Console の [設定] > [robots.txt] で、Google が最後に取得した版を確認します。Google のヘルプによると、このレポートはドメイン プロパティと、サイトの最上位にある URL プレフィックス プロパティでのみ使えます。
3. ページのパスに当てはまるルールを探します。Google は最も具体的な、つまり最も長いルールを使います。長さが同じなら、制限の緩いほうが優先されます。

# /blog-news までブロックしてしまう
Disallow: /blog

# /blog/ の中だけをブロックする
Disallow: /blog/

直し方

• Google に載せたいページなら、当てはまるルールを変えるか削除します。
• [公開 URL をテスト] をクリックし、[クロールを許可？] が「はい」になったか確認します。
• [インデックス登録をリクエスト] をクリックします。急ぎの場合は、robots.txt レポートからファイルの再クロールもリクエストできます。
• Google から外したいページなら、サイトマップから外します。確実に検索から外すには、クロールを許可して noindex を付けます。

管理画面、カート、サイト内検索、絞り込みのページは、意図的にブロックすることがよくあります。それで問題ありません。サイトマップから外しておきましょう。

CrawlCoach でわかること

CrawlCoach は、チェックするページごとに Google の robots.txt の結果を読みます。有料プランの修正リストでは、robots.txt がブロックしているのにサイトマップに載っているページを知らせます。サイトマップとルールが食い違っているからです。

よくある質問

出典

2026年10月8日 に確認しました。Search Console とヘルプの内容は Google が随時変更します。画面の表示が違う場合は、出典をご確認ください。

• Search Console ヘルプ: URL 検査ツール
• Google 検索セントラル: Google による robots.txt の指定の解釈
• Search Console ヘルプ: robots.txt レポート