「robots.txt によりブロックされました」: ブロックしているルールの見つけ方

直すべきかどうか

管理画面、サイト内検索、絞り込みのページなど、意図的にブロックしたページなら問題ありません。サイトマップから外しておきましょう。Google に載せたいページがブロックされているなら、ルールを直します。

ブロックしているルールの見つけ方

1. URL 検査ツールでページを調べます。robots.txt にブロックされていると、[クロールを許可？] に「いいえ、robots.txt によってブロックされています」と表示されます。
2. Search Console の [設定] > [robots.txt] を開き、Google が読んだファイルを確認します。
3. URL に当てはまる Disallow の行を探します。

# サイト全体をブロックしてしまう、よくある誤り
User-agent: *
Disallow: /

# 管理画面だけをブロックする例
User-agent: *
Disallow: /wp-admin/

よくある原因

• Disallow ルールが、意図したより多くのページをブロックしている。
• 制作中の robots.txt が、公開後も残っている。

プラットフォーム別の注意

• Shopify: 標準の robots.txt は、管理画面、カート、チェックアウト、アカウント、注文のページと、絞り込み（/collections/*+*）や並べ替え（sort_by）のコレクション ページをブロックします。これは意図どおりなので無視できます。本物の商品やページがブロックされていたら、誰かが robots.txt.liquid にルールを追加しています。テンプレートを削除すると標準に戻ります。
• WordPress: WordPress 自身の robots.txt がブロックするのは /wp-admin/ だけです。それ以上ブロックされていたら、サイトのルートにある実際の robots.txt ファイルか、プラグインがルールを追加しています。
• Squarespace: クローラーの設定に、検索エンジンのクローラーをブロックするチェックボックスがあります。オンにすると Disallow: / が追加され、サイト全体がブロックされます。/config や /search などのブロックは意図的なもので、無視して大丈夫です。
• Blogger: [設定] の [クローラとインデックス作成] でカスタム robots.txt を有効にしていなければ、Blogger 標準のファイルが使われます。カスタムの内容は標準を置き換えます。

robots.txt では Google から外せない

Google によると、robots.txt はページを Google から外す方法ではありません。ブロックされたページでも、他のページからリンクされていれば、説明なしで表示されることがあります。Google から確実に外すには、ブロックを解除して Google にページを読ませ、noindex を付けます。

変更したあとに

Google は通常、robots.txt のコピーを最大 24 時間保持します。ファイルを変えたら 1 日待ってから、[修正を検証] をクリックしてください。

CrawlCoach でわかること

Search Console が示す例は最大 1,000 件です。CrawlCoach は 1 サイトあたり最大 50,000 ページを理由ごとに分けるので、robots.txt で止まっている大事なページを、URL を 1 つずつ調べずに見つけられます。

よくある質問

出典

2026年10月8日 に確認しました。Search Console とヘルプの内容は Google が随時変更します。画面の表示が違う場合は、出典をご確認ください。

• Search Console ヘルプ: ページのインデックス登録レポート
• Search Console ヘルプ: インデックス カバレッジ レポート（2021 年 12 月のアーカイブ）
• Search Console ヘルプ: ページのインデックス登録レポート（2022 年 9 月のアーカイブ）
• Search Console ヘルプ: URL 検査ツール
• Google 検索セントラル: robots.txt の概要とガイド
• Google: Google による robots.txt の指定の解釈
• Shopify ヘルプ: robots.txt.liquid の編集（英語）
• Blogger ヘルプ: ブログの設定を管理する