Bing の「URLs that are robots.txt disallowed」: ルールを見つけて直す

表示の意味

robots.txt がこれらのページを取得しないよう Bingbot に頼み、Bingbot は従っています。Bing は、クロールを許されていないページを読めません。

Bing のガイドラインによると、robots.txt が管理するのはクロールで、Bing が表示するものではありません。Bing のヘルプによると、ブロックされたページでも説明なしで結果に出ることがあります。Bing からページを外すなら noindex を使い、Bingbot がルールを見られるようクロールは許可します。

よくある原因

• フォルダ向けの Disallow が、載せたいページにも当てはまっている。たとえば Disallow: /p は /products/ もブロックします。
• User-agent: bingbot のグループがある。Bingbot はそのグループだけに従い、Allow を含む * のルールを無視します。
• ステージング サイトの Disallow: / が、サイトと一緒に公開された。
• プラグイン、テーマ、プラットフォームの設定がルールを書いた。
• CSS や JavaScript のファイルがブロックされ、Bingbot がページを描画できない。

確かめ方

1. ブラウザで yourdomain.com/robots.txt を開き、User-agent: * だけでなく、すべてのグループを読みます。
2. Bing Webmaster Tools の robots.txt tester を開き、Test URL にページを入れ、Bingbot を選んだまま Test をクリックします。ブロックしている行が表示されます。
3. Site Explorer から、ブロックされたアドレスを robots.txt tester に直接送れます。
4. SEO プラグインやサイト作成ツールを使っているなら、robots.txt の設定を確認します。保存のたびにファイルを作り直すことがあります。

直し方

• Bing に載せたいページをブロックしているルールを削除するか、狭めます。フォルダのルールは Disallow: /private/ のようにスラッシュで終えます。
• bingbot のグループを残すなら、Bing にも効かせたい * のルールをすべてそこにコピーします。
• ページに必要な CSS と JavaScript を許可します。
• 新しいファイルをアップロードし、robots.txt tester で Fetch latest をクリックして、ページをもう一度テストします。
• 大事なページは、URL Inspection の Request indexing をクリックします。

# /products/ までブロックしてしまう
Disallow: /p

# /private/ の中だけをブロックする
Disallow: /private/

管理画面、カート、サイト内検索、終わりのない絞り込みの組み合わせなど、意図的にブロックしているページなら無視して構いません。Bing のガイドラインも、こうしたクロールの経路のブロックを勧めています。

CrawlCoach でわかること

有料プランでは、CrawlCoach が robots.txt を読み、Google に載っている公開ページへの Bingbot を止めるルールを知らせます。ChatGPT、Claude、Perplexity、Apple の検索用クローラーについても同じです。修正にはクローラーとページの名前が入り、ファイルを変えたあと CrawlCoach が再確認します。

よくある質問

出典

2026年10月8日 に確認しました。Search Console とヘルプの内容は Google が随時変更します。画面の表示が違う場合は、出典をご確認ください。

• Bing Webmaster Tools ヘルプ: Site Explorer（英語）
• Bing Webmaster Tools ヘルプ: robots.txt tester（英語）
• Bing ウェブマスター ガイドライン（英語）
• Bing Webmaster Tools ヘルプ: サイトがインデックスにないのはなぜか（英語）
• Bing Webmaster Tools ヘルプ: Crawl control（英語）