Bing の「URLs with crawling issues (server errors)」: 403 と 5xx
Bing Webmaster Tools の Site Explorer で「URLs with crawling issues (server errors)」のフィルタを使うと、該当するページが出ます。Bing のヘルプによると、HTTP 403 と 5xx が含まれます。
表示の意味
サーバーが Bingbot を拒否した(403)か、応答に失敗しました(500 〜 599)。Bing は読み込めないページを読めません。
Bing のヘルプによると、サイトを安定してクロールできないと、Bing はそのサイトを表示しないことがあります。エラーが続くと、失敗したページ以上のものを失います。
よくある原因
- ファイアウォール、CDN、ボット対策のルールが Bingbot をブロックかチャレンジし、
403を返している。 - セキュリティ プラグインが、知らないボットや国をブロックしている。
- Bingbot が来たときサーバーが遅いか過負荷で、
500、502、503、504を返している。 - レート制限が Bingbot を攻撃として扱っている。
- 一部のリクエストでだけ、ページがエラーを出している。
確かめ方
- URL Inspection で Live URL のテストを実行します。ブラウザでは表示されるのに失敗するなら、何かが Bingbot を別扱いしています。
- ファイアウォールや CDN のイベント ログを開き、ユーザー エージェント
bingbotで絞り込み、ブロックやチャレンジを探します。 - ブロックされたリクエストが本当に Bing からか確かめます。IP を逆引き DNS で調べ、本物の Bingbot の名前は
search.msn.comで終わります。または Bing Webmaster Tools の Verify Bingbot に IP を貼ります。 - Site Explorer のエラーの時刻に、サーバーのエラー ログを確認します。
直し方
- ファイアウォール、CDN、セキュリティ プラグインで、確認済みの Bingbot を許可します。Bing が公開している Bingbot の IP の一覧か逆引き DNS を使い、ユーザー エージェントと IP を一緒に照合します。
- 確認済みの検索エンジンのクローラーには、国のブロックとレート制限を外します。
- サーバーが苦しいなら、Bing Webmaster Tools の Crawl Control で、混雑する時間だけ Bingbot を遅くします。ブロックはしません。
5xxエラーの原因になっているコードかホスティングの問題を直します。- もう一度 Live URL のテストを実行し、大事なページは Request indexing をクリックします。
管理画面やアカウントのページなど、非公開にすべきページの 403 なら無視して構いません。そうしたパスは robots.txt でブロックし、Bingbot が試さないようにするとさらによいです。
CrawlCoach でわかること
CrawlCoach は、サーバー エラーを返すページへのサイト内リンクを知らせます。ファイアウォールはアドレスも確かめることがあるので、私たちのアドレスからのテストでは本物の Bing のクローラーが受け取るものはわかりません。そのため、ファイアウォールでの Bingbot のテストはしません。ファイアウォールのログと Verify Bingbot を使いましょう。
よくある質問
ブラウザでは表示されるのに、Bingbot には 403 が返るのはなぜですか?
ファイアウォールやボットのルールは、クローラーを人とは別に扱うことがよくあります。「ボット」や「AI クローラー」をブロックするルールは、Bingbot も止めることがあります。ファイアウォールのログで bingbot を探し、許可します。
訪問者が本当に Bingbot か確かめるには?
IP を逆引き DNS で調べます。名前は search.msn.com で終わるはずです。次にその名前を正引きし、同じ IP が返るか確かめます。Bing の Verify Bingbot ツールが代わりにやってくれます。
ブロックせずに Bingbot を遅くできますか?
できます。Bing Webmaster Tools の Crawl Control で、混雑する時間に遅い速度を設定します。robots.txt の Crawl-delay でも遅くできますが、どの時間も同じで、Crawl Control より優先されます。
出典
2026年10月8日 に確認しました。Search Console とヘルプの内容は Google が随時変更します。画面の表示が違う場合は、出典をご確認ください。
Google に載っていないページを確認しましょう
Google アカウントでログインするだけです。CrawlCoach が最大 500 ページを無料でチェックし、問題ごとに直し方を示します。
無料レポートを受け取る500 ページまで無料です。クレジットカードは不要です。Search Console で使っている Google アカウントでログインしてください。
CrawlCoach のアプリとレポートは英語で表示されます。