Bing 'URLs with crawling issues (server errors)': 403과 5xx

어디에 나오나요?

Bing Webmaster Tools의 Site Explorer에서 "URLs with crawling issues (server errors)" 필터를 거세요. Bing 도움말은 HTTP 403과 5xx를 포함한다고 말합니다.

Bing 도움말은 사이트를 꾸준히 크롤링할 수 없으면 사이트를 보여 주지 않을 수 있다고 말합니다. 그래서 반복되는 오류는 실패한 페이지보다 더 큰 손해를 줍니다.

흔한 원인

• 방화벽, CDN, 봇 보호 규칙이 Bingbot을 막거나 확인 페이지를 보내고 403을 돌려줍니다.
• 보안 플러그인이 모르는 봇이나 특정 국가를 막습니다.
• Bingbot이 방문할 때 서버가 느리거나 과부하라 500, 502, 503, 504를 돌려줍니다.
• 속도 제한이 Bingbot을 공격으로 봅니다.
• 일부 요청에서만 오류를 내는 페이지가 있습니다.

원인 확인하기

1. URL Inspection의 Live URL 테스트를 하세요. 브라우저에서는 열리는데 실패한다면 무언가가 Bingbot을 다르게 다룹니다.
2. 방화벽이나 CDN 이벤트 로그를 사용자 에이전트 bingbot으로 거르고 차단이나 확인 기록을 찾으세요.
3. 막힌 요청이 진짜 Bing에서 왔는지 확인하세요. IP로 역방향 DNS 조회를 하면 진짜 Bingbot 이름은 search.msn.com으로 끝납니다. 또는 Bing Webmaster Tools의 Verify Bingbot에 IP를 넣으세요.
4. Site Explorer에 나온 오류 시각의 서버 오류 로그를 보세요.

고치는 방법

1. 방화벽, CDN, 보안 플러그인에서 확인된 Bingbot을 허용하세요. Bing이 공개한 Bingbot IP 목록이나 역방향 DNS로 사용자 에이전트와 IP를 함께 맞추세요.
2. 확인된 검색엔진 크롤러에는 국가 차단과 속도 제한을 끄세요.
3. 서버가 힘들다면 Bing Webmaster Tools의 Crawl Control로 바쁜 시간에 Bingbot을 늦추세요. 막지 마세요.
4. 5xx 오류 뒤의 코드나 호스팅 문제를 고치세요.
5. Live URL 테스트를 다시 하고 핵심 페이지의 Request indexing을 누르세요.

관리자나 계정 페이지처럼 비공개여야 할 페이지의 403은 무시하세요. 그런 경로는 robots.txt로 막아 Bingbot이 시도하지 않게 하면 더 좋습니다.

CrawlCoach와 함께

CrawlCoach는 사이트에서 서버 오류를 돌려주는 페이지로 가는 링크를 짚습니다. 방화벽을 통한 Bingbot 시험은 하지 않습니다. 방화벽이 주소도 확인할 수 있어서, CrawlCoach 서버에서 보내는 시험 요청은 Bing의 진짜 크롤러가 받는 것을 보여 줄 수 없기 때문입니다. 그것은 방화벽 로그와 Verify Bingbot으로 확인하세요.

자주 묻는 질문

출처

2026년 10월 8일에 확인했습니다. Google은 Search Console과 도움말을 가끔 바꿉니다. 화면이 다르게 보이면 출처를 확인하세요.

• Bing Webmaster Tools 도움말: Site Explorer(영어)
• Bing Webmaster Tools 도움말: Why is my site not in the index?(영어)
• Bing Webmaster Tools 도움말: Verifying Bingbot(영어)
• Bing: Bingbot IP 주소(JSON)
• Bing Webmaster Tools 도움말: Crawl control(영어)