Bing 'URLs that are robots.txt disallowed': 규칙을 찾아 고치기

어디에 나오나요?

Bing Webmaster Tools의 Site Explorer에서 "URLs that are robots.txt disallowed" 필터를 거세요. robots.txt tester가 어떤 줄이 페이지를 막는지 보여 줍니다.

Bing 가이드라인은 robots.txt가 무엇을 보여 줄지가 아니라 크롤링을 제어한다고 말합니다. Bing 도움말도 막힌 페이지가 설명 없이 결과에 나올 수 있다고 말합니다. Bing에서 페이지를 빼려면 noindex를 쓰고, Bingbot이 규칙을 볼 수 있게 크롤링은 허용하세요.

흔한 원인

• 폴더용 Disallow 규칙이 원하는 페이지까지 막습니다. 예를 들어 Disallow: /p는 /products/도 막습니다.
• User-agent: bingbot 그룹이 있습니다. 그러면 Bingbot은 그 그룹만 따르고 Allow 줄을 포함한 * 규칙을 건너뜁니다.
• 스테이징 사이트의 Disallow: /가 사이트와 함께 그대로 공개됐습니다.
• 플러그인, 테마, 플랫폼 설정이 규칙을 대신 썼습니다.
• CSS나 JavaScript 파일이 막혀 Bingbot이 페이지를 렌더링할 수 없습니다.

원인 확인하기

1. 브라우저에서 yourdomain.com/robots.txt를 열고 User-agent: *만이 아니라 모든 그룹을 읽으세요.
2. Bing Webmaster Tools에서 robots.txt tester를 열고 Test URL에 페이지를 넣은 뒤 Bingbot을 고른 채 Test를 누르세요. 막는 줄이 나옵니다.
3. Site Explorer에서 막힌 주소를 바로 robots.txt tester로 보낼 수 있습니다.
4. SEO 플러그인이나 사이트 빌더를 쓴다면 robots.txt 설정을 보세요. 저장할 때마다 파일을 다시 만들 수 있습니다.

고치는 방법

1. Bing에 올리고 싶은 페이지를 막는 규칙을 지우거나 좁히세요. 폴더 규칙은 Disallow: /private/처럼 슬래시로 끝내세요.
2. bingbot 그룹을 유지한다면 Bing에도 적용할 * 그룹의 규칙을 모두 거기에 복사하세요.
3. 페이지에 필요한 CSS와 JavaScript 파일을 허용하세요.
4. 새 파일을 올리고 robots.txt tester에서 Fetch latest를 눌러 다시 시험하세요.
5. 가장 중요한 페이지는 URL Inspection에서 Request indexing을 누르세요.

User-agent: *
Disallow: /private/
Disallow: /cart

관리자 영역, 장바구니, 사이트 내 검색, 끝없는 필터 조합처럼 일부러 막은 페이지는 무시하세요. Bing 가이드라인도 이런 크롤링 경로를 막으라고 권합니다.

CrawlCoach와 함께

유료 요금제에서 CrawlCoach는 robots.txt를 읽고, Google에 있는 공개 페이지에서 Bingbot을 막는 규칙을 짚습니다. ChatGPT, Claude, Perplexity, Apple 검색 크롤러도 똑같이 확인합니다. 수정 항목에는 크롤러와 페이지가 나오고, 파일을 바꾸면 CrawlCoach가 다시 확인합니다.

자주 묻는 질문

출처

2026년 10월 8일에 확인했습니다. Google은 Search Console과 도움말을 가끔 바꿉니다. 화면이 다르게 보이면 출처를 확인하세요.

• Bing Webmaster Tools 도움말: Site Explorer(영어)
• Bing Webmaster Tools 도움말: robots.txt tester(영어)
• Bing Webmaster Guidelines(영어)
• Bing Webmaster Tools 도움말: Why is my site not in the index?(영어)
• Bing Webmaster Tools 도움말: Crawl control(영어)
• Bing Webmaster Tools 도움말: Which crawlers does Bing use?(영어)