'robots.txt에 의해 차단됨': 막는 규칙을 찾아 페이지 열어 주기

흔한 원인

• Disallow 규칙이 생각보다 많은 페이지를 막습니다.
• 사이트를 만들 때 쓴 robots.txt가 출시 뒤에도 남아 있습니다.

관리자, 검색, 필터 페이지처럼 일부러 막은 페이지라면 그대로 두고 사이트맵에서만 빼세요.

막는 규칙 찾기

1. URL 검사로 페이지를 검사하세요. robots.txt가 막으면 크롤링 허용 여부에 '아니요: robots.txt에 의해 차단됨'이 나옵니다.
2. Search Console의 설정 > robots.txt에서 Google이 읽은 파일을 여세요.
3. 주소와 일치하는 Disallow 줄을 찾으세요. 가장 구체적인 규칙이 이깁니다.

User-agent: *
Disallow: /products/

위 규칙은 /products/ 아래 모든 페이지를 막습니다. 정말 막고 싶던 것이 필터라면 Disallow: /*?sort=처럼 범위를 좁히세요.

고친 뒤

Google은 보통 robots.txt 사본을 최대 24시간 보관합니다. 파일을 바꾸고 하루를 기다린 뒤 수정 결과 확인을 누르세요. 확인이 실패하면 규칙이 아직 페이지와 일치하는 것입니다.

플랫폼별 메모

• Shopify: 기본 robots.txt는 관리자, 장바구니, 결제, 계정, 주문 페이지와 필터(/collections/*+*)와 정렬(sort_by) 컬렉션 페이지를 막습니다. 의도된 것이니 무시하세요. 실제 상품이 막혔다면 누군가 robots.txt.liquid에 규칙을 넣은 것입니다. 템플릿을 지우면 기본값으로 돌아갑니다.
• WordPress: 자체 robots.txt는 /wp-admin/만 막습니다. WordPress 5.3부터 검색 엔진 차단 설정은 robots.txt 대신 noindex를 씁니다. 더 많이 막혔다면 루트 폴더의 실제 robots.txt 파일이나 플러그인이 넣은 규칙입니다.
• Squarespace: 설정 > Crawlers의 검색엔진 크롤러 차단 칸은 Disallow: /를 넣어 사이트 전체를 막습니다. 해제하세요. /config, /search 같은 다른 규칙은 의도된 것입니다.
• Blogger: 설정의 크롤러 및 색인 생성에서 맞춤 robots.txt를 켜지 않으면 Blogger 파일을 씁니다. 맞춤 내용은 기본값을 대체하니, 끄면 원래대로 돌아갑니다.

이 이유가 붙은 페이지 모두 찾기

규칙 하나가 폴더 전체를 막으면 페이지 수가 금방 늘어납니다. Search Console 예시 목록은 최대 1,000개입니다. CrawlCoach는 사이트당 최대 50,000개 페이지를 확인해 robots.txt로 막힌 페이지를 모두 모으고, 어느 것부터 볼지 순서를 정해 드립니다.

자주 묻는 질문

출처

2026년 10월 8일에 확인했습니다. Google은 Search Console과 도움말을 가끔 바꿉니다. 화면이 다르게 보이면 출처를 확인하세요.

• Search Console 도움말: 페이지 색인 생성 보고서
• Search Console 도움말: URL 검사 도구
• Search Console 도움말: robots.txt 보고서
• Google 검색 센터: robots.txt 소개 및 가이드
• Google: Google에서 robots.txt 사양을 해석하는 방법
• Search Console 도움말: 색인 생성 범위 상태 보고서(2019년 9월 보관본)
• Shopify 도움말: robots.txt.liquid 편집(영어)
• Squarespace 도움말: Hiding your site from search results(영어)
• Blogger 고객센터: 블로그 설정 관리하기