크롤링 허용 여부 아니요: robots.txt 차단 해결

Google은 페이지를 방문하기 전에 robots.txt 파일을 읽습니다. Disallow 규칙이 이 페이지와 일치해서 Google이 방문하지 않았습니다.

이 줄이 뜻하는 것

페이지 색인 생성 > 크롤링 > 크롤링 허용 여부에 '아니요: robots.txt에 의해 차단됨'이 나옵니다. 이때 페이지 가져오기에는 '실패: robots.txt에 의해 차단됨'이 나옵니다. 크롤링을 막는다고 페이지가 항상 검색에서 빠지지는 않습니다. 다른 페이지가 링크하면 Google이 내용 없이 주소를 올릴 수 있습니다. 그러면 'robots.txt로 인해 차단되었으나 색인이 생성됨'으로 나옵니다.

Google은 크롤링할 수 없는 페이지의 noindex를 볼 수 없습니다. Google 도움말은 그럴 때 색인 생성 허용 여부가 페이지에 noindex가 있어도 항상 '예'로 나온다고 말합니다.

흔한 원인

Disallow 규칙이 생각보다 넓습니다. 예를 들어 Disallow: /blog는 /blog-news도 막습니다.
테스트나 스테이징 사이트의 Disallow: / 같은 규칙이 출시 뒤에도 남았습니다.
플러그인이나 플랫폼 설정이 검색, 태그, 필터 페이지 규칙을 넣었습니다.
Disallow: /*? 같은 와일드카드 규칙이 쿼리 문자열이 있는 모든 주소를 막습니다.

확인하는 방법

브라우저에서 https://내-도메인/robots.txt를 열고 User-agent: *와 User-agent: Googlebot 아래 규칙을 읽으세요.
Search Console의 설정 > robots.txt에서 Google이 마지막으로 가져온 버전을 보세요. Google 도움말은 이 보고서가 도메인 속성과 사이트 최상위의 URL 접두어 속성에서만 된다고 말합니다.
페이지 경로와 일치하는 규칙을 찾으세요. Google은 가장 구체적인 규칙, 즉 가장 긴 규칙을 씁니다. 길이가 같으면 덜 엄격한 규칙이 이깁니다.

고치는 방법

페이지가 Google에 있어야 한다면 일치하는 규칙을 바꾸거나 지우세요.
실제 URL 테스트를 누르세요. 크롤링 허용 여부가 '예'여야 합니다.
색인 생성 요청을 누르세요. 급하다면 robots.txt 보고서에서 파일 재크롤링을 요청할 수도 있습니다.
Google에서 빼 둘 페이지라면 사이트맵에서 빼세요. 확실히 검색에서 빼려면 크롤링을 허용하고 noindex를 다세요.

관리자, 장바구니, 사이트 내 검색, 필터 페이지는 일부러 막는 경우가 많습니다. 괜찮습니다. 사이트맵에서만 빼세요.

CrawlCoach가 하는 일

CrawlCoach는 확인하는 페이지마다 Google의 robots.txt 결과를 읽습니다. 유료 요금제의 수정 목록은 사이트맵에 있는데 robots.txt가 막는 페이지를 짚어 드립니다. 사이트맵과 규칙이 서로 반대로 말하기 때문입니다.

자주 묻는 질문

크롤링 허용 여부 '아니요: robots.txt에 의해 차단됨'은 무슨 뜻인가요?

robots.txt 파일의 규칙이 Google에 이 페이지를 방문하지 말라고 해서 Google이 크롤링하지 않았다는 뜻입니다.

robots.txt로 페이지를 Google에서 지울 수 있나요?

아니요. 크롤링을 막을 뿐 목록 등록은 막지 않습니다. 다른 페이지가 링크하면 차단된 페이지도 나올 수 있습니다. 검색에서 빼려면 크롤링을 허용하고 noindex를 다세요.

robots.txt를 고쳤는데 왜 아직 '아니요'인가요?

색인 결과는 최근 크롤링 기준입니다. 실제 URL 테스트로 지금 상태를 보세요. Google 문서는 robots.txt 사본을 보통 최대 24시간 보관한다고 말합니다.

출처

2026년 10월 8일에 확인했습니다. Google은 Search Console과 도움말을 가끔 바꿉니다. 화면이 다르게 보이면 출처를 확인하세요.

크롤링 허용 여부 '아니요: robots.txt에 의해 차단됨': 차단을 푸는 방법