robots.txt로 차단되었으나 색인이 생성됨

Google은 페이지를 방문할 수 없지만 다른 페이지가 링크하기 때문에 목록에 올렸습니다. 검색 결과에는 보통 설명이 없습니다.

왜 이런 일이 생기나요?

Google 도움말은 Google이 항상 robots.txt를 따르지만, 다른 페이지가 이 페이지로 링크하면 색인 생성이 막히지 않을 수 있다고 말합니다. Google은 페이지를 크롤링하지 않고 링크하는 페이지의 정보로 색인을 만듭니다. 이 상태는 페이지 색인 생성 보고서의 '페이지 표시 개선' 표에 나옵니다.

먼저 정하세요

이 페이지가 Google에 나와야 한다면: robots.txt 규칙을 지우세요. Google이 페이지를 읽고 제대로 된 결과를 만들 수 있습니다.
Google에서 빼고 싶다면: Google이 방문하게 규칙을 지우고 noindex를 다세요. Google은 방문해야 noindex를 볼 수 있습니다.
비공개이거나 거의 같은 페이지이고 지금 상태가 괜찮다면: 규칙을 두고 이 보고서를 무시하세요.

막는 규칙 찾기

URL 검사에서 크롤링 허용 여부를 보고, 설정 > robots.txt에서 Google이 읽은 파일의 Disallow 줄을 찾으세요. 페이지가 robots.txt로 막혀 있으면 색인 생성 허용 여부는 항상 '예'로 나옵니다. Google이 noindex를 확인할 수 없기 때문입니다.

플랫폼별 메모

Shopify 도움말은 이것이 정상이며 대개 걱정할 일이 아니라고 말합니다. 기본 robots.txt가 장바구니와 필터 컬렉션 같은 페이지를 일부러 막고, Google이 링크 때문에 일부를 목록에 올립니다. 대부분은 할 일이 없습니다. 홈페이지나 상품이 여기 나온다면 Google 데이터가 오래됐을 가능성이 큽니다.

모든 Squarespace 사이트는 수정할 수 없는 같은 robots.txt를 씁니다. 막힌 페이지는 관리자와 중복 페이지이고, Squarespace 도움말은 이 보고서를 정상이라고 봅니다.

이 이유가 붙은 페이지 모두 찾기

색인생성 > 페이지의 페이지 표시 개선 표에서 이 행을 클릭하면 예시가 최대 1,000개 나옵니다. CrawlCoach는 사이트당 최대 50,000개 페이지를 확인하고 이유별로 나눠, 이 상태인 페이지 중 먼저 결정할 페이지를 알려 드립니다.

자주 묻는 질문

Google은 왜 방문할 수 없는 페이지를 목록에 올리나요?

다른 페이지가 링크하기 때문입니다. Google은 페이지를 읽지 않고도 그 링크로 주소를 올릴 수 있습니다. 결과에는 보통 설명이 없습니다.

robots.txt 규칙을 지워야 하나요, 둬야 하나요?

사람들이 찾게 하려면 지우세요. 비공개이거나 거의 같은 페이지라면 두고 이 보고서를 무시하세요. Google에서 완전히 빼려면 규칙을 지우고 noindex를 다세요.

수정 결과 확인이 실패하면요?

페이지가 여전히 막혀 있고 여전히 목록에 있는 것입니다. 빼고 싶다면 차단이 문제입니다. Google은 방문할 수 없는 페이지의 noindex를 볼 수 없습니다.

출처

2026년 10월 8일에 확인했습니다. Google은 Search Console과 도움말을 가끔 바꿉니다. 화면이 다르게 보이면 출처를 확인하세요.

'robots.txt로 인해 차단되었으나 색인이 생성됨': 열어 줄지 뺄지 정하기