ClaudeBot: Anthropic 크롤러가 하는 일과 차단 방법

하는 일

Anthropic은 다른 에이전트 두 개를 더 씁니다. 검색용 Claude-SearchBot과, 사람이 Claude에게 읽어 달라고 한 페이지용 Claude-User입니다. 각각 robots.txt 설정이 따로 있습니다.

사용자 에이전트

Anthropic 도움말은 robots.txt 토큰 ClaudeBot만 밝히고 전체 사용자 에이전트 문자열은 공개하지 않습니다. 사용자 에이전트에서 ClaudeBot을 맞추고 IP를 Anthropic 목록과 비교하세요.

robots.txt

Anthropic은 자사 봇이 robots.txt를 따르고 CAPTCHA를 우회하지 않는다고 말합니다. 대부분의 크롤러가 무시하는 Crawl-delay도 지원합니다. 막는 대신 속도를 늦추는 데 쓰세요. 적용할 모든 하위 도메인의 robots.txt에 규칙을 넣으세요. robots.txt에서 이 크롤러 전용 그룹을 만들면 그 크롤러에는 User-agent: * 규칙이 적용되지 않습니다. 계속 막아야 할 Disallow 줄이 있다면 그 그룹에도 복사하세요.

User-agent: ClaudeBot
Disallow: /

막으면 잃는 것

앞으로의 페이지가 Anthropic 학습 데이터에서 빠집니다. Claude 검색 결과는 별도 설정인 Claude-SearchBot이므로, ClaudeBot을 막아도 거기서 숨지 않습니다.

진짜 요청인지 확인하기

Anthropic은 봇용 IP 목록 하나를 공개하고, 그 목록에 있는 출발 IP의 크롤러는 Anthropic에서 온 것이라고 말합니다. robots.txt 대신 IP를 막으면 robots.txt를 읽지 못해 거부가 제대로 작동하지 않을 수 있다고 경고합니다. Anthropic 크롤러 IP 주소(JSON)

방화벽과 CDN

방화벽 규칙이 'Anthropic'이나 'Claude'를 이름으로 막으면 Claude-SearchBot과 Claude-User도 걸릴 수 있습니다. 학습만 막고 싶다면 ClaudeBot만 막으세요. Cloudflare를 쓴다면 Security Settings > Configure AI bot policies를 여세요. Search는 Allow(차단하지 않음)로 두세요. Cloudflare 문서는 2026년 9월 15일부터 Training을 차단하면 검색과 학습을 함께 하는 크롤러도 차단된다고 말합니다.

CrawlCoach와 함께

ClaudeBot 차단은 내가 정할 일이라 CrawlCoach는 짚지 않습니다. 대신 Claude 검색이 쓰는 Claude-SearchBot을 막는 robots.txt 규칙과 방화벽 거절은 짚어 드립니다.

자주 묻는 질문

출처

2026년 10월 8일에 확인했습니다. Google은 Search Console과 도움말을 가끔 바꿉니다. 화면이 다르게 보이면 출처를 확인하세요.

• Anthropic 지원 센터: Anthropic이 웹에서 데이터를 수집하나요? 사이트 소유자는 크롤러를 어떻게 차단할 수 있나요?
• Cloudflare 문서: Block AI bots and AI bot policies(영어)