Claude-SearchBot: 사용자 에이전트와 robots.txt

Anthropic은 Claude-SearchBot이 Claude 사용자의 검색 결과 품질을 높이고, 검색 답변을 더 관련성 있고 정확하게 만들려고 웹을 크롤링한다고 말합니다.

하는 일

학습 데이터를 모으는 ClaudeBot과 별개입니다. 하나는 허용하고 다른 하나는 막을 수 있습니다.

사용자 에이전트

Anthropic 도움말은 토큰 Claude-SearchBot만 밝히고 전체 문자열은 공개하지 않습니다. Claude-SearchBot으로 맞추고 IP를 Anthropic 목록과 비교하세요.

robots.txt

Anthropic은 자사 봇이 robots.txt를 따르고 Crawl-delay를 지원한다고 말합니다. robots.txt에서 이 크롤러 전용 그룹을 만들면 그 크롤러에는 User-agent: * 규칙이 적용되지 않습니다. 계속 막아야 할 Disallow 줄이 있다면 그 그룹에도 복사하세요.

User-agent: Claude-SearchBot
Allow: /

막으면 잃는 것

Anthropic은 Claude-SearchBot을 막으면 검색용으로 콘텐츠를 색인하지 못해 Claude 검색 결과에서의 노출과 정확성이 줄 수 있다고 말합니다.

확인과 방화벽

요청 IP를 Anthropic 크롤러 IP 주소(JSON)와 비교하세요. 'Claude'나 'Anthropic'을 이름으로 막는 규칙은 Claude-SearchBot도 막습니다. 학습만 막고 싶다면 ClaudeBot만 막으세요. Cloudflare를 쓴다면 Security Settings > Configure AI bot policies를 여세요. Search는 Allow(차단하지 않음)로 두세요. Cloudflare 문서는 2026년 9월 15일부터 Training을 차단하면 검색과 학습을 함께 하는 크롤러도 차단된다고 말합니다.

CrawlCoach와 함께

모든 유료 요금제에서 CrawlCoach는 robots.txt를 읽고, Google에 있는 공개 페이지에서 Claude-SearchBot을 막는 규칙을 짚습니다. 공개 페이지 하나를 Claude-SearchBot과 일반 크롤러로 요청해 보고, 방화벽이 Claude-SearchBot을 거절하는 것으로 보이면 알려 드립니다.

자주 묻는 질문

Claude-SearchBot을 허용해야 하나요?

Claude 검색 답변에 내 페이지를 올리고 싶다면 그렇습니다. Anthropic은 막으면 그곳 노출이 줄 수 있다고 말합니다. 학습은 별도 설정인 ClaudeBot입니다.

ClaudeBot과 Claude-SearchBot은 어떻게 다른가요?

ClaudeBot은 Anthropic 모델 학습에 쓰일 수 있는 페이지를 모읍니다. Claude-SearchBot은 Claude 검색 결과를 위해 크롤링합니다. 각각 자기 robots.txt 그룹을 읽습니다.

출처

2026년 10월 8일에 확인했습니다. Google은 Search Console과 도움말을 가끔 바꿉니다. 화면이 다르게 보이면 출처를 확인하세요.

Claude-SearchBot: Anthropic 검색 크롤러를 허용해야 하는 이유