Claude-User 사용자 에이전트와 robots.txt

Anthropic은 Claude-User가 Claude 사용자를 돕는다고 말합니다. 사람들이 Claude에게 질문하면 이 에이전트로 웹사이트를 방문할 수 있습니다.

하는 일

자기 일정에 따라 웹을 도는 크롤러가 아닙니다. 사람의 요청이 있을 때 페이지를 가져옵니다.

사용자 에이전트

Anthropic 도움말은 토큰 Claude-User만 밝히고 전체 문자열은 공개하지 않습니다. Claude-User로 맞추고 IP를 Anthropic 목록과 비교하세요.

robots.txt

Anthropic은 Claude-User로 사이트 소유자가 사용자 요청이 닿을 사이트를 정할 수 있고, 자사 봇이 robots.txt를 따른다고 말합니다. OpenAI와 Perplexity가 사용자 요청 크롤러에 robots.txt가 적용되지 않을 수 있다고 하는 것과 다릅니다. robots.txt에서 이 크롤러 전용 그룹을 만들면 그 크롤러에는 User-agent: * 규칙이 적용되지 않습니다. 계속 막아야 할 Disallow 줄이 있다면 그 그룹에도 복사하세요.

User-agent: Claude-User
Allow: /

막으면 잃는 것

Anthropic은 Claude-User를 막으면 사용자의 질문에 콘텐츠를 가져오지 못해, 사용자가 시작한 웹 검색에서 노출이 줄 수 있다고 말합니다.

확인과 방화벽

요청 IP를 Anthropic 크롤러 IP 주소(JSON)와 비교하세요. 모든 AI 에이전트를 막는 봇 규칙은 Claude-User도 막습니다. 사람들이 Claude에게 내 페이지를 물어볼 수 있게 하려면 허용하세요. Cloudflare를 쓴다면 Security Settings > Configure AI bot policies를 여세요. Search는 Allow(차단하지 않음)로 두세요. Cloudflare 문서는 2026년 9월 15일부터 Training을 차단하면 검색과 학습을 함께 하는 크롤러도 차단된다고 말합니다.

CrawlCoach와 함께

CrawlCoach는 Anthropic의 검색 크롤러인 Claude-SearchBot을 robots.txt와 방화벽에서 확인합니다. 회사마다 있는 사람 요청 크롤러는 검사에서 뺍니다.

자주 묻는 질문

Claude-User는 robots.txt를 따르나요?

Anthropic은 자사 봇이 robots.txt를 따르고, Claude-User로 사용자 요청이 닿을 사이트를 정할 수 있다고 말합니다. 그러니 Claude-User에 대한 Disallow는 이를 막아야 합니다.

Claude-User를 막아야 하나요?

대개 아닙니다. 사람이 Claude에게 무언가를 물을 때만 방문합니다. 막으면 그 사람을 위해 Claude가 내 페이지를 읽지 못합니다.

출처

2026년 10월 8일에 확인했습니다. Google은 Search Console과 도움말을 가끔 바꿉니다. 화면이 다르게 보이면 출처를 확인하세요.

Anthropic 지원 센터: Anthropic이 웹에서 데이터를 수집하나요? 사이트 소유자는 크롤러를 어떻게 차단할 수 있나요?

Claude-User: 정체와 차단해야 할지 여부