Perplexity-User 사용자 에이전트와 robots.txt

Perplexity는 사람들이 질문하면 Perplexity-User가 답을 돕기 위해 페이지를 방문하고 링크를 넣을 수 있다고 말합니다. 웹 크롤링이나 AI 기반 모델 학습용 콘텐츠 수집에는 쓰이지 않는다고 말합니다.

사용자 에이전트

Perplexity가 준 전체 문자열입니다.

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

robots.txt

Perplexity는 사용자가 요청했으므로 이 크롤러가 대개 robots.txt 규칙을 무시한다고 말합니다. robots.txt에서 이 크롤러 전용 그룹을 만들면 그 크롤러에는 User-agent: * 규칙이 적용되지 않습니다. 계속 막아야 할 Disallow 줄이 있다면 그 그룹에도 복사하세요.

User-agent: Perplexity-User
Allow: /

막으면 잃는 것

robots.txt 규칙은 막지 못할 수 있습니다. 방화벽 차단은 막지만, 그러면 사람이 내 페이지에 대해 물을 때 Perplexity가 읽거나 링크하지 못합니다.

확인과 방화벽

요청 IP를 Perplexity-User IP 범위(JSON)와 비교하세요. Perplexity는 방화벽에서 두 봇을 모두 허용해야 할 수 있으며, 사용자 에이전트와 IP를 함께 맞추라고 말합니다. Cloudflare를 쓴다면 Security Settings > Configure AI bot policies를 여세요. Search는 Allow(차단하지 않음)로 두세요. Cloudflare 문서는 2026년 9월 15일부터 Training을 차단하면 검색과 학습을 함께 하는 크롤러도 차단된다고 말합니다.

CrawlCoach와 함께

Perplexity가 대개 robots.txt를 무시한다고 하므로 CrawlCoach는 Perplexity-User를 검사에서 뺍니다. 대신 Perplexity 검색 결과를 만드는 PerplexityBot을 확인합니다.

자주 묻는 질문

Perplexity-User는 robots.txt를 따르나요?

Perplexity는 사람이 페이지를 요청했으므로 대개 robots.txt 규칙을 무시한다고 말합니다. 꼭 막아야 한다면 방화벽 규칙을 쓰세요.

PerplexityBot과 Perplexity-User는 어떻게 다른가요?

PerplexityBot은 Perplexity 검색 결과용 페이지를 찾으려고 크롤링하고 robots.txt를 읽습니다. Perplexity-User는 한 사람의 질문을 위해 그 순간 페이지를 불러옵니다.

출처

2026년 10월 8일에 확인했습니다. Google은 Search Console과 도움말을 가끔 바꿉니다. 화면이 다르게 보이면 출처를 확인하세요.

Perplexity: Perplexity Crawlers(영어)

Perplexity-User: 정체와 robots.txt로 막지 못하는 이유