PerplexityBot: 사용자 에이전트, robots.txt, IP 범위

사용자 에이전트

Perplexity가 준 전체 문자열입니다.

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

robots.txt

Perplexity는 PerplexityBot을 Perplexity와 사이트의 관계를 관리하는 robots.txt 태그로 둡니다. 변경이 반영되기까지 최대 24시간이 걸릴 수 있다고 말합니다. robots.txt에서 이 크롤러 전용 그룹을 만들면 그 크롤러에는 User-agent: * 규칙이 적용되지 않습니다. 계속 막아야 할 Disallow 줄이 있다면 그 그룹에도 복사하세요.

User-agent: PerplexityBot
Allow: /

막으면 잃는 것

Perplexity 검색 결과에 나오려면 Perplexity는 robots.txt에서 PerplexityBot을 허용하고 공개된 IP 범위를 허용하라고 권합니다. 막으면 그 반대가 됩니다.

확인과 방화벽

요청 IP를 PerplexityBot IP 범위(JSON)와 비교하세요. Perplexity는 방화벽에서 봇을 허용해야 할 수 있다고 하며, 사용자 에이전트와 IP를 함께 맞추고, JSON 목록을 기준으로 삼고, 자주 새로 고치라고 권합니다. Cloudflare라면 Security > WAF에서 사용자 에이전트에 PerplexityBot이 있고 IP가 범위 안이면 Allow하는 사용자 지정 규칙을 제안합니다. Cloudflare를 쓴다면 Security Settings > Configure AI bot policies를 여세요. Search는 Allow(차단하지 않음)로 두세요. Cloudflare 문서는 2026년 9월 15일부터 Training을 차단하면 검색과 학습을 함께 하는 크롤러도 차단된다고 말합니다.

CrawlCoach와 함께

모든 유료 요금제에서 CrawlCoach는 robots.txt를 읽고, Google에 있는 공개 페이지에서 PerplexityBot을 막는 규칙을 짚습니다. 공개 페이지 하나를 PerplexityBot과 일반 크롤러로 요청해 보고, 방화벽이 PerplexityBot을 거절하는 것으로 보이면 알려 드립니다.

자주 묻는 질문

출처

2026년 10월 8일에 확인했습니다. Google은 Search Console과 도움말을 가끔 바꿉니다. 화면이 다르게 보이면 출처를 확인하세요.

• Perplexity: Perplexity Crawlers(영어)
• Cloudflare 문서: Block AI bots and AI bot policies(영어)