Applebot과 Applebot-Extended robots.txt 가이드

Q: Applebot은 어떻게 확인하나요?

IP로 역방향 DNS 조회를 하세요. applebot.apple.com으로 끝나야 합니다. 그 이름을 다시 조회해 같은 IP가 나오는지 보세요. 또는 IP를 Apple JSON 목록과 비교하세요.

Apple은 Applebot의 데이터가 Spotlight, Siri, Safari 등 여러 제품의 검색 기능에 쓰인다고 말합니다. Applebot을 허용하면 Apple 사용자의 검색 결과에 내 콘텐츠가 나올 수 있습니다.

하는 일

Apple은 Applebot 데이터가 Apple 기반 모델 학습에도 도움이 될 수 있고, Siri와 검색의 AI 답변에 출처 링크와 함께 최신 맥락을 줄 수 있다고 말합니다. Applebot-Extended는 페이지를 크롤링하지 않습니다. Applebot이 크롤링한 데이터를 어떻게 쓸지만 정합니다. Apple 기반 모델 학습을 거부하려면 이것을 Disallow하세요.

사용자 에이전트

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Apple은 이것을 예시로 줍니다. 문자열에는 항상 Applebot이 있고, Apple은 브라우저 버전을 가끔 바꿉니다. Applebot-Extended에는 자체 사용자 에이전트가 없습니다.

robots.txt

Apple은 Applebot이 Applebot을 대상으로 한 robots.txt 규칙을 따른다고 말합니다.
robots.txt에 Applebot은 없고 Googlebot이 있으면 Applebot은 Googlebot 규칙을 따릅니다.
Applebot은 Crawl-delay를 따르지 않습니다.
검색에서 빠지지 않고 Siri와 검색의 AI 답변에서만 콘텐츠를 빼려면 nosnippet robots 메타 태그를 쓰라고 말합니다.

# Apple 모델 학습만 거부
User-agent: Applebot-Extended
Disallow: /

# Apple 검색에서도 빠짐. 권하지 않음
User-agent: Applebot
Disallow: /

막으면 잃는 것

Applebot을 막으면 Siri, Spotlight, Safari 검색 결과에서 빠집니다. Applebot-Extended를 막으면 Apple 모델 학습만 거부합니다. Apple은 그런 페이지도 검색 결과에 있을 수 있고, 이 규칙은 순위 요소가 아니라고 말합니다.

확인과 방화벽

Apple은 역방향 DNS로 확인하라고 말합니다. 진짜 Applebot 호스트는 applebot.apple.com으로 끝납니다. 또는 IP를 Apple이 공개한 Applebot IP 범위(JSON)와 비교하세요. Apple은 Applebot이 브라우저로 페이지를 렌더링할 수 있다고 하니, robots.txt나 방화벽이 CSS나 JavaScript를 막으면 페이지를 제대로 보지 못할 수 있습니다. Cloudflare를 쓴다면 Security Settings > Configure AI bot policies를 여세요. Search는 Allow(차단하지 않음)로 두세요. Cloudflare 문서는 2026년 9월 15일부터 Training을 차단하면 검색과 학습을 함께 하는 크롤러도 차단된다고 말합니다.

CrawlCoach와 함께

모든 유료 요금제에서 CrawlCoach는 robots.txt를 읽고, Google에 있는 공개 페이지에서 Applebot을 막는 규칙을 짚습니다. 방화벽은 Applebot을 주소로 확인하므로 CrawlCoach 서버에서 보내는 시험 요청은 의미가 없습니다. 그래서 방화벽 시험은 하지 않습니다. Applebot-Extended는 내가 정할 일이라 짚지 않습니다.

자주 묻는 질문

Applebot-Extended는 무엇인가요?

robots.txt 토큰입니다. Apple은 이것이 크롤링하지 않는다고 말합니다. Disallow하면 Apple이 기반 모델 학습에 내 콘텐츠를 쓰지 않습니다. 페이지는 Apple 검색 결과에 남습니다.

Applebot이 Googlebot 규칙을 따르나요?

robots.txt에 Applebot 그룹이 없으면 그렇습니다. Apple은 그때 Applebot이 Googlebot 지시를 따른다고 말합니다.

Applebot은 어떻게 확인하나요?

IP로 역방향 DNS 조회를 하세요. applebot.apple.com으로 끝나야 합니다. 그 이름을 다시 조회해 같은 IP가 나오는지 보세요. 또는 IP를 Apple JSON 목록과 비교하세요.

출처

2026년 10월 8일에 확인했습니다. Google은 Search Console과 도움말을 가끔 바꿉니다. 화면이 다르게 보이면 출처를 확인하세요.

Applebot과 Applebot-Extended: 각각 무엇을 제어하나