GPTBot: 사용자 에이전트와 robots.txt 차단

Q: robots.txt에서 GPTBot은 어떻게 막나요?

User-agent: GPTBot과 Disallow: / 두 줄을 넣으세요. ChatGPT 검색에 나오고 싶다면 OAI-SearchBot은 허용해 두세요.

OpenAI는 GPTBot이 생성형 AI 기반 모델 학습에 쓰일 수 있는 콘텐츠를 크롤링한다고 말합니다. GPTBot을 거부하면 내 콘텐츠를 그 학습에 쓰지 말라는 뜻이 됩니다.

하는 일

GPTBot은 OAI-SearchBot과 별개입니다. GPTBot을 막아도 ChatGPT 검색에서 빠지지 않습니다.

사용자 에이전트

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

OpenAI는 이것을 예시라고 부르며 버전 번호는 바뀔 수 있습니다. robots.txt를 가져올 때는 문자열에 robots.txt 표시를 더할 수 있습니다. GPTBot으로 맞추세요.

robots.txt로 막기

OpenAI는 GPTBot을 robots.txt 태그로 둡니다. GPTBot에 대한 Disallow 규칙이 학습을 거부하는 방법입니다. robots.txt에서 이 크롤러 전용 그룹을 만들면 그 크롤러에는 User-agent: * 규칙이 적용되지 않습니다. 계속 막아야 할 Disallow 줄이 있다면 그 그룹에도 복사하세요.

User-agent: GPTBot
Disallow: /

막으면 잃는 것

ChatGPT 검색에서는 잃는 것이 없습니다. OpenAI는 GPTBot과 OAI-SearchBot을 별개 설정으로 다룹니다. 막으면 앞으로의 페이지가 OpenAI 모델 학습에 쓰이지 않습니다. 그것이 막는 목적입니다.

진짜 요청인지 확인하기

요청 IP를 OpenAI가 공개한 GPTBot 목록과 비교하세요. GPTBot IP 범위(JSON)

방화벽과 CDN

방화벽에서 GPTBot을 막는다면 사용자 에이전트 GPTBot과 정확히 맞추세요. 'OpenAI 차단'이나 'AI 봇 차단' 같은 넓은 규칙은 OAI-SearchBot까지 막아 ChatGPT 검색을 잃게 할 수 있습니다. Cloudflare를 쓴다면 Security Settings > Configure AI bot policies를 여세요. Search는 Allow(차단하지 않음)로 두세요. Cloudflare 문서는 2026년 9월 15일부터 Training을 차단하면 검색과 학습을 함께 하는 크롤러도 차단된다고 말합니다.

CrawlCoach와 함께

GPTBot 차단은 내가 정할 일이라 CrawlCoach는 짚지 않습니다. 대신 ChatGPT 검색에 필요한 OAI-SearchBot을 막는 robots.txt 규칙과 방화벽 거절은 짚어 드립니다.

자주 묻는 질문

robots.txt에서 GPTBot은 어떻게 막나요?

User-agent: GPTBot과 Disallow: / 두 줄을 넣으세요. ChatGPT 검색에 나오고 싶다면 OAI-SearchBot은 허용해 두세요.

GPTBot을 막으면 SEO에 해가 되나요?

Google이나 Bing에서는 아닙니다. GPTBot은 OpenAI의 학습 크롤러이며 Google, Bing 검색과 관계없습니다. ChatGPT 검색 노출도 정하지 않습니다.

GPTBot은 robots.txt를 따르나요?

OpenAI는 GPTBot을 거부하면 내 콘텐츠를 학습에 쓰지 말라는 뜻이라고 말합니다. GPTBot IP 범위를 공개하니 GPTBot이라는 요청이 진짜인지 확인할 수 있습니다.

출처

2026년 10월 8일에 확인했습니다. Google은 Search Console과 도움말을 가끔 바꿉니다. 화면이 다르게 보이면 출처를 확인하세요.

GPTBot: 사용자 에이전트, robots.txt, 차단하는 방법