ChatGPT-User: 정체와 OAI-SearchBot과의 차이

하는 일

OpenAI는 ChatGPT-User가 스스로 웹을 크롤링하지 않는다고 말합니다. ChatGPT 검색에 사이트가 나오는지도 정하지 않습니다. 그것은 OAI-SearchBot입니다.

사용자 에이전트

OpenAI가 준 전체 문자열입니다.

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot

robots.txt

OpenAI는 사람이 이 방문을 시작하므로 robots.txt 규칙이 적용되지 않을 수 있다고 말합니다. ChatGPT 검색과 자동 크롤링을 관리하려면 robots.txt에서 OAI-SearchBot을 쓰라고 합니다. robots.txt에서 이 크롤러 전용 그룹을 만들면 그 크롤러에는 User-agent: * 규칙이 적용되지 않습니다. 계속 막아야 할 Disallow 줄이 있다면 그 그룹에도 복사하세요.

User-agent: ChatGPT-User
Allow: /

막으면 잃는 것

사람이 ChatGPT에 내 페이지를 읽거나 확인해 달라고 할 때 실패할 수 있습니다. 그 사람은 내 페이지 없는 답을 받습니다. OpenAI에 따르면 robots.txt 차단은 이를 막지 못할 수 있지만, 방화벽 차단은 막고 그 방문을 잃게 합니다.

진짜 요청인지 확인하기와 방화벽

요청 IP를 OpenAI가 공개한 ChatGPT-User IP 범위(JSON)와 비교하세요. 봇 보호는 ChatGPT-User를 스크레이퍼처럼 다루곤 합니다. 사람들이 ChatGPT와 내 페이지를 공유할 수 있게 하려면 OpenAI IP 범위의 ChatGPT-User를 허용하세요. Cloudflare를 쓴다면 Security Settings > Configure AI bot policies를 여세요. Search는 Allow(차단하지 않음)로 두세요. Cloudflare 문서는 2026년 9월 15일부터 Training을 차단하면 검색과 학습을 함께 하는 크롤러도 차단된다고 말합니다.

CrawlCoach와 함께

OpenAI가 robots.txt가 적용되지 않을 수 있다고 하므로 CrawlCoach는 ChatGPT-User를 검사에서 뺍니다. 대신 ChatGPT 검색에 페이지가 나올 수 있는지를 정하는 OAI-SearchBot을 확인합니다.

자주 묻는 질문

출처

2026년 10월 8일에 확인했습니다. Google은 Search Console과 도움말을 가끔 바꿉니다. 화면이 다르게 보이면 출처를 확인하세요.

• OpenAI: Overview of OpenAI Crawlers(영어)