OAI-SearchBot: 사용자 에이전트, robots.txt, IP

OAI-SearchBot은 OpenAI의 검색 크롤러입니다. OpenAI는 이 크롤러가 ChatGPT 검색 기능의 검색 결과에 웹사이트를 보여 주는 데 쓰인다고 말합니다.

하는 일

학습 크롤러가 아닙니다. 학습은 GPTBot이 합니다. OpenAI는 두 설정을 따로 다루므로 OAI-SearchBot은 허용하고 GPTBot은 막을 수 있습니다. 둘 다 허용하면 OpenAI는 두 번 크롤링하지 않도록 한 번의 크롤링을 두 용도에 쓸 수 있다고 말합니다.

사용자 에이전트

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; robots.txt; +https://openai.com/searchbot

OpenAI는 이것을 예시라고 부르며 버전 번호는 바뀔 수 있습니다. 두 번째에는 robots.txt 표시가 있습니다. robots.txt 파일을 가져올 때 쓰므로 로그에서 그 요청을 구분할 수 있습니다. 전체 문자열이 아니라 OAI-SearchBot으로 맞추세요.

robots.txt

OpenAI는 OAI-SearchBot을 ChatGPT 검색과 사이트의 관계를 관리하는 robots.txt 태그로 둡니다. robots.txt를 바꾼 뒤 시스템에 반영되기까지 약 24시간이 걸릴 수 있다고 말합니다. robots.txt에서 이 크롤러 전용 그룹을 만들면 그 크롤러에는 User-agent: * 규칙이 적용되지 않습니다. 계속 막아야 할 Disallow 줄이 있다면 그 그룹에도 복사하세요.

User-agent: OAI-SearchBot
Allow: /

막으면 잃는 것

OpenAI는 OAI-SearchBot을 거부한 사이트는 ChatGPT 검색 답변에 나오지 않는다고 말합니다. 탐색용 링크로는 나올 수 있습니다. ChatGPT 검색에 나오려면 robots.txt에서 OAI-SearchBot을 허용하고 공개된 IP 범위의 요청도 허용하라고 권합니다.

진짜 요청인지 확인하기

요청 IP가 OpenAI가 공개한 OAI-SearchBot 목록에 있는지 보세요. 사용자 에이전트는 누구나 흉내 낼 수 있고, OpenAI의 주소만이 증거입니다. IP 목록: OAI-SearchBot IP 범위(JSON)

방화벽과 CDN

robots.txt가 허용해도 방화벽, CDN, 봇 규칙이 OAI-SearchBot을 막을 수 있습니다. OpenAI는 robots.txt 규칙과 IP 범위의 요청 둘 다 허용해 달라고 합니다. Cloudflare를 쓴다면 Security Settings > Configure AI bot policies를 여세요. Search는 Allow(차단하지 않음)로 두세요. Cloudflare 문서는 2026년 9월 15일부터 Training을 차단하면 검색과 학습을 함께 하는 크롤러도 차단된다고 말합니다.

CrawlCoach와 함께

모든 유료 요금제에서 CrawlCoach는 robots.txt를 읽고, Google에 있는 공개 페이지에서 OAI-SearchBot을 막는 규칙을 짚습니다. 공개 페이지 하나를 OAI-SearchBot으로, 그리고 일반 크롤러로 요청해 봅니다. OAI-SearchBot 요청만 403이나 확인 페이지 같은 거절을 받으면, 방화벽 규칙이 막고 있을 가능성이 크다고 수정 목록에 알려 드립니다.

자주 묻는 질문

OAI-SearchBot을 허용해야 하나요?

ChatGPT 검색 답변에 내 페이지를 올리고 싶다면 그렇습니다. OpenAI는 이를 막은 사이트는 그 답변에 나오지 않는다고 말합니다. 허용한다고 OpenAI가 페이지로 학습하는 것은 아닙니다. 그것은 GPTBot이며 따로 막을 수 있습니다.

OAI-SearchBot과 ChatGPT-User는 어떻게 다른가요?

OAI-SearchBot은 ChatGPT 검색용 페이지를 스스로 크롤링하고 robots.txt를 따릅니다. ChatGPT-User는 ChatGPT에서 사람이 요청할 때만 페이지를 방문하며, OpenAI는 robots.txt가 적용되지 않을 수 있다고 말합니다. 검색 노출은 ChatGPT-User가 정하지 않으니 robots.txt에서는 OAI-SearchBot을 쓰세요.

내 웹사이트가 ChatGPT에 나오게 하려면요?

robots.txt와 방화벽에서 OAI-SearchBot을 들여보내세요. 그다음 실제 질문에 분명히 답하고, 글이 서버가 보내는 HTML에 있는 페이지를 만드세요. 언급을 보장하는 설정은 없습니다. 무엇을 보여 줄지는 ChatGPT가 고릅니다.

출처

2026년 10월 8일에 확인했습니다. Google은 Search Console과 도움말을 가끔 바꿉니다. 화면이 다르게 보이면 출처를 확인하세요.

OAI-SearchBot: 허용해야 할까, 어떻게 허용할까