OAI-SearchBot は許可すべきか、その方法

何をするか

学習用のクローラーではありません。学習は GPTBot です。OpenAI はそれぞれを別の設定として扱うので、OAI-SearchBot を許可し、GPTBot をブロックできます。両方を許可すると、OpenAI は二重のクロールを避けるため、1 回のクロールを両方の用途に使うことがあります。

ユーザー エージェント

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; robots.txt; +https://openai.com/searchbot

OpenAI はこれらを例としており、バージョン番号は変わることがあります。2 つ目には robots.txt の目印があり、robots.txt を取得するときに使うので、ログで区別できます。文字列全体ではなく OAI-SearchBot で照合しましょう。

robots.txt

OpenAI は、ChatGPT 検索との関わり方を管理する robots.txt のタグとして OAI-SearchBot を挙げています。robots.txt を変えてから OpenAI のシステムに反映されるまで、約 24 時間かかることがあります。

# 許可する
User-agent: OAI-SearchBot
Allow: /

# ブロックする
User-agent: OAI-SearchBot
Disallow: /

ブロックすると失うもの

OpenAI によると、OAI-SearchBot を拒否したサイトは ChatGPT 検索の回答に表示されません。ナビゲーション用のリンクとしては出ることがあります。ChatGPT 検索に出るには、robots.txt で OAI-SearchBot を許可し、公開されている IP 範囲からのリクエストも許可するよう OpenAI は勧めています。

本物か確かめる

リクエストの IP が、OpenAI が公開している OAI-SearchBot の一覧（https://openai.com/searchbot.json）にあるか確認します。ユーザー エージェントは誰でも真似できます。本物を証明するのは OpenAI のアドレスだけです。

ファイアウォールと CDN

robots.txt で許可していても、ファイアウォール、CDN、ボットのルールが OAI-SearchBot をブロックすることがあります。OpenAI は、robots.txt のルールと IP 範囲からのリクエストの両方を許可するよう求めています。Cloudflare を使っているなら、Security Settings > Configure AI bot policies を開き、Search を Allow（ブロックしない）にします。Cloudflare のドキュメントによると、2026 年 9 月 15 日から、Training をブロックすると、検索と学習の両方を行うクローラーもブロックされます。

CrawlCoach でわかること

すべての有料プランで、CrawlCoach は robots.txt を読み、Google に載っている公開ページへの OAI-SearchBot を止めるルールを知らせます。公開ページ 1 つを、OAI-SearchBot として、また普通のクローラーとしてリクエストもします。OAI-SearchBot のリクエストだけが 403 やチャレンジなどで断られたら、ファイアウォールのルールがブロックしている可能性が高いと修正リストで伝えます。

よくある質問

出典

2026年10月8日 に確認しました。Search Console とヘルプの内容は Google が随時変更します。画面の表示が違う場合は、出典をご確認ください。

• OpenAI: OpenAI のクローラーの概要（英語）
• Cloudflare ドキュメント: AI ボットのブロックと AI ボットのポリシー（英語）