本文へスキップ

GPTBot: ユーザー エージェント、robots.txt、ブロックの方法

OpenAI によると、GPTBot は、生成 AI の基盤モデルの学習に使われる可能性のあるコンテンツをクロールします。GPTBot を拒否すると、そのコンテンツを学習に使わないよう OpenAI に伝えられます。

robots.txt のトークン:GPTBot

著者: Bruno Amorim · ·

他の言語で読む: English · Português (Brasil) · Español · Deutsch · Français · Italiano · Polski · 한국어

何をするか

GPTBot は OAI-SearchBot とは別物です。GPTBot をブロックしても、ChatGPT 検索から外れることはありません。

ユーザー エージェント

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

OpenAI はこれを例としており、バージョン番号は変わることがあります。robots.txt を取得するときは、文字列に robots.txt の目印が付くことがあります。GPTBot で照合しましょう。

robots.txt

OpenAI は GPTBot を robots.txt のタグとして挙げています。GPTBot への Disallow が、学習を断る方法です。

# 許可する
User-agent: GPTBot
Allow: /

# ブロックする
User-agent: GPTBot
Disallow: /

ブロックすると失うもの

ChatGPT 検索では何も失いません。OpenAI は GPTBot と OAI-SearchBot を別の設定として扱います。今後のページが OpenAI のモデルの学習に使われなくなります。それがブロックする目的です。

本物か確かめる

リクエストの IP を、OpenAI が公開している GPTBot の一覧(https://openai.com/gptbot.json)と照らし合わせます。

ファイアウォールと CDN

ファイアウォールで GPTBot をブロックするなら、ユーザー エージェントの GPTBot だけに正確に当てます。「OpenAI をブロック」「AI ボットをブロック」のような広いルールは OAI-SearchBot まで止め、ChatGPT 検索を失います。Cloudflare を使っているなら、Security Settings > Configure AI bot policies を開き、Search を Allow(ブロックしない)にします。Cloudflare のドキュメントによると、2026 年 9 月 15 日から、Training をブロックすると、検索と学習の両方を行うクローラーもブロックされます。

CrawlCoach でわかること

GPTBot をブロックするかはサイト運営者が決めることなので、CrawlCoach は知らせません。知らせるのは、ChatGPT 検索に必要な OAI-SearchBot を止める robots.txt のルールと、ファイアウォールの拒否です。

よくある質問

robots.txt で GPTBot をブロックするには?

User-agent: GPTBot と Disallow: / の 2 行を追加します。ChatGPT 検索に出たいなら、OAI-SearchBot は許可したままにします。

GPTBot をブロックすると SEO に悪影響がありますか?

Google でも Bing でもありません。GPTBot は OpenAI の学習用クローラーで、Google や Bing の検索とは関係ありません。ChatGPT 検索に出るかも決めません。

GPTBot は robots.txt に従いますか?

OpenAI によると、GPTBot を拒否すると、コンテンツを学習に使わないよう伝えられます。OpenAI は GPTBot の IP 範囲を公開しているので、GPTBot を名乗るリクエストが本物か確かめられます。

出典

2026年10月8日 に確認しました。Search Console とヘルプの内容は Google が随時変更します。画面の表示が違う場合は、出典をご確認ください。

Google に載っていないページを確認しましょう

Google アカウントでログインするだけです。CrawlCoach が最大 500 ページを無料でチェックし、問題ごとに直し方を示します。

無料レポートを受け取る

500 ページまで無料です。クレジットカードは不要です。Search Console で使っている Google アカウントでログインしてください。

CrawlCoach のアプリとレポートは英語で表示されます。

他の AI クローラー

その他のガイド(英語)