Zum Inhalt springen
crawlcoach.
Kostenlosen Bericht holen

GPTBot: User-Agent, robots.txt und wie Sie ihn sperren

GPTBot sammelt Seiten, die die Modelle von OpenAI trainieren können. Ihn zu sperren, nimmt Sie nicht aus der ChatGPT-Suche. Hier sind die genauen Zeilen.

In der robots.txt:GPTBot

Von Bruno Amorim · ·

Auch auf: English · Português (Brasil) · Español · Français · Italiano · Polski · 日本語 · 한국어

Was GPTBot macht

Laut OpenAI crawlt GPTBot Inhalte, die zum Training seiner generativen KI-Grundmodelle genutzt werden können.

Sperren Sie GPTBot, sagen Sie OpenAI damit, dass Ihre Inhalte nicht für dieses Training genutzt werden sollen.

GPTBot ist von OAI-SearchBot getrennt. Wer GPTBot sperrt, bleibt in der ChatGPT-Suche.

User-Agent

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

OpenAI nennt das ein Beispiel: Die Versionsnummer kann sich ändern. Ruft er die robots.txt ab, kann er dem Text die Markierung robots.txt hinzufügen. Prüfen Sie auf GPTBot.

robots.txt

OpenAI führt GPTBot als robots.txt-Tag. Eine Disallow-Regel für GPTBot ist der Weg, sich vom Training abzumelden.

Erlauben:

User-agent: GPTBot
Allow: /

Sperren:

User-agent: GPTBot
Disallow: /

Was Sie mit einer Sperre verlieren

  • Nichts in der ChatGPT-Suche. OpenAI behandelt GPTBot und OAI-SearchBot als getrennte Einstellungen.
  • Ihre künftigen Seiten werden nicht zum Training der Modelle von OpenAI genutzt. Genau darum geht es bei der Sperre.

Prüfen, ob die Anfrage echt ist

  • Prüfen Sie die IP der Anfrage gegen die veröffentlichte Liste von OpenAI für GPTBot.

Firewall und Bot-Schutz

  • Sperren Sie GPTBot in einer Firewall, prüfen Sie genau auf den User-Agent GPTBot. Eine breite Regel wie „OpenAI blockieren“ oder „KI-Bots blockieren“ kann auch OAI-SearchBot treffen und Sie die ChatGPT-Suche kosten.
  • Nutzen Sie Cloudflare, öffnen Sie Security Settings > Configure AI bot policies und stellen Sie Search auf Allow (do not block). Laut Cloudflare-Dokumentation sperrt seit dem 15. September 2026 das Blockieren von Training auch Crawler, die Suche und Training zugleich erledigen.

Mit CrawlCoach

GPTBot zu sperren, ist Ihre Entscheidung, deshalb meldet CrawlCoach es nicht. Gemeldet werden robots.txt-Regeln und Abweisungen durch die Firewall, die OAI-SearchBot treffen, den Crawler, den die ChatGPT-Suche braucht.

Häufige Fragen

Wie sperre ich GPTBot in der robots.txt?

Ergänzen Sie zwei Zeilen: User-agent: GPTBot und Disallow: /. Lassen Sie OAI-SearchBot erlaubt, wenn Sie in der ChatGPT-Suche erscheinen wollen.

Schadet es meiner SEO, GPTBot zu sperren?

Nicht bei Google oder Bing. GPTBot ist der Trainings-Crawler von OpenAI und hat mit der Google- oder Bing-Suche nichts zu tun. Er entscheidet auch nicht, ob die ChatGPT-Suche Sie zeigt.

Hält sich GPTBot an die robots.txt?

Laut OpenAI sagt eine Sperre für GPTBot, dass Ihre Inhalte nicht im Training genutzt werden sollen. OpenAI veröffentlicht die IP-Bereiche von GPTBot, so können Sie prüfen, ob Anfragen, die sich als GPTBot ausgeben, echt sind.

Quellen

Geprüft am 8. Oktober 2026. Google ändert die Search Console und die Hilfe ab und zu. Sieht etwas auf Ihrem Bildschirm anders aus, sehen Sie in der Quelle nach.

Sehen Sie, welche Seiten Ihrer Website bei Google fehlen

Melden Sie sich mit Google an. CrawlCoach prüft bis zu 500 Seiten kostenlos und zeigt für jedes Problem die Lösung.

Kostenlosen Bericht holen

Kostenlos für bis zu 500 Seiten. Keine Kreditkarte nötig. Melden Sie sich mit dem Google-Konto an, das Sie für die Search Console nutzen.

Die App und die Berichte von CrawlCoach sind auf Englisch.

Weitere KI-Crawler

Weitere Leitfäden