OAI-SearchBot: User-Agent, robots.txt, IPs

OAI-SearchBot findet Seiten für die Suche in ChatGPT. Sperren Sie ihn, zeigt die ChatGPT-Suche Ihre Seiten nicht in ihren Antworten. So erlauben Sie ihn.

Was OAI-SearchBot macht

OAI-SearchBot ist der Suchcrawler von OpenAI. Laut OpenAI dient er dazu, Websites in den Suchergebnissen der Suchfunktionen von ChatGPT zu zeigen.

Er ist nicht der Trainings-Crawler, das ist GPTBot. OpenAI behandelt jede Einstellung für sich, Sie können also OAI-SearchBot erlauben und GPTBot sperren.

Erlauben Sie beide, nutzt OpenAI laut eigener Aussage vielleicht einen Crawl für beide Zwecke, um nicht doppelt zu crawlen.

User-Agent

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; robots.txt; +https://openai.com/searchbot

OpenAI nennt das Beispiele: Die Versionsnummer kann sich ändern. Der zweite enthält die Markierung robots.txt. OpenAI nutzt ihn, wenn es Ihre robots.txt-Datei abruft, so können Sie diese Anfragen in Ihren Logs unterscheiden. Prüfen Sie auf OAI-SearchBot, nicht auf den ganzen Text.

robots.txt

OpenAI führt OAI-SearchBot als robots.txt-Tag, mit dem Websitebetreiber steuern, wie ihre Websites mit der ChatGPT-Suche zusammenarbeiten.

Laut OpenAI können seine Systeme nach einer Änderung der robots.txt etwa 24 Stunden brauchen, bis sie sich anpassen.

Erlauben:

User-agent: OAI-SearchBot
Allow: /

Sperren:

User-agent: OAI-SearchBot
Disallow: /

Was Sie mit einer Sperre verlieren

Laut OpenAI erscheinen Websites, die OAI-SearchBot ausschließen, nicht in den Antworten der ChatGPT-Suche. Als Navigationslinks können sie trotzdem auftauchen.
Für die ChatGPT-Suche empfiehlt OpenAI, OAI-SearchBot in der robots.txt zu erlauben und Anfragen aus seinen veröffentlichten IP-Bereichen zuzulassen.

Prüfen, ob die Anfrage echt ist

Prüfen Sie, ob die IP der Anfrage in der veröffentlichten Liste von OpenAI für OAI-SearchBot steht. Jeder kann den User-Agent kopieren. Nur die Adressen von OpenAI beweisen die Herkunft.

IP-Bereiche von OAI-SearchBot (JSON)

Firewall und Bot-Schutz

Eine Firewall, ein CDN oder eine Bot-Regel kann OAI-SearchBot blockieren, auch wenn die robots.txt ihn erlaubt. OpenAI bittet Sie, beides zu erlauben: die robots.txt-Regel und Anfragen aus seinen IP-Bereichen.
Nutzen Sie Cloudflare, öffnen Sie Security Settings > Configure AI bot policies und stellen Sie Search auf Allow (do not block). Laut Cloudflare-Dokumentation sperrt seit dem 15. September 2026 das Blockieren von Training auch Crawler, die Suche und Training zugleich erledigen.

Mit CrawlCoach

In jedem kostenpflichtigen Tarif liest CrawlCoach Ihre robots.txt und meldet Regeln, die OAI-SearchBot von Ihren öffentlichen Seiten fernhalten, die bei Google sind. Außerdem ruft es eine öffentliche Seite als OAI-SearchBot und als einfacher Crawler ab. Bekommt nur die Anfrage als OAI-SearchBot einen 403, eine Prüfseite oder eine ähnliche Abweisung, sagt Ihnen die Maßnahmenliste, dass vermutlich eine Firewall-Regel ihn blockiert.

Häufige Fragen

Sollte ich OAI-SearchBot erlauben?

Ja, wenn Ihre Seiten in den Antworten der ChatGPT-Suche erscheinen sollen. Laut OpenAI erscheinen Websites, die ihn sperren, dort nicht. Ihn zu erlauben, erlaubt OpenAI nicht, mit Ihren Seiten zu trainieren. Dafür ist GPTBot da, den Sie einzeln sperren können.

Was ist der Unterschied zwischen OAI-SearchBot und ChatGPT-User?

OAI-SearchBot crawlt selbstständig, um Seiten für die ChatGPT-Suche zu finden, und hält sich an die robots.txt. ChatGPT-User besucht eine Seite nur, wenn eine Person in ChatGPT danach fragt, und laut OpenAI gilt die robots.txt für ihn vielleicht nicht. Ob Sie in der Suche erscheinen, entscheidet laut OpenAI nicht ChatGPT-User. Dafür nutzen Sie OAI-SearchBot in der robots.txt.

Wie erscheint meine Website in ChatGPT?

Lassen Sie OAI-SearchBot herein, über robots.txt und Firewall. Erstellen Sie dann Seiten, die echte Fragen klar beantworten, mit dem Text im HTML, das Ihr Server sendet. Keine Einstellung garantiert eine Erwähnung. ChatGPT wählt, was es zeigt.

Quellen

Geprüft am 8. Oktober 2026. Google ändert die Search Console und die Hilfe ab und zu. Sieht etwas auf Ihrem Bildschirm anders aus, sehen Sie in der Quelle nach.

OAI-SearchBot: Sollten Sie ihn erlauben, und wie?