Bingbot: User-Agent, robots.txt und Copilot

Q: Wie halte ich eine Seite aus Copilot heraus, bleibe aber bei Bing?

Laut den Richtlinien von Bing hält noarchive Inhalte aus den Antworten und Grounding-Ergebnissen von Copilot heraus, und nocache beschränkt Copilot auf URL, Titel und Snippet. noindex nimmt die Seite aus Bing und Copilot.

Q: Warum crawlt Bingbot meine Website nicht?

Prüfen Sie die robots.txt auf ein Crawl-delay oder eine Gruppe bingbot, Ihre Firewall auf Sperren und die Bing Webmaster Tools auf eine eingereichte Sitemap. Die Bing-Leitfäden erklären jeden Status, den Bing zeigt.

Bingbot crawlt für die Bing-Suche, und laut den Richtlinien von Bing nutzt Copilot dasselbe Crawling und denselben Index. Sperren Sie ihn, verlieren Sie beides.

Was Bingbot macht

Laut Bing ist Bingbot sein Standard-Crawler und erledigt den Großteil des Crawlings.

Laut den Richtlinien von Bing beruhen die Sucherlebnisse von Bing und Copilot auf demselben Crawling, derselben Indexierung und demselben Ranking. Eine Seite, die Bingbot nicht crawlen kann, kann in Antworten von Copilot nicht zitiert werden.

Die Bing Webmaster Tools haben einen Bericht AI Performance, der zeigt, welche Ihrer Seiten Copilot und die KI-Zusammenfassungen von Bing zitieren.

User-Agent

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

Laut Bing steht W.X.Y.Z für die aktuelle Version von Microsoft Edge, die Bingbot nutzt, und sie ändert sich. Prüfen Sie auf bingbot.

robots.txt

Laut Bing sagt die robots.txt seinen Crawlern, wie sie mit Ihrer Website umgehen sollen.

Bingbot folgt Crawl-delay, und laut Bing hat diese Zeile immer Vorrang vor der Einstellung Crawl Control in den Bing Webmaster Tools.

Für die KI-Nutzung gibt es kein eigenes Bing-Token. Laut den Richtlinien von Bing halten Sie eine Seite mit noindex aus Bing-Suche und Copilot heraus, und noarchive hält Inhalte aus den Antworten von Copilot heraus.

Erlauben:

User-agent: bingbot
Allow: /

Sperren:

User-agent: bingbot
Disallow: /

Was Sie mit einer Sperre verlieren

Eine Sperre von Bingbot verhindert, dass Ihre Seiten für die Bing-Suche gecrawlt werden. Die Richtlinien von Bing nennen das Sperren von Bingbot in der robots.txt als etwas, das Sie vermeiden sollten.
Die Antworten von Copilot beruhen auf demselben Crawl, Sie verlieren also auch diese Zitate.

Prüfen, ob die Anfrage echt ist

Führen Sie eine Reverse-DNS-Abfrage der IP durch. Der Name sollte auf search.msn.com enden. Fragen Sie dann diesen Namen vorwärts ab und prüfen Sie, ob dieselbe IP zurückkommt.
Oder fügen Sie die IP in den Bing Webmaster Tools unter Verify Bingbot ein, oder gleichen Sie sie mit der veröffentlichten IP-Liste von Bing ab. Laut Bing sollten Sie die Liste täglich aktualisieren.

IP-Adressen von Bingbot (JSON)

Firewall und Bot-Schutz

Strenger Bot-Schutz und Einstellungen wie „KI-Bots blockieren“ können Bingbot treffen. Suchen Sie im Ereignisprotokoll Ihrer Firewall nach bingbot und erlauben Sie ihn, wenn die IP stimmt.
Um Bingbot zu bremsen, statt ihn zu sperren, nutzen Sie Crawl Control in den Bing Webmaster Tools.

Mit CrawlCoach

In jedem kostenpflichtigen Tarif liest CrawlCoach Ihre robots.txt und meldet Regeln, die Bingbot von Ihren öffentlichen Seiten fernhalten, die bei Google sind. Verbinden Sie die Bing Webmaster Tools, listet CrawlCoach außerdem die Seiten bei Google, die Bing nicht gecrawlt hat. Bei Pro und Agency sendet es diese Seiten für Sie an Bing. Durch Ihre Firewall testet CrawlCoach Bingbot nicht, weil Bing seinen Crawler über die Adresse bestätigt.

Häufige Fragen

Nimmt mich eine Sperre von Bingbot aus Microsoft Copilot?

Laut den Richtlinien von Bing beruht Copilot auf demselben Crawling und Index wie die Bing-Suche. Eine Seite, die Bingbot nicht crawlen kann, kann in keinem von beiden sein.

Wie halte ich eine Seite aus Copilot heraus, bleibe aber bei Bing?

Laut den Richtlinien von Bing hält noarchive Inhalte aus den Antworten und Grounding-Ergebnissen von Copilot heraus, und nocache beschränkt Copilot auf URL, Titel und Snippet. noindex nimmt die Seite aus Bing und Copilot.

Warum crawlt Bingbot meine Website nicht?

Prüfen Sie die robots.txt auf ein Crawl-delay oder eine Gruppe bingbot, Ihre Firewall auf Sperren und die Bing Webmaster Tools auf eine eingereichte Sitemap. Die Bing-Leitfäden erklären jeden Status, den Bing zeigt.

Quellen

Geprüft am 8. Oktober 2026. Google ändert die Search Console und die Hilfe ab und zu. Sieht etwas auf Ihrem Bildschirm anders aus, sehen Sie in der Quelle nach.

Bingbot: der Crawler hinter Bing und Microsoft Copilot