Bing: per robots.txt gesperrte URLs beheben

Q: Folgt Bing Crawl-delay?

Ja. Laut der Hilfe zu Crawl Control hat ein Crawl-delay in der robots.txt immer Vorrang vor der Einstellung Crawl Control. Eine hohe Verzögerung kann Seiten lange bei „Discovered but not crawled“ halten.

Q: Warum ist eine Seite gesperrt, obwohl meine Gruppe * sie erlaubt?

Hat die robots.txt eine Gruppe, die bingbot nennt, folgt Bingbot nur dieser Gruppe. Die Regeln der Gruppe * gelten für ihn dann nicht mehr. Schreiben Sie jede Regel, die Bing braucht, in die Gruppe bingbot, oder löschen Sie die Gruppe.

Eine Regel in der robots.txt sagt Bingbot, diese Seiten nicht zu crawlen. Finden Sie die passende Zeile, prüfen Sie, ob Sie das wollten, und korrigieren Sie sie, wenn nicht.

Wo Sie es sehen

Öffnen Sie in den Bing Webmaster Tools den Site Explorer und wenden Sie den Filter „URLs that are robots.txt disallowed“ an. Der robots.txt tester zeigt, welche Zeile eine Seite sperrt.

Was das bedeutet

Ihre robots.txt bittet Bingbot, diese Seiten nicht abzurufen, und Bingbot hält sich daran. Seiten, die Bing nicht crawlen darf, kann es nicht lesen.

Laut den Richtlinien von Bing steuert die robots.txt das Crawling, nicht das, was Bing zeigt. Laut Bing-Hilfe kann eine gesperrte Seite trotzdem ohne Beschreibung in den Ergebnissen erscheinen. Um eine Seite aus Bing herauszuhalten, nutzen Sie stattdessen noindex und lassen Bingbot die Seite crawlen, damit er die Regel sieht.

Häufige Ursachen

Eine Disallow-Regel für einen Ordner trifft auch Seiten, die Sie wollen, zum Beispiel sperrt Disallow: /p auch /produkte/.
Es gibt eine Gruppe User-agent: bingbot. Bingbot folgt dann nur dieser Gruppe und überspringt Ihre Regeln unter *, auch jede Allow-Zeile.
Ein Disallow: / der Staging-Website ging mit der Website live.
Ein Plugin, ein Theme oder eine Einstellung der Plattform hat Regeln für Sie geschrieben.
Gesperrte CSS- oder JavaScript-Dateien, sodass Bingbot die Seite nicht rendern kann.

So finden Sie die Ursache

Öffnen Sie ihredomain.de/robots.txt im Browser. Lesen Sie jede Gruppe, nicht nur User-agent: *.
Öffnen Sie in den Bing Webmaster Tools den robots.txt tester. Geben Sie die Seite unter Test URL ein, lassen Sie Bingbot ausgewählt und klicken Sie auf Test. Er zeigt die Zeile, die sperrt.
Aus dem Site Explorer können Sie eine gesperrte Adresse direkt an den robots.txt tester schicken.
Nutzen Sie ein SEO-Plugin oder einen Website-Baukasten, prüfen Sie dessen Einstellung für die robots.txt. Er erzeugt die Datei vielleicht bei jedem Speichern neu.

So beheben Sie es

Löschen oder verengen Sie die Regel, die Seiten sperrt, die Sie bei Bing wollen. Beenden Sie Ordnerregeln mit einem Schrägstrich, zum Beispiel Disallow: /privat/.
Behalten Sie eine Gruppe bingbot, kopieren Sie jede Regel aus der Gruppe * hinein, die auch für Bing gelten soll.
Erlauben Sie die CSS- und JavaScript-Dateien, die Ihre Seiten brauchen.
Laden Sie die neue Datei hoch. Klicken Sie im robots.txt tester auf Fetch latest und testen Sie die Seite erneut.
Klicken Sie in der URL Inspection für die wichtigsten Seiten auf Request indexing.

Wann Sie es ignorieren können

Bei Seiten, die Sie absichtlich sperren: Adminbereiche, Warenkörbe, interne Suche und endlose Filterkombinationen. Die Richtlinien von Bing empfehlen, solche Crawling-Pfade zu sperren.

Mit CrawlCoach

In den kostenpflichtigen Tarifen liest CrawlCoach Ihre robots.txt und meldet Regeln, die Bingbot von Ihren öffentlichen Seiten fernhalten, die bei Google sind. Dasselbe macht es für die Suchcrawler von ChatGPT, Claude, Perplexity und Apple. Die Maßnahme nennt den Crawler und die Seiten, und CrawlCoach prüft die Datei erneut, nachdem Sie sie geändert haben.

Häufige Fragen

Folgt Bing `Crawl-delay`?

Ja. Laut der Hilfe zu Crawl Control hat ein Crawl-delay in der robots.txt immer Vorrang vor der Einstellung Crawl Control. Eine hohe Verzögerung kann Seiten lange bei „Discovered but not crawled“ halten.

Warum ist eine Seite gesperrt, obwohl meine Gruppe `*` sie erlaubt?

Hat die robots.txt eine Gruppe, die bingbot nennt, folgt Bingbot nur dieser Gruppe. Die Regeln der Gruppe * gelten für ihn dann nicht mehr. Schreiben Sie jede Regel, die Bing braucht, in die Gruppe bingbot, oder löschen Sie die Gruppe.

Entfernt eine Sperre in der robots.txt eine Seite aus Bing?

Nicht zuverlässig. Laut den Richtlinien von Bing steuert die robots.txt das Crawling, nicht das, was Bing zeigt. Nutzen Sie noindex, um eine Seite aus Bing herauszuhalten, und lassen Sie sie crawlbar, damit Bingbot die Regel sieht.

Quellen

Geprüft am 8. Oktober 2026. Google ändert die Search Console und die Hilfe ab und zu. Sieht etwas auf Ihrem Bildschirm anders aus, sehen Sie in der Quelle nach.

„URLs that are robots.txt disallowed“ bei Bing: die Regel finden und beheben