Durch robots.txt-Datei blockiert: Lösung

Q: Hält die robots.txt eine Seite aus Google heraus?

Nein. Laut Google ist die robots.txt kein Mittel, um eine Seite aus Google herauszuhalten. Eine gesperrte Seite kann trotzdem erscheinen, ohne Beschreibung, wenn andere Seiten auf sie verlinken. Um sie aus Google zu entfernen, geben Sie sie frei und setzen noindex.

Eine Disallow-Regel in Ihrer robots.txt passt auf die Adresse der Seite, deshalb ruft Google sie nicht ab. Zum Freigeben ändern oder löschen Sie diese Regel. Ist die Sperre gewollt, nehmen Sie die Seite einfach aus der Sitemap.

Die Regel finden

Prüfen Sie die Seite in der URL-Prüfung. Sperrt die robots.txt, zeigt „Crawling erlaubt?“ „Nein: Durch robots.txt-Datei blockiert“.
Öffnen Sie den robots.txt-Bericht der Search Console. Er zeigt die zuletzt gelesene Datei und den Zeitpunkt.
Suchen Sie die Disallow-Zeile, die auf die Adresse passt. * steht für beliebigen Text, und eine Regel gilt für alles, was mit diesem Pfad beginnt.

Der häufigste Fehler

Eine Regel, die mehr erfasst als gedacht. Disallow: /p sperrt /produkte, /preise und /presse. Und ein Disallow: / aus der Bauphase sperrt alles.

# Sperrt die ganze Website: typisch nach einem eiligen Livegang
User-agent: *
Disallow: /

# Sperrt nur den Adminbereich
User-agent: *
Disallow: /admin/

Nach der Änderung

Google speichert die robots.txt in der Regel bis zu 24 Stunden im Cache. Warten Sie einen Tag, prüfen Sie im robots.txt-Bericht, ob die neue Fassung gelesen wurde, und klicken Sie erst dann auf Fehlerbehebung überprüfen. Wenn es eilt, klicken Sie im robots.txt-Bericht bei der Datei auf Erneutes Crawlen beantragen.

Shopify und WordPress

Die Standard-robots.txt von Shopify sperrt Warenkorb, Checkout, Kundenkonto sowie gefilterte und sortierte Kollektionen. Das ist gewollt, Sie können es ignorieren. Ist ein echtes Produkt gesperrt, hat jemand robots.txt.liquid geändert. Löschen Sie diese Vorlage, gilt wieder der Standard.

Die von WordPress erzeugte robots.txt sperrt nur /wp-admin/. Ist mehr gesperrt, liegt eine echte robots.txt im Hauptverzeichnis, oder ein Plugin hat die Regel geschrieben.

Sperren finden, bevor sie Besucher kosten

In den kostenpflichtigen Tarifen prüft CrawlCoach die Seiten Ihrer Sitemap gegen die Regeln Ihrer robots.txt für den Googlebot. Sie erfahren, wenn eine Seite gesperrt ist, deren Indexierung Sie anfordern. Die Meldung verschwindet, sobald die Regel geändert ist oder die Seite aus der Sitemap fällt.

Häufige Fragen

Hält die robots.txt eine Seite aus Google heraus?

Nein. Laut Google ist die robots.txt kein Mittel, um eine Seite aus Google herauszuhalten. Eine gesperrte Seite kann trotzdem erscheinen, ohne Beschreibung, wenn andere Seiten auf sie verlinken. Um sie aus Google zu entfernen, geben Sie sie frei und setzen noindex.

Ich habe die robots.txt geändert, die Search Console zeigt die Sperre aber noch. Warum?

Google speichert die Datei bis zu 24 Stunden im Cache, und der Bericht ändert sich erst, wenn Google die Seiten erneut besucht. Prüfen Sie das Datum des letzten Abrufs im robots.txt-Bericht.

Quellen

Geprüft am 8. Oktober 2026. Google ändert die Search Console und die Hilfe ab und zu. Sieht etwas auf Ihrem Bildschirm anders aus, sehen Sie in der Quelle nach.

„Durch robots.txt-Datei blockiert“: die Regel finden und die Seite freigeben