Crawling erlaubt? Nein: robots.txt sperrt

Eine Regel in Ihrer robots.txt-Datei sagt Google, diese Seite nicht zu besuchen. Google hält sich daran und kann die Seite deshalb nicht lesen.

Wo Sie es sehen

Unter Seitenindexierung > Crawling > Crawling erlaubt?. Dort steht „Nein: Durch robots.txt-Datei blockiert“.

Was das bedeutet

Bevor Google eine Seite besucht, liest es Ihre robots.txt. Eine Disallow-Regel passt auf diese Seite, also ist Google ferngeblieben.

Eine Sperre fürs Crawling hält eine Seite nicht immer aus der Suche heraus. Verlinken andere Seiten auf sie, kann Google die Adresse trotzdem listen, ohne Inhalt. Das erscheint dann als Indexiert, obwohl durch robots.txt-Datei blockiert.

Ein noindex auf einer Seite, die Google nicht crawlen darf, kann Google nicht sehen. Laut Google-Hilfe steht bei Indexierung zulässig? dann immer Ja, auch wenn die Seite noindex hat.

Häufige Ursachen

Eine Disallow-Regel ist breiter als gedacht. Disallow: /blog sperrt zum Beispiel auch /blog-news.
Eine Regel von der Test- oder Staging-Website blieb nach dem Livegang stehen, etwa Disallow: /.
Ein Plugin oder eine Einstellung der Plattform hat Regeln für Such-, Schlagwort- oder Filterseiten ergänzt.
Eine Platzhalter-Regel wie Disallow: /*? sperrt jede Adresse mit Parametern.

So finden Sie die Regel

Öffnen Sie https://ihre-domain/robots.txt im Browser. Lesen Sie die Regeln unter User-agent: * und User-agent: Googlebot.
Öffnen Sie in der Search Console Einstellungen > robots.txt. Dort sehen Sie die Fassung, die Google zuletzt abgerufen hat. Laut Google-Hilfe gibt es diesen Bericht nur für Domain-Properties und für URL-Präfix-Properties ohne Pfad.
Suchen Sie die Regel, die auf den Pfad der Seite passt. Google nutzt die spezifischste Regel, also die längste. Sind zwei gleich lang, gewinnt die weniger strenge.

So beheben Sie es

Soll die Seite zu Google, ändern oder löschen Sie die passende Regel.
Klicken Sie auf Live-URL testen. Bei Crawling erlaubt? sollte jetzt Ja stehen.
Klicken Sie auf Indexierung beantragen. Eilt es, klicken Sie zusätzlich im robots.txt-Bericht bei der Datei auf Erneutes Crawlen beantragen.
Soll die Seite nicht zu Google, nehmen Sie sie aus der Sitemap. Soll sie sicher aus der Suche bleiben, erlauben Sie das Crawling und setzen stattdessen noindex.

Admin, Warenkorb, interne Suche und Filterseiten sind oft absichtlich gesperrt. Das ist in Ordnung. Halten Sie sie nur aus der Sitemap heraus.

Wenn Sitemap und robots.txt sich widersprechen

CrawlCoach liest für jede geprüfte Seite Googles Ergebnis zur robots.txt. In den kostenpflichtigen Tarifen markiert die Maßnahmenliste Seiten Ihrer Sitemap, die die robots.txt sperrt, weil Sitemap und Regel sich widersprechen.

Häufige Fragen

Was bedeutet „Crawling erlaubt? Nein: Durch robots.txt-Datei blockiert“?

Eine Regel in Ihrer robots.txt-Datei sagt Google, diese Seite nicht zu besuchen. Deshalb hat Google sie nicht gecrawlt.

Entfernt die robots.txt eine Seite aus Google?

Nein. Sie stoppt das Crawling, nicht den Eintrag. Google kann eine gesperrte Seite trotzdem listen, wenn andere Seiten auf sie verlinken. Um eine Seite aus der Suche herauszuhalten, lassen Sie Google sie crawlen und setzen noindex.

Ich habe die robots.txt korrigiert. Warum steht in der URL-Prüfung noch Nein?

Das indexierte Ergebnis stammt vom letzten Crawling. Klicken Sie auf Live-URL testen, um den aktuellen Stand zu sehen. Laut Google-Dokumentation behält Google eine Kopie Ihrer robots.txt außerdem meist bis zu 24 Stunden.

Quellen

Geprüft am 8. Oktober 2026. Google ändert die Search Console und die Hilfe ab und zu. Sieht etwas auf Ihrem Bildschirm anders aus, sehen Sie in der Quelle nach.

„Crawling erlaubt?“ sagt Nein, weil die robots.txt sperrt: so beheben Sie es