Bing: URLs that are robots.txt disallowed

Q: Czy Bing przestrzega Crawl-delay?

Tak. Pomoc Bing do Crawl Control mówi, że Crawl-delay w robots.txt zawsze wygrywa z ustawieniem Crawl Control. Wysokie opóźnienie może zostawić strony długo w stanie „Discovered but not crawled”.

Q: Dlaczego strona jest zablokowana, skoro grupa * ją wpuszcza?

Jeśli robots.txt ma grupę dla bingbot, Bingbot stosuje tylko ją. Reguły z grupy * go nie dotyczą. Wpisz wszystkie potrzebne reguły do grupy bingbot albo ją usuń.

Q: Czy blokada w robots.txt usunie stronę z Bing?

Nie na pewno. Wytyczne Bing mówią, że robots.txt steruje skanowaniem, nie wynikami. Użyj noindex i zostaw stronę dostępną do skanowania, żeby Bingbot zobaczył regułę.

Twój plik robots.txt prosi Bingbota, żeby nie pobierał tych stron, a Bingbot go słucha. Bing nie przeczyta stron, których nie wolno mu skanować.

Gdzie to zobaczysz

W Bing Webmaster Tools otwórz Site Explorer i włącz filtr „URLs that are robots.txt disallowed”. Tester robots.txt pokazuje, która linia blokuje stronę.

Wytyczne Bing mówią, że robots.txt steruje skanowaniem, a nie tym, co Bing pokazuje. Zablokowana strona może pojawić się w wynikach bez opisu. Żeby trzymać stronę poza Bing, użyj noindex i pozwól Bingbotowi ją zeskanować.

Najczęstsze przyczyny

Reguła dla folderu pasuje też do stron, które mają być w Bing: Disallow: /p blokuje też /produkty/.
Istnieje grupa User-agent: bingbot. Bingbot stosuje wtedy tylko ją i pomija reguły *, także linie Allow.
Disallow: / ze środowiska testowego trafiło na produkcję.
Wtyczka, motyw albo platforma zapisała reguły za Ciebie.
Zablokowane pliki CSS albo JavaScript, więc Bingbot nie wyrenderuje strony.

Jak to sprawdzić

Otwórz twojadomena.pl/robots.txt i przeczytaj każdą grupę, nie tylko User-agent: *.
W Bing Webmaster Tools otwórz tester robots.txt, wpisz stronę, zostaw wybranego Bingbota i kliknij Test. Pokaże linię, która blokuje.
Z Site Explorer możesz wysłać zablokowany adres prosto do testera.
Jeśli używasz wtyczki SEO albo kreatora stron, sprawdź jego ustawienie robots.txt.

# Za szeroko
Disallow: /p

# Dokładnie
Disallow: /prywatne/

Jak to naprawić

Usuń albo zawęź regułę, która blokuje strony potrzebne w Bing. Kończ reguły folderów ukośnikiem.
Jeśli zostawiasz grupę bingbot, skopiuj do niej każdą regułę z *, która ma dotyczyć też Bing.
Wpuść pliki CSS i JavaScript potrzebne stronom.
Wgraj nowy plik, w testerze kliknij Fetch latest i przetestuj stronę ponownie.
Kliknij Request indexing dla najważniejszych stron.

Panel administracyjny, koszyk, wyszukiwarka w witrynie i nieskończone kombinacje filtrów są często blokowane celowo. Wytyczne Bing radzą blokować takie ścieżki.

Jak pomaga CrawlCoach

W płatnych planach CrawlCoach czyta Twój robots.txt i oznacza reguły, które blokują Bingbota na publicznych stronach z Google. To samo robi dla robotów wyszukiwania ChatGPT, Claude, Perplexity i Apple. Poprawka podaje robota i strony, a CrawlCoach sprawdza plik ponownie po zmianie.

Częste pytania

Czy Bing przestrzega Crawl-delay?

Tak. Pomoc Bing do Crawl Control mówi, że Crawl-delay w robots.txt zawsze wygrywa z ustawieniem Crawl Control. Wysokie opóźnienie może zostawić strony długo w stanie „Discovered but not crawled”.

Dlaczego strona jest zablokowana, skoro grupa * ją wpuszcza?

Jeśli robots.txt ma grupę dla bingbot, Bingbot stosuje tylko ją. Reguły z grupy * go nie dotyczą. Wpisz wszystkie potrzebne reguły do grupy bingbot albo ją usuń.

Czy blokada w robots.txt usunie stronę z Bing?

Nie na pewno. Wytyczne Bing mówią, że robots.txt steruje skanowaniem, nie wynikami. Użyj noindex i zostaw stronę dostępną do skanowania, żeby Bingbot zobaczył regułę.

Źródła

Sprawdzone 8 października 2026. Google co jakiś czas zmienia Search Console i pomoc. Jeśli na Twoim ekranie coś wygląda inaczej, zajrzyj do źródła.

Bing „URLs that are robots.txt disallowed”: znajdź regułę i ją popraw