Roboty AI: którym pozwolić, a które zablokować w robots.txt
Roboty AI robią różne rzeczy: jedne szukają stron do odpowiedzi w wyszukiwarce, inne zbierają dane do treningu modeli, a jeszcze inne odwiedzają stronę, o którą zapytał człowiek. Każdy ma własną regułę w robots.txt. Tu znajdziesz dokładne linie i to, co tracisz po zablokowaniu.
Roboty wyszukiwarek AI
Te roboty decydują, czy Twoje strony pojawią się w odpowiedziach. Zwykle warto je wpuścić.
- OAI-SearchBotSzuka stron do wyszukiwania w ChatGPT. Blokada wyklucza Cię z odpowiedzi ChatGPT.
- Claude-SearchBotSkanuje strony do wyników wyszukiwania Claude. Blokada może zmniejszyć Twoją widoczność.
- PerplexityBotZnajduje i linkuje strony w wynikach Perplexity. Nie skanuje do treningu.
- bingbotSkanuje dla Bing, a Copilot korzysta z tego samego indeksu. Blokada kosztuje oba.
Roboty do treningu modeli
Blokada nie usuwa Cię z wyszukiwania AI. To Twoja decyzja.
Wizyty na prośbę człowieka
Odwiedzają stronę, gdy ktoś zapyta o nią asystenta.
Tokeny kontrolne
Reguły w robots.txt, które nie są osobnym robotem.
Wyszukiwanie i trening
Jeden robot i osobny token do rezygnacji z treningu.
Zobacz, których stron Twojej witryny brakuje w Google
Zaloguj się przez Google. CrawlCoach bezpłatnie sprawdzi do 500 stron i pokaże poprawkę dla każdego problemu.
Odbierz darmowy raportBezpłatnie do 500 stron. Bez karty płatniczej. Zaloguj się kontem Google, którego używasz w Search Console.
Aplikacja i raporty CrawlCoach są po angielsku.