Bing: URL bloccati da robots.txt, come risolvere

Q: Bing segue Crawl-delay?

Sì. La guida di Crawl Control dice che un Crawl-delay in robots.txt vince sempre sull'impostazione Crawl Control. Un ritardo alto può lasciare le pagine in "Discovered but not crawled" a lungo.

Q: Perché una pagina è bloccata se il mio gruppo * la consente?

Se robots.txt ha un gruppo che nomina bingbot, Bingbot segue solo quello. Le regole del gruppo * non valgono più per lui. Metti nel gruppo bingbot tutte le regole che servono a Bing, o elimina il gruppo.

Una regola di robots.txt dice a Bingbot di non scansionare queste pagine. Trova la riga che corrisponde, controlla se era voluta e correggila se non lo era.

Dove lo vedi

In Bing Webmaster Tools apri Site Explorer e applica il filtro "URLs that are robots.txt disallowed" (URL esclusi da robots.txt). Lo strumento robots.txt tester mostra quale riga blocca una pagina.

Cosa significa

Il tuo robots.txt chiede a Bingbot di non caricare queste pagine, e Bingbot obbedisce. Bing non può leggere pagine che non può scansionare. Le linee guida di Bing dicono che robots.txt controlla la scansione, non cosa mostra Bing: una pagina bloccata può comunque comparire senza descrizione. Per tenerla fuori da Bing, usa noindex e lascia che Bingbot la scansioni per vedere la regola.

Cause comuni

Una regola Disallow per una cartella prende anche pagine che vuoi: Disallow: /p blocca anche /prodotti/.
Esiste un gruppo User-agent: bingbot. Bingbot segue solo quel gruppo e salta le regole *, comprese le righe Allow.
Il Disallow: / di un sito di staging è andato online.
Un plugin, un tema o un'impostazione della piattaforma ha scritto regole per te.
File CSS o JavaScript bloccati, così Bingbot non visualizza bene la pagina.

Come capire la causa

Apri tuodominio.it/robots.txt nel browser. Leggi ogni gruppo, non solo User-agent: *.
In Bing Webmaster Tools apri il robots.txt tester. Inserisci la pagina in Test URL, lascia selezionato Bingbot e fai clic su Test: mostra la riga che la blocca.
Da Site Explorer puoi mandare un indirizzo bloccato direttamente al tester.
Se usi un plugin SEO o un site builder, controlla la sua impostazione per robots.txt. Può ricreare il file a ogni salvataggio.

Come risolvere

Elimina o restringi la regola che blocca le pagine che vuoi su Bing. Chiudi le regole delle cartelle con la barra, come Disallow: /privato/.
Se tieni un gruppo bingbot, copiaci tutte le regole del gruppo * che devono valere anche per Bing.
Consenti i file CSS e JavaScript che servono alle pagine.
Carica il nuovo file. Nel tester fai clic su Fetch latest e prova di nuovo la pagina.
Fai clic su Request indexing in URL Inspection per le pagine più importanti.

User-agent: *
Disallow: /privato/

Sitemap: https://www.esempio.it/sitemap.xml

Ignoralo per le pagine che blocchi di proposito: aree admin, carrelli, ricerca interna e combinazioni infinite di filtri. Le linee guida di Bing suggeriscono di bloccare percorsi così.

Con CrawlCoach

Con un piano a pagamento, CrawlCoach legge il tuo robots.txt e segnala le regole che bloccano Bingbot sulle tue pagine pubbliche presenti su Google. Fa lo stesso per i crawler di ricerca di ChatGPT, Claude, Perplexity e Apple. La correzione indica il crawler e le pagine, e CrawlCoach ricontrolla il file dopo la modifica.

Domande frequenti

Bing segue `Crawl-delay`?

Sì. La guida di Crawl Control dice che un Crawl-delay in robots.txt vince sempre sull'impostazione Crawl Control. Un ritardo alto può lasciare le pagine in "Discovered but not crawled" a lungo.

Perché una pagina è bloccata se il mio gruppo `*` la consente?

Se robots.txt ha un gruppo che nomina bingbot, Bingbot segue solo quello. Le regole del gruppo * non valgono più per lui. Metti nel gruppo bingbot tutte le regole che servono a Bing, o elimina il gruppo.

Bloccare una pagina in robots.txt la toglie da Bing?

Non in modo affidabile. Le linee guida di Bing dicono che robots.txt controlla la scansione, non cosa mostra Bing. Usa noindex e lascia la pagina scansionabile.

Fonti

Verificato il 8 ottobre 2026. Google cambia ogni tanto Search Console e la sua guida. Se sul tuo schermo vedi qualcosa di diverso, controlla la fonte.

Bing "URLs that are robots.txt disallowed": trova la regola e correggila