Bing « URLs that are robots.txt disallowed » : trouver la règle et la corriger

Où le voir

Dans Bing Webmaster Tools, ouvrez Site Explorer et appliquez le filtre « URLs that are robots.txt disallowed ». Le robots.txt tester montre quelle ligne bloque une page.

Ce que cela veut dire

Les consignes de Bing disent que robots.txt contrôle l'exploration, pas ce que Bing montre. L'aide de Bing ajoute qu'une page bloquée peut quand même apparaître dans les résultats, sans description. Pour garder une page hors de Bing, utilisez plutôt noindex, et laissez Bingbot explorer la page pour qu'il voie la règle.

Les causes habituelles

• Une règle Disallow écrite pour un dossier correspond aussi à des pages que vous voulez. Par exemple, Disallow: /p bloque aussi /produits/.
• Un groupe User-agent: bingbot existe. Bingbot ne suit alors que ce groupe et ignore vos règles *, y compris les lignes Allow.
• Le Disallow: / d'un site de test est parti en ligne avec le site.
• Une extension, un thème ou un réglage de la plateforme a écrit des règles pour vous.
• Des fichiers CSS ou JavaScript bloqués empêchent Bingbot d'afficher la page.

Comment vérifier

1. Ouvrez votredomaine.com/robots.txt dans un navigateur. Lisez chaque groupe, pas seulement User-agent: *.
2. Dans Bing Webmaster Tools, ouvrez le robots.txt tester. Saisissez la page sous Test URL, gardez Bingbot sélectionné et cliquez sur Test. Il montre la ligne qui la bloque.
3. Depuis Site Explorer, vous pouvez envoyer une adresse bloquée directement au robots.txt tester.
4. Si vous utilisez une extension SEO ou un créateur de sites, vérifiez son réglage robots.txt. Il peut recréer le fichier à chaque enregistrement.

Comment corriger

• Supprimez ou resserrez la règle qui bloque des pages que vous voulez sur Bing. Terminez les règles de dossier par une barre oblique, par exemple Disallow: /prive/.
• Si vous gardez un groupe bingbot, copiez-y chaque règle du groupe * qui doit aussi s'appliquer à Bing.
• Autorisez les fichiers CSS et JavaScript dont vos pages ont besoin.
• Mettez le nouveau fichier en ligne. Dans le robots.txt tester, cliquez sur Fetch latest et testez de nouveau la page.
• Cliquez sur Request indexing dans URL Inspection pour les pages qui comptent le plus.

Ignorez-le pour les pages bloquées exprès : espaces d'administration, paniers, recherche interne et combinaisons de filtres sans fin. Les consignes de Bing suggèrent de bloquer ce type de chemins.

Avec CrawlCoach

Avec les forfaits payants, CrawlCoach lit votre robots.txt et signale les règles qui bloquent Bingbot sur vos pages publiques présentes sur Google. Il fait de même pour les robots de recherche de ChatGPT, Claude, Perplexity et Apple. La correction nomme le robot et les pages, et CrawlCoach revérifie le fichier après votre modification.

Questions fréquentes

Sources

Vérifié le 8 octobre 2026. Google modifie parfois la Search Console et son aide. Si votre écran ne correspond pas, consultez la source.

• Aide Bing Webmaster Tools : Site Explorer (en anglais)
• Aide Bing Webmaster Tools : robots.txt tester (en anglais)
• Consignes aux webmasters de Bing (en anglais)
• Aide Bing Webmaster Tools : pourquoi mon site n'est-il pas dans l'index ? (en anglais)
• Aide Bing Webmaster Tools : Crawl control (en anglais)
• Aide Bing Webmaster Tools : quels robots Bing utilise-t-il ? (en anglais)