Fail : la fiche d’aide sur Storebot oublie de débloquer Storebot-Google dans le robots.txt

Publié le par

Google a réécrit le 17 juillet 2026 la fiche d’aide Merchant Center consacrée aux blocages du crawler StoreBot.

La procédure de correction qu’elle propose comporte une sonnerie avec un s comme dans crocodile : elle demande aux marchands d’autoriser Googlebot et Googlebot-image dans leur robots.txt, sans jamais nommer le seul jeton qui commande réellement l’accès de StoreBot.

Ballot !

Une réécriture repérée par Search Engine Roundtable

Barry Schwartz a signalé le 17 juillet la mise à jour de la page « How to fix: Google StoreBot crawler can’t access your in-store product page ». La nouvelle version détaille désormais (utilement) cinq causes de blocage :

  • le fichier robots.txt (fichier texte placé à la racine d’un site qui indique aux robots d’exploration les zones qu’ils peuvent parcourir),
  • la commutation de user-agent (chaîne d’identification qu’un client HTTP envoie au serveur) par un dispositif de détection de bots,
  • le filtrage par adresses IP ou pare-feu,
  • le fingerprinting (construction d’une empreinte comportementale à partir du user-agent, de l’IP et de variables JavaScript de l’environnement navigateur),
  • et la lenteur de chargement provoquant des expirations de délai côté crawler.

La fiche ajoute un parcours de remise en service dans Merchant Center, via les options « Request website check » et « Fetch now » de l’onglet Diagnostics, ainsi qu’un délai indicatif de 12 à 48 heures avant réapprobation des produits une fois l’accès rétabli. Elle nomme aussi explicitement Cloudflare, ce qui reste rare dans une aide en ligne Google.

Le jeton manquant : Storebot-Google

C’est la section robots.txt qui pose problème. Google y écrit :

Add ‘User-agent: Googlebot’ and ‘User-agent: Googlebot-image’ followed by ‘Disallow:’ to grant access.

Or la référence officielle des crawlers Google, mise à jour le 14 juillet 2026, est sans ambiguïté : le jeton robots.txt de StoreBot est Storebot-Google, et c’est son unique jeton. Googlebot-Image accepte Googlebot comme jeton de repli, Googlebot-Video et Googlebot-News également. StoreBot, non. Aucune règle écrite pour Googlebot ne s’applique à lui.

Les conséquences pratiques sont directes :

  • Un marchand qui applique la fiche à la lettre n’écrit jamais la directive qui concerne StoreBot.
  • Une règle Disallow: / posée sous User-agent: Storebot-Google survit intégralement à la correction recommandée par Google.
  • Inversement, un site qui interdit Googlebot sur son tunnel d’achat ne bloque pas StoreBot pour autant, ce qui rend le diagnostic par lecture du robots.txt trompeur dans les deux sens.

La directive correcte tient en deux lignes :

user-agent: Storebot-Google
disallow:

Second flottement, à prendre avec plus de prudence : la fiche affirme que StoreBot peut utiliser des adresses IP différentes de celles du crawler de recherche. StoreBot figure pourtant dans la liste des common crawlers, qui partagent le fichier common-crawlers.json et le masque DNS inverse crawl-*.googlebot.com. L’hypothèse la plus plausible tient aux listes d’autorisation construites depuis l’ancien fichier googlebot.json, devenues obsolètes après la réorganisation des références Google. Google ne le précise pas.

Un crawler incompatible avec la détection comportementale

Ce fail dépasse un peu la simple coquille éditoriale.

StoreBot n’explore pas des pages, il traverse un tunnel d’achat. La fiche « About the Google StoreBot crawler » précise qu’il parcourt la page produit, le panier et la page de paiement, remplit les formulaires par apprentissage automatique avec des adresses de livraison, et collecte prix, frais de port, validité des coupons, moyens de paiement et délais logistiques. Il apparaît dans les journaux marchands comme un utilisateur prénommé Google, nom StoreBot, qui progresse dans le checkout sans jamais acheter.

C’est exactement le profil comportemental que les solutions de bot management sont conçues pour neutraliser. Le conflit n’est pas une erreur de configuration isolée, il est structurel. Le passage de la fiche consacré au fingerprinting revient d’ailleurs à expliquer aux marchands le fonctionnement du dispositif qui bloque Google chez eux.

Ce qu’il faut vérifier

Pour les marchands opérant des annonces produits en magasin ou des fiches locales gratuites, disponibles en France :

  • Ajouter explicitement un groupe Storebot-Google dans le robots.txt, sans se fier aux règles Googlebot.
  • Vérifier que le pare-feu ou le CDN ne renvoie pas de 403 ou 404 réservés aux clients automatisés sur les pages panier et paiement.
  • Privilégier la vérification par DNS inverse plutôt que les listes d’IP figées, en contrôlant que le nom d’hôte se termine bien par googlebot.com, google.com ou googleusercontent.com.
  • Tester les pages produit en simulant les deux chaînes user-agent de StoreBot, la version bureau et la version mobile sur base Pixel 2.
  • Anticiper l’échéance Cloudflare du 15 septembre 2026 sur les sites concernés par les réglages par défaut.

Bibliographie

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur la façon dont les données de vos commentaires sont traitées.

Ce contenu vous a plu ?

Inscrivez-vous gratuitement à notre newsletter et recevez chaque semaine l'actualité de l'IA directement dans votre boîte email. Vous pouvez vous désabonner à tout moment !