John Mueller, l’un des porte paroles de Google, a posté récemment un message sur BlueSky à propos des protocoles d’authentification des crawlers.
L’authentification de vos robots d’exploration et outils SEO personnels va devenir un sujet de plus en plus important. Ce guide est simple pour commencer (même s’il évoluera considérablement au fil du temps).
John Mueller, Google
Le guide auquel John Mueller fait allusion est un système en vigueur sur Shopify, et qui permet de contourner le blocage des crawlers pour pouvoir, par exemple, crawler son propre site Shopify avec Screaming Frog.
Cette solution exploite le protocole Web Bot Auth, qui n’est pas encore un projet complètement mûr : c’est encore expérimental à ce stade et susceptible d’évoluer.
Mais pourquoi est-ce que c’est John Mueller qui en parle ? Et pourquoi maintenant ? C’est ce que nous allons essayer de décoder.
Un obstacle de plus pour les outils SEO ?
Le protocole Web Bot Auth a été imaginé par Thibault Meunier, de Cloudflare. Il est soutenu par Cloudflare, Vercel, mais aussi Shopify et Open AI.
L’idée, c’est d’utiliser une méthode d’authentification à base de signatures cryptographiques dans les requêtes http:, afin d’identifier précisément qui est derrière une visite d’un bot automatisé.
Le constat, c’est que les méthodes actuelles (adresses IP, User-Agent, DNS inversé) ont des limitations importantes en sécurité, évolutivité et gestion. Les User-Agent peuvent être usurpés facilement, et la gestion de listes d’IP est complexe.
Le groupe de travail de l’IETF espère publier une spécification de standards complète pour avril 2026.
Cette approche permettra d’éliminer plus facilement les visites non souhaitées de bot, mais aussi de pouvoir gérer finement les comportements des agents IA.
Google suit cela de près, car ils pensent qu’ils seront amenés à utiliser ce protocole pour Googlebot et tous leurs crawlers.
Mais évidemment, cela intéresse aussi Google de bloquer plus facilement les outils SEO qui scrapent ses pages de résultats…
Pour en savoir plus sur ce projet qui risque effectivement de faire beaucoup parler de lui dans les mois qui viennent, voici une vidéo où Thibault Meunier explique son projet :
Conclusion : il va devenir impossible de crawler le web n’importe comment.
Et ce n’est probablement pas une mauvaise chose, même s’il va falloir changer nos habitudes.