Gary Illyes et de Google vient d’annoncer qu’il ne sera bientôt plus possible de régler la « vitesse d’exploration » de Googlebot via la Google Search Console.
La possibilité de régler la vitesse d’exploration avait été proposée il y’a quinze ans dans ce qui s’appelait à l’époque les « Google Webmaster Tools ». La fonctionnalité permettait soit d’indiquer à Google qu’il fallaient qu’ils réduisent le nombre de page téléchargées par Googlebot par unité de temps, soit au contraire d’indiquer qu’il était possible au contraire de crawler le site beaucoup plus vite.
C’était une fonctionnalité utile, car elle permettait de réduire la charge d’un serveur induite par Googlebot quand celui-ci était saturé ou au contraire d’accélérer le crawl quand l’infrastructure du site avait été améliorée et pouvait être beaucoup plus sollicitée sans problème.
On peut encore trouver ce paramètre à cette adresse :
https://www.google.com/webmasters/tools/settings
L’argumentation derrière ce retrait est maintenant connue, elle est répétée pour toutes les fonctionnalités de type Legacy et qui n’ont jamais été portées sur la nouvelle Google Search Console :
- peu de gens utilisaient cette fonctionnalité : il faut dire qu’il fallait savoir qu’elle existait encore, et en retrouver le lien
- et elle ne marchait pas bien : Gary Illyes a expliqué que le nouveau réglage prenait du temps pour être pris en compte, parfois une journée
Ce qui est une variante de l’adage « pour se débarasser de son chien, on dit qu’il a la rage ». La fonctionnalité aurait eu plus d’usage si elle était plus visible, et si ses défauts avaient été corrigés…
La fonctionnalité disparaîtra le 6 janvier 2024
Est-ce que j’ai quelque chose à faire sur mon site ?
Ce changement n’est pas tout à fait anodin. Google a annoncé qu’après la suppression, ils allaient continuer d’appliquer les vitesses de téléchargement très basses paramétrées sur certains sites.
Cela signifie qu’il faut vérifier que la vitesse n’est pas paramétrée au niveau minimum (comme pour le site en illustration ci-dessus). Si c’est le cas, le mieux est d’opter pour le réglage « Laisser Google optimiser sa vitesse d’exploration » avant le 6 janvier. En règle générale, même si votre serveur est lent et facilement saturé, Googlebot devrait s’adapter à sa capacité à délivrer des pages, et vous obtiendrez une bien meilleure exploration de vos pages.
Pour en savoir plus, le communiqué officiel de Google :
https://developers.google.com/search/blog/2023/11/sc-crawl-limiter-byebye?hl=fr