Changer d’hébergement peut radicalement changer le rythme de crawl de votre site…

Le budget de crawl est souvent considéré par les SEOs comme une quantité relativement figée. Il suffit pourtant de regarder les stats de crawl de n’importe quel site pour se rendre compte que le nombre de pages crawlées par jour évolue considérablement avec le temps.

Et l’une des causes de ce changement de comportement est la détection d’un changement d’hébergement…

La modification de l’infrastructure d’un site (serveurs, adresses IP, etc.) peut modifier la vitesse et la fréquence d’exploration du site par Googlebot.

C’est une information que Gary Illyes a spontanément lâché sur Twitter le 23 novembre 2020.

Concrètement, ce que nous indique Gary c’est que l’ordonnanceur est programmé pour détecter les changements côté infra, qui peuvent avoir un impact sur la quantité d’urls que Googlebot peut crawler. L’ordonnanceur (scheduler en anglais) est le sous programme du crawler qui calcule les scores de priorités de crawl des urls et donc quelles urls doivent être placées dans la file d’attente pour être crawlées.

Comment rendre un site web crawlable ? - Oncrawl
Le rôle de l’ordonnanceur (schema simplifié) dans le processus d’exploration de Googlebot.
Source : Oncrawl : https://fr.oncrawl.com/seo-technique/site-web-crawlable/

On trouve plus d’information dans la page d’aide de Google sur les migrations de serveur.

Si Google se rend compte d’un changement de serveur, via un changement dans vos DNS comme un changement d’IP, cela provoquera un ralentissement notable du rythme de crawl. Googlebot reprendre prudemment le crawl de votre site, et en fonction de ce qu’il va observer :

  • soit il détecte un hébergement plus « solide », c’est à dire plus rapide à délivrer des pages et capable d’en délivrer beaucoup plus à la minute, dans ce cas on voit souvent un pic de crawl avec un retour à un rythme de crawl plus élevé qu’avant en rythme de croisière
  • soit au contraire, la situation s’est dégradée, et dans ce cas, le rythme va retomber à des niveaux moins élevés qu’avant

La page d’aide de Google sur les migrations :

https://developers.google.com/search/docs/advanced/crawling/site-move-no-url-changes?hl=fr

Un exemple de l’impact : sur ce site, le changement d’hébergement se solde par une baisse des performances. Après une phase exploratoire, le rythme de crawl et de recrawl est beaucoup plus bas qu’avant
Si on fait un focus sur le comportement d’exploration de type « découverte », on voit un « pic » juste après la migration. C’est le comportement de type « actualisation » (recrawl d’urls connues) qui s’est effondré après le changement.

Qu’est-ce que cela implique pour le SEO ?

C’est intéressant de savoir qu’un simple changement d’IP ou dans les DNS peut « réinitialiser » le rythme de crawl et de recrawl de Googlebot. Cela signifie que pour des sites importants, il faut sensibiliser les équipes infra au sujet et leur demander de faire remonter tous ces changements au(x) spécialiste(s) en charge du SEO. Cela vous aidera à ne pas vous tromper quand vous chercherez à interpréter un changement drastique dans les comportements de crawl.

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.