Chez Google on continue à faire évoluer les rapports de la Google Search Console, et chaque semaine apporte son lot de nouveautés sans que cela soit obligatoirement signalé.
La dernière modification en date à donné des fausses joies à certains propriétaires de site, qui ont cru que leur budget de crawl avait augmenté.
Et dans certains cas, ce n’était pas vrai…
Pourquoi ? Tout simplement parce que Google a étendu à de nouveaux bots le comptage des ressources crawlées, notamment les données Adsbot qui remontaient mal dans le rapport jusqu’ici. Cette évolution conduit à une augmentation du nombre de ressources crawlées par jour figurant dans le rapport. Cette augmentation est difficile à voir sur les courbes pour la plupart des sites, mais elle est très marquée sur d’autres.
Le changement est intervenu le 16 janvier dernier. Voici les informations notées par Google sur cette page
Le rapport sur les statistiques relatives aux crawl a élargi son champ d'application à d'autres types de crawl. En conséquence, vous pouvez constater une augmentation du nombre de crawls signalés pour votre site. Cela ne reflète pas une augmentation du nombre de crawl sur votre site, mais seulement une amélioration de la couverture des rapports.Voici ce que la donne sur l’un des sites que je suis :
Attention, comme d’habitude correlation n’est pas causation, il est tout à fait possible que Google ait eu subitement envie de crawler plus de pages de votre site à partir du 16 janvier… Pour mieux diagnostiquer le phénomène, il faut regarder la ventilation par bot sous le rapport.
Ici, on voit bien que l’origine de cette hausse du crawl est artificielle, elle vient des visites de Adsbot :
Attention à bien interpréter les évolutions récentes de vos données de crawl : apprenez à regarder les données bot par bot.
Pour ce site en concurrence, un focus sur le crawl de Googlebot Smartphone montre une tendance à la baisse du crawl, pas à la hausse
Soyez vigilants et familiarisez vous rapidement avec le nouveau rapport, c’est évidemment un peu déroutant.