Cela fait déjà quelques années que l’on soupçonnait Google d’utiliser des techniques pour « prédire » l’intérêt d’une page avant de la crawler.
Martin Splitt de Google vient dans une video de confirmer que Google avait entrepris d’utiliser du machine learning pour cela…
« Je sais que nous utilisons l’apprentissage machine pour identifier ou prédire ce que nous obtiendrons d’un crawl en termes de qualité », a déclaré Martin Splitt de Google. Il a ajouté qu’il est intéressant d’essayer de « prédire le type de qualité que nous pouvons obtenir d’un crawl spécifique avant qu’il ne se produise ». La raison en est, selon lui, que cela permettrait à Google de « programmer les crawl de manière plus intelligente ».
Prévoir la fraîcheur : encore du ML
Martin Splitt a déclaré : « Il en va de même si nous pouvons prédire la fraîcheur, et notamment déterminer s’il faut programmer un crawl de ce site web tous les jours ou sommes-nous en mesure de recueillir des signaux pour nous dire de ne pas le faire tous les jours ».
Il a précisé « mais je ne sais pas si nous utilisons cela en production ou s’il s’agit d’une expérience jusqu’à présent ».
Vous pouvez retrouver ses propos dans cette video :