Un bot crawlant le web depuis des IP appartenant aux plages identifiant Googlebot a fait son apparition. La nouveauté c’est que le User Agent qu’il utilise est « Google » tout simplement.
Dans la documentation de Google, ce referrer n’existe pas.
C’est JC Chouinard qui a détecté ce bot :
Pour le moment, Google n’a pas fait de commentaires. On ne sait pas exactement à quoi leur sert ce bot, et pourquoi il emploie ce user-agent simplifié.
Qu’est-ce que vous devez faire sur vos sites
Comme à chaque changement dans les caractéristiques des bots (IP, User-agent, comportement etc…) cela peut avoir des conséquences sur l’exploration ou l’indexation de vos contenus (où leur réemploi dans des services de Google).
Si vous avez suivi les recommandations de Google, c’est à dire de faire reconnaître la chaîne « Google » pour identifier les visites de Googlebot, vous n’avez rien à changer.
Si votre script se base sur des chaînes plus longues, c’est le moment de revenir à la recommandation de Google.
En sachant que Google ne recommande plus de reconnaître le seul user-agent pour vérifier qu’une visite provient bien de Googlebot : ils préconisent la vérification de l’IP et la recherche DNS Inversée.
Pour en savoir plus sur les bonnes pratiques avec les bots, c’est par ici :