Découvrons ce nouvel User Agent de Google, le « Google Site Verifier User Agent » qui permet de vérifier les fichiers de la GSC et qui n’obéit pas aux règles de robots.txt
On peut lire toute la documentation de ce nouvel agent dans la documentation d’aide de Google Crawler.
Ce « nouveau » User Agent n’aura aucun impact sur le SEO ; en effet il est utilisé depuis un certain temps déjà, Google a juste communiqué officiellement sur son existence.
John Mueller a lui-même déclaré sur Twitter il y’a quelques jours « It’s for Search Console verification. Not new, just newly listed. »
Mais si vous le trouvez dans vos logs, vous saurez ce que c’est : le « User Agent » utilisé quand Google teste si vous êtes bien owner ou utilisateur autorisé de la GSC.
Du coup, c’est normal dans ce contexte que ce bot ne respecte pas le robots.txt !