Encore un nouveau robot pourrons nous dire.
Google a récemment élargi sa famille de robots d’exploration en ajoutant deux nouveaux membres : GoogleOther-Image et GoogleOther-Video. Ces deux robots sont des versions optimisées de GoogleOther, spécialement conçues pour la recherche d’images et de vidéos accessibles au public.
GoogleOther a été ajouté en avril 2023 pour être utilisé en interne par les équipes de Google afin d’explorer le web public et de libérer des ressources pour les principaux robots Googlebot.
GoogleOther-Image, avec son agent utilisateur GoogleOther-Image, est chargé de récupérer les URL d’images. De son côté, GoogleOther-Video, identifié par l’agent utilisateur GoogleOther-Video, est dédié à la recherche d’URL de vidéos.
L’objectif de ces nouveaux robots, selon Google, est de « mieux prendre en charge l’exploration des données binaires susceptibles d’être utilisées à des fins de recherche et de développement ». Ils viennent s’ajouter aux autres types de robots Googlebot, tels que le robot principal d’exploration pour les produits de recherche de Google, les crawlers spéciaux exécutant des fonctions spécifiques, et les extractions déclenchées par l’utilisateur.
Pour rappel, les types de robots Googlebot :
- Googlebot – Il s’agit du principal robot d’exploration pour les produits de recherche de Google. Google affirme que ce robot respecte toujours les règles du fichier robots.txt.
- Crawlers spéciaux – Crawlers qui exécutent des fonctions spécifiques (comme AdsBot) et qui peuvent ou non respecter les règles de robots.txt.
- Extractions déclenchées par l’utilisateur – Outils et fonctions de produits dans lesquels l’utilisateur final déclenche une extraction. Par exemple, Google Site Verifier agit à la demande d’un utilisateur ou certains outils de la Google Search Console envoient Google chercher la page en fonction d’une action effectuée par l’utilisateur.
Pour les propriétaires de sites web qui surveillent de près l’activité des robots sur leur site, il est important de noter que ces nouveaux robots GoogleOther sont des robots légitimes de Google. Pas de raison de s’inquiéter donc !