Depuis le lancement du crawler Googlebot (à la fin du siècle dernier donc), les demandes émanant de ce bot semblaient toutes émaner d’une IP associée (d’après le registre RIPE) à une géolocalisation aux USA.
La liste des IP de Googlebot est parfaitement connue et officielle. Nous avions eu l’occasion il y’a quelques mois de relayer la communication de Google à ce sujet.
Rappelons ici que 5 autorités régionales (dont le RIPE NCC pour l’Europe) gèrent l’attribution des adresses IP aux acteurs de l’internet. Et au passage enregistrent la répartition des IP par pays.
Donc pour l’instant, toutes les IP de Googlebot étaient géolocalisées aux USA :
Google a réservé de nouvelles IP hors US pour crawler le net
Gary Illyes a dévoilé cette nouveauté au cours d’une conférence à Singapour et a ensuite eu l’occasion de la commenter sur Twitter.
Pour le moment, c’est juste une possibilité. Google a certes réservé de nouvelles IP hors US. Elles apparaissent dans le fichier JSON officiel.
L’objectif derrière ce changement n’est pas de crawler systématiquement des sites français depuis des IP géolocalisées en France. Il s’agit de pouvoir crawler des sites qui bloquent les IP américaines, ou présentent un contenu différent selon la géolocalisation pays.