Il y’a 10 jours, nous vous parlions ce nouvel User-Agent crée par Google : Google Extended. Encore un User-Agent pour complexifier la gestion du robots.txt …
Empêcher Google de récupérer le contenu de votre site
Nous vous expliquions cette nouvelle initiative de Google pour remplacer le robots.txt par autre chose afin de piloter quels contenus peuvent être accessibles aux outils d’IA.
Il suffisait de rajouter un bloc dans votre robots.txt pour éviter que vos contenus ne soient exploités par l’IA générative, Bard ou encore Vertex AI. En somme, que vos résultats se retrouvent dans la nouvelle SGE du moteur de recherche américain.
Cela semblait être le résultat final d’une « discussion publique » lancée par Google en juillet, lorsque la firme a promis de rassembler « les voix des éditeurs de sites web, de la société civile, du monde universitaire et d’autres domaines » pour parler du choix et du contrôle du contenu web.
Précision apportée par Google
Il y’a quelque jours, Google a apporté une précision concernant l’utilisation des contenus dans la SGE. Non, le blocage de Google-Extended dans votre robots.txt n’empêchera pas vos contenus d’apparaitre dans le SGE ! Le seul moyen serait de carrément bloquer dans le robots.txt le passage de Googlebot … clairement ce n’est pas conseillé. Cela voudrait dire que vous empêcheriez de faire apparaitre vos contenus dans les résultats de recherche de la SERP !
Search Engine Land nous explique dans un récent article avoir eu contact un représentant de Google qui leur a confirmé : «Les administrateurs de sites web doivent donc continuer à utiliser l’agent utilisateur Googlebot via robots.txt et la balise méta NOINDEX pour gérer leur contenu dans les résultats de recherche, y compris les expériences telles que Search Generative Expérience »
Pour résumer : en bloquant Google-Extended, vous bloquez uniquement Bard et Vertex AI.
Contrairement à ce que vous avez donc entendu, il n’est pas possible de bloquer vos contenus pour remonter dans les résultats générés par l’𝗜𝗔 𝗱𝗲 𝗚𝗼𝗼𝗴𝗹𝗲 sans pénaliser votre référencement dans le moteur.
Mais ce n’est pas non plus une mauvaise chose que d’apparaitre directement dans les résultats de la SGE !