La Google Search Console, et son alter ego chez Bing, Bing Webmaster Tools, sont des outils incontournables pour tous les référenceurs. Ces outils permettent d’avoir une appréciation de la perception de votre site par les moteurs de recherche. Cela permet de corriger les fautes, erreurs et autres problèmes remontés par Google et Bing.
Comme vous le savez parfaitement, rendre une page découvrable et crawlable ne suffit pas pour qu’elle soit indexable et encore moins pour qu’elle soit effectivement indexée par les moteurs de recherche. Nous allons faire un gros plan sur la Google Search Console et plus particulièrement sur le signal Indexation des pages > Explorée, actuellement non indexée.
Pourquoi est-ce important ?
Les pages non indexées ne peuvent pas être trouvées par les utilisateurs dans les SERP. Cela devient fortement pénalisant pour le site Web concerné quand la volumétrie des pages concernées est soit importante, soit croissante.
Dans les deux cas, il devient indispensable de corriger le problème. L’illustration ci-dessous montre qu’un fort potentiel de landing pages indexables et avec un intérêt SEO se trouvent très certainement parmi les 24200 URL marquées comme « Explorée, actuellement non indexée » par Google.
Quelles conséquences de ne pas corriger ce problème ?
- Les pages concernées ne peuvent pas être trouvées via une recherche organique dans Google ;
- Le contenu de ces pages ne peut pas renforcer la pertinence thématique du site ;
- Le contenu de ces pages ne peut pas contribuer à l’autorité globale du site Web ;
- L’investissement en temps et recherches pour la rédaction du contenu de ces pages est plus ou moins perdu, car le contenu ne peut pas facilement être trouvé par les utilisateurs en dehors d’une acquisition via des Ads ;
- L’information contenue dans ces pages n’est que difficilement accessible aux utilisateurs.
Soyons également réalistes, l’objectif, pour site de moyenne ou de grande taille, n’est pas d’avoir zéro page marquée comme explorée, actuellement non indexée. C’est quasiment impossible à obtenir. Le challenge du SEO est donc d’avoir une volumétrie très faible et au pire constante (si ce n’est pas décroissante) sur ce critère.
Obtenir la liste des pages explorées, mais non indexées par Google
Via la Google Search Console (limité à 1000)
- Connectez-vous à la propriété du site concerné sur le Google Search Console ;
- Allez dans le menu Indexation > Pages ;
- Cliquez sur « Explorée, actuellement non indexée » ;
- Cliquez sur le bouton « Exporter » en haut à droite pour extraire jusqu’à 1000 URL concernées par le problème.
Cette méthode limite l’export des données à 1000 URL. Si vous avez plus de 1000 URL concernées, vous devez passer par un outil tiers ou l’API de Google.
Via Screaming Frog (sans limite… enfin presque, 2000 par jour)
Si vous avez plus de 1000 URL concernées, je vous propose d’utiliser Screaming Frog dans sa version payante pour obtenir l’ensemble des URL explorées, mais indexées par Google, dans la limite de 2000 par jour.
Cela reste contraignant, mais cela permet d’avoir un relevé d’URL complet dans le cas où le nombre d’URL concernées n’est pas trop important.
Dans quels cas des pages sont déclarées explorées, mais non indexées ?
Il y a plusieurs raisons au fait que des pages qui sont techniquement découvrables, crawlables et indexables ne soient pas indexées après leur exploration par Googlebot. En voici quelques-unes :
Google ne peut pas faire un rendering correct de la page. Pour savoir à quoi ressemble le contenu d’une page, Google en fait le rendu à l’aide de l’index Mobile-First. Dans le cas où la page utilise beaucoup de code JavaScript ou encore si des fichiers de ressources sont bloqués par le fichier robots.txt (fichiers CSS par exemple), il est fort probable que Google n’arrive par à faire un rendu correct de la page. Sans ce rendu, il n’est pas toujours possible à Google d’en évaluer la pertinence et la qualité du contenu. Les premières causes à rechercher sont du côté de la nature de la gestion du contenu sur le site : CMS, headless, etc.
Le site Web n’apporte pas, ou trop peu d’informations avec une valeur ajoutée aux utilisateurs. Google n’indexe que les contenus qu’il estime apporter une vraie réponse aux requêtes des internautes. Soit un contenu original, soit un complément d’information non disponible dans les autres pages de son index.
Le site Web globalement, et le contenu de la page en particulier, ne font pas preuve d’expertise dans le sujet traité. Un élément du célèbre EEAT (voir notre article sur le sujet). Google peut choisir de ne pas indexer un contenu qu’il estime en dehors de la pertinence globale du contenu du site, contenu pour lequel il ne serait donc pas expert.
La page est orpheline. C’est-à-dire que Google l’a trouvée par l’intermédiaire d’un moyen détourné, comme un sitemap, un lien externe entrant, mais pas depuis le maillage du site. Dans ce cas, Google choisit de ne pas l’indexer même si son contenu à une réelle valeur ajoutée pour les utilisateurs.
Délais de rafraichissement des données de la GSC. Ce cas est possible et loin d’être rare ! Et qui travaille régulièrement avec la Google Search Console s’en est obligatoirement rendu compte. Les données de l’outil d’inspection de l’URL sont rafraichies beaucoup plus rapidement que les données d’indexation des pages. Il est en conséquence possible qu’une URL marquée dans la liste des URL Explorée, actuellement non indexée, soit en réalité donnée comme indexée par l’outil d’inspection de l’URL. Dans ce cas, il faut faire confiance à cet outil.
Plus d’une cause possible. En fonction de la dette technique du site, d’un contenu approximatif et d’autres signaux, il est possible que résoudre les problèmes probables ayant entrainé la non-indexation d’une page explorée ne soit pas suffisant.
Corriger les pages marquées « Explorée, actuellement non indexée »
La solution n’est pas universelle, loin de là ! Comme il y a plusieurs causes, il y a obligatoirement plusieurs solutions. Et bien souvent, il faut mettre en œuvre plusieurs solutions pour avoir des résultats.
Faciliter le rendu
C’est la première chose à vérifier !
1/ Dans le rapport donnant une liste d’URL exemples des pages explorées, mais non indexées, cliquez sur la loupe pour inspecter l’une des URL.
2/ Cliquez ensuite sur le bouton TESTER L’URL ACTIVE en haut à droite.
3/ Une fois le test effectué (cela peut demander 1 ou 2 minutes), cliquez sur le lien AFFICHER LA PAGE TESTÉE et enfin sur CAPTURE D’ÉCRAN
4/ La restitution est-elle conforme à ce qui est attendu ? Oui, alors il faut chercher ailleurs. Non, donc vous avez probablement trouvé la raison de la non-indexation de la page.
Proposer un contenu original et qualifié aux utilisateurs
Il faut toujours garder en tête que Google n’est pas enclin à indexer des pages dont le contenu existe déjà sur d’autres pages et qui sont trop semblables à ce qui existe déjà et qu’il a indexé.
Le problème que peuvent rencontrer les rédacteurs Web utilisant des outils d’assistance et de suggestion de contenu qui s’inspirent très souvent du contenu des pages au top 10 des SERP pour un mot-clé donné : les contenus que ces outils suggèrent sont basés sur ce qui existe déjà ! Les rédacteurs sont en conséquence assez mal orientés et assistés et finissent par rédiger du contenu assez similaire ou qui n’apporte pas de réelle valeur ajoutée. Ce n’est pas le cas de tous les outils d’aide à la rédaction heureusement, mais quand même…
Comment proposer du contenu différent qui n’est pas présent sur de très nombreux sites et qui empêche l’indexation de vos pages ? En fournissant du contenu original, des nouvelles informations pas encore couvertes par vos concurrents. Mais aussi en allant plus loin que les contenus existants : plus de détails, plus de précisions, allez plus loin que ce que font vos concurrents. Et pourquoi aller à contre-courant en proposant une expérience controversée correctement étayée ? Et enfin, adresser peut-être à un public plus ciblé, moins généraliste, c’est là que les persona entrent en jeu. Adressez-vous à votre cible et non pas à tout le monde. Si vous avez plusieurs persona cibles, faite autant de pages avec un contenu ciblé pour chacun d’eux, vous pouvez très bien avoir une page commune et une page fille par persona.
Améliorer l’autorité et l’expertise de votre site Web
Cela se fait avec l’aide de pages qui vont venir appuyer le contenu des landing pages que vous souhaitez indexer. Oui, je vous parle bien ici d’un Topical Cluster et avec un maillage approprié, vous allez donner du poids à vos pages qui sont explorées et pas indexées.
Cela reste un sérieux travail à faire, mais cela donne d’excellents résultats… quand c’est bien fait ! Ce n’est pas le sujet du jour.
Renforcez le maillage
Vous vous êtes assuré que la page non indexée n’est pas orpheline ? Parfait, allons plus loin en renforçant le maillage interne. Faites quelques liens depuis des pages connexes à celle qui n’est pas indexée en utilisant des ancres variées et optimisées (oui, on est en interne donc vous pouvez le faire).
Inutile d’en faire des tonnes, il ne faut pas non plus briser le parcours utilisateurs sur votre site. Bien fait (comme toujours), cela donne des résultats significatifs.
Soyez efficace
Comment être plus efficace ? Raisonnez par template et non par page !
En effet, vous allez remarquer, en consultant la liste des URL concernées, qu’il y a souvent un schéma qui se dessine. Et que finalement, même si vous avez beaucoup d’URL non indexées, elles sont basées que sur quelques templates.
En raisonnant par template, vous allez pouvoir vous simplifier la tâche et raisonner de façon plus macro pour déterminer la ou les causes probables qui font que vos pages ne sont pas indexées bien qu’elles soient explorées par Google.
Cela va en plus vous permettre de gagner beaucoup de temps.
Merci pour cet article qui m’a appris une nouvelle vérification à faire dans la GSC. Je n’avais pas en tête de contrôler la phase de rendering 🙏🙏🙏 Et le reste de la démonstration est pleine de sens.