Trois chercheurs de Google DeepMind, dont Donald Metzler, une figure reconnue de la recherche d’information, se sont penchés sur une situation en train de devenir la norme dans les moteurs modernes : un modèle de langage classe les résultats, un autre modèle évalue leur pertinence, et de plus en plus, le contenu lui-même a été rédigé par un modèle.
Leur article, présenté à la conférence SIGIR 2025, apporte selon eux la première preuve empirique qu’un juge automatique fondé sur un LLM favorise systématiquement les systèmes de classement eux aussi fondés sur des modèles (tiens tiens…).
Surtout, il met en garde contre une boucle circulaire dont les effets, à terme, pourraient appauvrir la diversité de ce que les moteurs mettent en avant.
Voyons un peu ce que ce papier révèle, et pourquoi ce sujet concerne directement le référencement.
Trois rôles pour un même outil
Le point de départ des auteurs tient en une observation simple : les grands modèles de langage (ou LLM, des modèles entraînés à prédire du texte et capables de nombreuses tâches linguistiques) occupent désormais trois fonctions distinctes dans la chaîne de l’information.
- Ils classent, en tant que systèmes de reclassement (le fait de réordonner une première liste de résultats pour remonter les plus pertinents).
- Ils évaluent, selon le paradigme du juge LLM (en anglais LLM-as-a-judge), où un modèle estime la pertinence d’un document par rapport à une requête, à la place ou en appui d’annotateurs humains.
- Ils assistent la production de contenu, du simple correcteur jusqu’à la rédaction d’articles entiers.
Chacun de ces rôles a déjà été étudié séparément. La nouveauté du papier est de regarder leur interaction.
La question centrale : lorsqu’un modèle classe les résultats et qu’un contenu a été écrit par un modèle, le juge LLM reste-t-il capable d’évaluer correctement la pertinence ?
Pour y répondre, les auteurs s’appuient sur un dispositif classique de récupération puis reclassement, où un premier étage rapide sélectionne des documents candidats, ensuite réordonnés par un modèle plus lourd mais plus fin.
Le biais qui inverse le classement
Le résultat le plus frappant concerne le biais des juges en faveur des classeurs LLM. Pour l’isoler proprement, les auteurs introduisent une méthode astucieuse : des classifieurs oracles, c’est-à-dire des classements construits à partir des jugements humains de référence, puis dégradés de façon contrôlée. Le meilleur d’entre eux, baptisé Perfect, représente le classement idéal à l’intérieur des cent premiers résultats récupérés. Toutes les différences entre ces oracles sont statistiquement significatives selon les humains, ce qui en fait un étalon fiable.
Les tests portent sur les collections TREC Deep Learning 2019 et 2020, adossées au corpus MS MARCO (8,8 millions de passages), avec la mesure NDCG@10 (un indicateur de qualité de classement qui récompense la présence de résultats pertinents en tête de liste). Les juges sont quatre variantes du modèle Gemini.
Le constat est net. Sur 2019, les juges humains placent l’oracle Perfect à 0,892, loin devant le meilleur classeur à base de LLM, à 0,747.
Mais quand c’est le modèle Gemini v1.5 Pro qui juge, l’ordre s’inverse : ce même classeur grimpe à 0,947 tandis que l’oracle parfait retombe à 0,864. Le biais est assez puissant pour retourner entièrement la hiérarchie entre deux familles de systèmes. Autrement dit, la performance réelle des systèmes qui n’utilisent pas de LLM se trouve gravement sous-estimée, ce qui pénalise en particulier les approches nouvelles ou peu conventionnelles.
Un juge indulgent et myope
Deux autres faiblesses accompagnent ce biais. D’abord, l’indulgence : les juges LLM notent plus généreusement que les humains et attribuent une pertinence partielle à des documents qui n’en ont aucune, ce qui gonfle mécaniquement les scores. Ensuite, un faible pouvoir discriminant, c’est-à-dire la capacité à distinguer des systèmes proches mais réellement différents.
Les auteurs le mesurent avec le tau de Kendall (un indice de corrélation entre deux classements, qui vaut 1 quand les ordres sont identiques). Sur les seuls oracles, les trois modèles exploitables atteignent 0,600 en 2019 et 0,867 en 2020, ce qui reste modeste pour un ordonnancement pourtant significatif aux yeux des humains. Plus révélateur encore, dès qu’on élargit à l’ensemble des systèmes testés, la corrélation s’effondre entre 0,03 et 0,14. L’écart entre ces deux mesures montre à quel point une corrélation flatteuse peut être obtenue simplement en mélangeant des systèmes très hétérogènes, un artefact que les praticiens doivent garder en tête devant tout classement produit par un juge automatique.
Le choix du modèle compte, mais pas comme on l’imagine. La génération récente bat clairement l’ancienne. En revanche, à génération égale, le plus gros modèle n’est pas forcément le meilleur juge : la version Flash s’accorde parfois mieux avec les humains que la version Pro, plus lourde. Le plus petit modèle, lui, se révèle inutilisable, son accord avec les humains étant proche de zéro.
La circularité, ou la machine qui apprend à se plaire à elle-même
C’est ici que le papier passe du constat à l’avertissement.
Classer et juger reviennent à répondre à la même question, estimer la pertinence d’un document pour une requête. Confier les deux tâches à des modèles de même nature ouvre donc la porte à un biais systémique. Les auteurs reprennent une mise en garde déjà formulée par d’autres chercheurs : un modèle utilisé à la fois pour annoter et pour classer tend à se juger lui-même supérieur, au risque d’une évaluation artificiellement parfaite.
Le vrai danger porte un nom, la circularité. Lorsque des modèles de classement sont entraînés sur des étiquettes de pertinence produites par des LLM, une boucle auto-renforçante s’installe : le classeur apprend à fabriquer ce que le juge aime, ce qui amplifie les biais existants. Le papier en tire trois conséquences possibles, la suppression des points de vue minoritaires, la promotion d’un contenu homogène, et la pénalisation des approches originales qui s’écartent de la notion de pertinence intégrée par le modèle.
Les auteurs rapprochent ce mécanisme du reward hacking (en apprentissage par renforcement, le fait pour un agent d’exploiter les failles d’une fonction de récompense pour maximiser son score sans résoudre le vrai problème). Poussée à l’extrême et de façon récursive, cette dynamique rejoint le risque d’effondrement des modèles (ou model collapse, la dégradation de qualité et de diversité observée quand des modèles s’entraînent sur des données générées par d’autres modèles).
Ce n’est pas une inquiétude théorique isolée : le papier rappelle que, d’après Thomas et ses coauteurs, Bing réentraîne des parties de son moteur sur des étiquettes produites par LLM depuis fin 2022, avec des vérifications humaines.
Tromper le « juge » avec de vieilles recettes
Un juge LLM peut aussi être manipulé, et par des procédés que le référencement connaît bien. Le papier synthétise plusieurs travaux sur ce point. Le plus parlant : en insérant les mots de la requête à des positions aléatoires dans un document non pertinent, on parvient à le faire noter comme pertinent par la plupart des modèles. Les auteurs qualifient explicitement ce procédé de simulation d’une stratégie de bourrage de mots-clés (keyword stuffing), la répétition artificielle de termes pour tromper un système. Les modèles de reclassement sont par ailleurs vulnérables à l’injection de contenu, l’ajout de texte destiné à fausser l’appariement.
Autre angle mort, l’eval hacking, le fait d’optimiser un système pour l’évaluation plutôt que pour l’utilité réelle. Quand le protocole d’évaluation est public, il devient manipulable. Le papier cite un cas où une soumission conçue exprès s’est classée 5e sous évaluation automatique par LLM, mais seulement 28e sous évaluation humaine. Les auteurs mentionnent aussi un effet d’amorçage : lors d’une évaluation par lots, la pertinence attribuée aux premiers documents influence celle des suivants, certains modèles y étant plus sensibles que d’autres. Ces fragilités rappellent que déléguer le jugement de pertinence à un modèle ne supprime pas les vieilles manipulations, elle en déplace simplement la cible.
Ce que les auteurs recommandent
La position des trois chercheurs est nuancée mais ferme.
La question n’est plus de savoir si les LLM peuvent servir de juges, puisqu’ils sont déjà adoptés dans la recherche académique comme dans l’industrie, mais comment les utiliser sans se tromper. Leur ligne directrice : viser à économiser le temps des annotateurs humains, pas à les remplacer. Selon eux, seul un humain peut déterminer la pertinence d’une information au regard de son utilité réelle, et l’évaluation de plus haute fidélité reste le test en ligne avec de vrais utilisateurs.
Pour l’usage pratique des juges LLM, ils proposent quelques garde-fous :
- Évaluer tous les systèmes comparés avec exactement la même configuration de juge, même modèle, même prompt, mêmes réglages, et ne jamais s’en servir de façon sélective pour boucher les trous d’un jeu de jugements humains.
- Reporter précisément la version du modèle, le prompt et les paramètres, condition de toute reproductibilité.
- Combiner plusieurs juges de familles différentes pour limiter le biais d’un modèle envers ses propres productions.
- Valider les résultats sur un échantillon contrôlé par des humains, et rester prudent dans les conclusions tirées d’une évaluation automatique.
Le signal fourni par un juge LLM est utile, concluent-ils, mais bruité et potentiellement biaisé. Il sert à repérer les systèmes prometteurs qui méritent l’étape plus coûteuse de l’évaluation humaine, pas à trancher seul.
Ce que le référencement doit en retenir
Pour un professionnel du référencement, plusieurs enseignements se dégagent, à condition de ne pas leur faire dire plus qu’ils ne disent.
D’abord, les systèmes qui estiment la pertinence à base de LLM restent sensibles à des manipulations anciennes comme le bourrage de mots-clés, et penchent en faveur des sorties de style modèle. Tout score de visibilité ou de pertinence produit par un juge LLM, y compris dans des outils du marché, mérite donc d’être lu avec précaution. Ensuite, si l’écosystème s’entraîne de plus en plus sur des étiquettes générées par des modèles, le risque de convergence vers une pertinence homogène, qui défavorise l’original, devient un enjeu stratégique pour quiconque publie du contenu différenciant.
Dernier garde-fou, le plus important : ce travail porte sur l’évaluation en recherche d’information, pas sur les systèmes de classement ou anti-spam en production de Google. Il éclaire une tendance de fond et des risques, il ne décrit pas la mécanique du moteur grand public.
Conclusions pour le SEO/GEO
Ce papier fait partie des dizaines de papier sortis depuis quelques mois sur le GIR (le Generative Information Retrieval). Ce nouveau domaine de l’Information Retrieval cherche à remplacer les algorithmes classiques par des outils à base d’IA, du sol au plafond. Cela revient à revoir entièrement le fonctionnement d’un moteur comme Google, qui reste encore à date très tributaire de technologies préIA encore aujourd’hui (même à l’ère des AIO et du mode IA). Par exemple, MUVERA est une technique qui permet à Google de manipuler des embeddings avec son infra actuelle. Mais le GIR remplacera l’IR dans les moteurs grand public à terme, il y’a une vraie course à l’armement en ce moment et Google avance à marche forcée dans cette direction.
Une fois le moteur entièrement repensé avec des technologies GIR, beaucoup de vieilles techniques SEO encore valides vont définitivement devenir obsolètes.
Après, ce papier montre aussi que le moteur GIR n’est pas pour demain matin, et que le chantier est semé d’embûches : problèmes de biais, problèmes de sensibilité au SPAM, ou problèmes techniques.
Donc surveiller l’évolution de l’état de l’art sur le GIR est le meilleur moyen pour anticiper quand il faudra changer d’approche SEO/GEO (spoiler : ça a déjà commencé, mais c’est « light » comme changement pour le moment) et pour définir les nouvelles bonnes pratiques pour exploiter les possibilités des moteurs GIR.
Abonnez-vous à la newsletter si ce n’est pas déjà fait : car cette veille, vous la trouverez régulièrement dans ce blog
Bibliographie
- Krisztian Balog, Donald Metzler, Zhen Qin, Rankers, Judges, and Assistants: Towards Understanding the Interplay of LLMs in Information Retrieval Evaluation, arXiv, 2025 : https://arxiv.org/abs/2503.19092
- Version éditeur, actes de SIGIR 2025 : https://doi.org/10.1145/3726302.3730348
- Marwah Alaofi et al., LLMs Can Be Fooled into Labelling a Document as Relevant (SIGIR-AP 2024) : https://doi.org/10.1145/3673791.3698410
- Charles L. A. Clarke, Laura Dietz, LLM-based Relevance Assessment Still Can’t Replace Human Relevance Assessment, arXiv, 2024 : https://arxiv.org/abs/2412.17156
- Ilia Shumailov et al., AI Models Collapse When Trained on Recursively Generated Data, Nature, 2024 : https://doi.org/10.1038/s41586-024-07566-y