Définition de Disallow: : Disallow: est une directive utilisée dans les fichiers robots.txt qui permet de demander aux robots des moteurs de recherche de ne pas explorer une page ou le répertoire complet d’un site web. Le fichier robots.txt permet …
Définition de NoIndex : NoIndex est un terme utilisé en SEO pour indiquer aux moteurs de recherche qu’ils ne doivent pas indexer une page web. Ce signal s’indique soit au travers de la balise meta robots, soit dans le fichier …
Définition de Balise Meta Robots : La Balise Meta Robots est une balise HTML, placée dans la partie HEAD d’un code source, et qui donne un certain nombre d’indications aux robots des moteurs au sujet de la prise en compte …
Définition de DuckDuckGo : DuckDuckGo est un métamoteur de recherche américain dont le credo est de ne pas stocker ni utiliser les informations personnelles de ses utilisateurs. Ses résultats viennent de plus de 400 sources différentes dont Bing et Yelp. …
Définition de YandexBot : Yandexbot est le nom du robot d’exploration (spider) du moteur de recherche russe Yandex. Comme Googlebot (Google) ou Bingbot (Bing), il explore (crawle) le Web en cliquant sur des liens pour partir à la recherche de …
Définition de AltaVista : AltaVista était un moteur de recherche, créé en 1995, leader sur son marché pendant la période pré-Google et beaucoup utilisé en Europe notamment. Racheté par Yahoo!, il a survécu quelques temps avant d’être tué par son …
Définition de Scooter : Scooter était le nom du robot d’exploration (spider) du moteur de recherche AltaVista à la fin des années 90. Le moteur ayant été tué par Yahoo!, Scooter a aujourd’hui disparu des écrans radar. AltaVista est …
Définition de Slurp : Slurp était le nom du robot d’exploration (spider) du moteur de recherche Yahoo!. Ce site utilisant aujourd’hui la technologie de Bing, Slurp est désormais très peu présent dans les logs, mais il existe encore pour les …
Définition de BingBot : Bingbot est le nom du robot d’exploration (spider) du moteur de recherche Bing de Microsoft. Comme Googlebot (Google), il explore (crawle) le Web en cliquant sur des liens pour partir à la recherche de pages afin …
Définition de Robot ou Spider : Un Robot ou Spider est un logiciel utilisé par les moteurs de recherche pour explorer le Web en cliquant sur les liens hypertexte qu’il rencontre. A chaque page identifiée, il enverra son contenu au …