Le fichier robots.txt est un fichier texte placé à la racine d’un site Web et qui peut être consulté par les robots d’exploration ou les « bots » des moteurs de recherche. Il est utilisé pour déterminer les pages à indexer ou … Lire la suite de Tout savoir sur le fichier robots.txt