Depuis février 2026, les trois principaux fournisseurs de LLM (OpenAI, Anthropic, Perplexity) proposent chacun des crawlers distincts pour l’entraînement de leurs modèles et pour leurs fonctionnalités de recherche. Cette séparation change la donne : il est désormais possible de refuser …
Un post de Danielle Romain, la VP Trust de Google publié fin août sur le blog The Keyword est passé un peu inaperçu. Mais si Google arrive à ses fins, cela signifie qu’un monument du World Wide Web est appelé …
Depuis l’apparition de GPT d’OpenAI, des voix s’élèvent régulièrement pour dénoncer ce qu’ils considèrent comme « un vol de données », quand ce n’est pas une violation du droit d’auteur. On peut comprendre ces réactions quand on voit les IA génératives régurgiter …
Si vous avez l’habitude de travailler sur des OS qui sont stricts à propos des majuscules dans les noms de fichier vous le savez : https://www.domaine.com/Monurl.html est une url différente de : https://www.domaine.com/monurl.html ! Cela signifie que ces deux urls …
Pendant très longtemps, Google n’a pas réellement montré le meilleur exemple concernant sa gestion du « standard » robots.txt. Ils ont notamment supporté des fonctionnalités « made in Google » absolument pas supportées par les autres moteurs : comme les caractères joker dans les …
Le fichier robots.txt fait partie du quotidien du site web depuis 1994. Au départ c’était une initiative de Martijn Koster. Et c’est devenu un standard de fait. Au fil des ans, les propriétaires de site ont pris de mauvaises habitudes …