Ce que les robots d'IA lisent vraiment sur un site : nos logs de 30 jours

Dans notre article sur la façon de se faire citer par les assistants, nous écrivions que les journaux du serveur sont la seule preuve directe que votre contenu est lu par ces systèmes. Nous avons donc ouvert les nôtres.

Trente jours, du 21 septembre au 21 octobre 2026, mesurés par Cloudflare, le service placé devant notre site, qui voit passer chaque requête avant qu’elle n’atteigne les pages. Le constat tient en une phrase : les robots d’IA lisent beaucoup, mais pas ce que l’on imagine — et lire n’est pas citer.

Les chiffres bruts#

Sur la période, environ 15 600 requêtes ont été identifiées comme venant de robots liés à l’intelligence artificielle. Leur répartition :

Premier enseignement : le robot le plus actif chez nous n’est ni celui d’OpenAI ni celui d’Anthropic. Second enseignement, plus important : ces noms ne désignent pas tous la même activité.

Trois métiers derrière le mot « robot »#

Les éditeurs distinguent désormais, chacun dans sa documentation, des robots aux rôles très différents.

OpenAI en décrit trois dans sa page consacrée à ses robots. GPTBot collecte des contenus susceptibles de servir à l’entraînement de ses modèles. OAI-SearchBot alimente la recherche de ChatGPT : un site qui l’exclut n’apparaît plus dans les réponses de recherche. ChatGPT-User, enfin, va chercher une page quand un utilisateur le demande, et OpenAI précise que le fichier robots.txt peut ne pas s’appliquer à ces requêtes.

Anthropic suit la même logique dans son article d’aide : ClaudeBot pour l’entraînement, Claude-SearchBot pour la recherche, Claude-User pour les requêtes déclenchées par un utilisateur. Perplexity sépare de même PerplexityBot, qui fait apparaître et lie les sites dans ses résultats, de Perplexity-User, qui ignore en général le fichier robots.txt puisque c’est un utilisateur qui a demandé la page.

Deux noms n’apparaîtront jamais dans vos journaux. Google-Extended n’est qu’une consigne du fichier robots.txt, sans robot propre, qui encadre l’usage des contenus pour les modèles de Google. Applebot-Extended joue le même rôle chez Apple et, selon sa documentation, ne parcourt aucune page.

Relus sous cet angle, nos chiffres changent de sens. Les robots qui agissent à la demande d’un utilisateur — ChatGPT-User, MistralAI-User, Perplexity-User et Claude-User — totalisent environ 880 requêtes. Ce sont celles qui ressemblent le plus à une consultation réelle. Mais une seule question peut déclencher plusieurs requêtes, et une partie de celles de Claude-User porte la signature d’un outil de développement : elles peuvent venir de nos propres sessions de travail, ce que les journaux ne permettent pas de distinguer.

Ce qu’ils lisent : surtout le mode d’emploi#

Les chemins les plus demandés sont sans surprise, et un peu décevants :

• /robots.txt, environ 1 000 requêtes ;
• la page d’accueil, environ 650 ;
• chacun des plans de site, de l’ordre de 350.

Près de la moitié des requêtes de ClaudeBot, et 413 des 1 188 requêtes d’OAI-SearchBot, portaient sur le fichier robots.txt et les plans de site. Aucune de nos fiches de prestation ne figure parmi les chemins les plus demandés.

Autrement dit, les robots consultent volontiers le plan de la maison, moins souvent les pièces. Savoir que votre site existe n’est pas avoir lu la page qui décrit ce que vous vendez.

Une partie des « robots d’IA » n’en sont pas#

Dans les mêmes journaux, des requêtes qui se présentaient comme des robots d’IA demandaient des fichiers comme /.env, /.git/HEAD, /id_rsa ou /google-service-account.json. Ce sont des fichiers de configuration et de clés qu’un serveur mal réglé laisse parfois accessibles. Aucun moteur de réponse n’a besoin de votre clé privée : ce sont des scanners qui empruntent un nom respectable.

Le nom d’un robot, son User-Agent, est une simple déclaration. Le fichier robots.txt n’y change rien : la norme qui le décrit, la RFC 9309, précise que ses règles ne sont pas une autorisation d’accès et ne remplacent pas des mesures de sécurité. Pour vérifier qu’une requête vient bien d’OpenAI, l’éditeur publie la liste des adresses de ses robots, référencée dans sa documentation.

Sur notre site, ces requêtes n’ont rien trouvé : un site statique ne contient pas ces fichiers. Mais elles faussent les totaux, et c’est une raison de plus de lire les journaux chemin par chemin plutôt qu’en volume global.

Côté visites : presque rien#

Notre outil de mesure d’audience compte 4 sessions venues d’un assistant IA en 90 jours, dont une seule sur les 30 derniers.

Ce chiffre est un minimum. Google Analytics ne se charge chez nous qu’après acceptation des cookies, et nous avions mesuré en août qu’il ne voyait qu’environ 41 % des clics publicitaires et 58 % des clics venus de la recherche Google. C’est la même limite que pour la mesure de nos campagnes dans ChatGPT, et nous en avons détaillé l’origine dans notre article sur les statistiques faussées. Même en doublant, cela reste une poignée de visites.

Et une citation sans clic n’apparaît nulle part. Être lu n’est pas être cité, et être cité n’est pas être visité. Trois mesures différentes, qu’aucun outil ne relie aujourd’hui.

Ce que nous en avons tiré#

Puisque les robots lisent surtout la page d’accueil et les plans de site, c’est là que l’offre doit être lisible.

Des données structurées complètes sur la page d’accueil. Jusqu’au 21 octobre, la description de notre entreprise destinée aux machines ne déclarait que 12 offres pour 25 fiches de prestation, dont plusieurs sans lien. Chaque offre y figure désormais, avec l’adresse de sa fiche.

Des liens vers les offres depuis les articles. Un robot entre souvent par un article. La quasi-totalité des nôtres renvoie aux fiches de prestation auxquelles il se rattache, pour qu’il existe un chemin de la réponse à l’offre.

Un fichier llms.txt tenu à jour automatiquement. Ce fichier reste une proposition, pas une norme, et il ne figure pas parmi nos chemins les plus demandés. Nous le gardons parce qu’il ne coûte rien, à une condition : qu’il ne contredise jamais le site. Sa liste de contenus est donc régénérée à chaque mise en ligne au lieu d’être tenue à la main.

Un fichier robots.txt relu. Nous autorisons tous les robots, mais le nôtre nomme encore des robots que la documentation actuelle d’Anthropic ne cite pas. C’est sans effet, puisque la règle par défaut autorise tout ; c’est surtout le rappel que cette liste vieillit vite.

Nous ne savons pas encore si ces changements produiront des citations. Nous referons la même mesure dans quelques mois.

Ce que nous vous conseillons#

• Lisez vos journaux robot par robot, jamais en total : un chiffre global mélange entraînement, recherche, requêtes d’utilisateurs et scanners.
• Décidez de votre fichier robots.txt par usage. Bloquer un robot d’entraînement et bloquer un robot de recherche n’ont pas les mêmes conséquences sur votre visibilité.
• Soignez ce qui est réellement lu : la page d’accueil, le plan de site, et les liens qui en partent vers vos offres.
• Ne confondez pas un nom et une identité. Protégez vos fichiers sensibles pour ce qu’ils sont, indépendamment de qui prétend les demander.
• Mesurez la citation à part, par des questions posées régulièrement aux assistants. C’est le cœur de notre méthode de suivi du référencement génératif.

Les journaux disent qui frappe à la porte. Ils ne disent pas qui parle de vous ensuite — et c’est pourtant la seule question qui compte.