Économie de l’accès : exploration, indexation, apprentissage et droit de la marque de gérer sa présence

Dans l’ancienne économie du web, le fait d’autoriser un robot à accéder à un site était considéré comme un avantage presque inconditionnel. L’exploration menait à l’indexation, l’indexation à la visibilité, la visibilité au trafic, et le trafic à la publicité, à l’abonnement ou à la vente. Le schéma était grossier, mais il a fonctionné assez longtemps pour devenir presque une loi naturelle d’Internet. Les systèmes de réponse d’IA ont précisément rompu cette loi. Désormais, un même texte peut intervenir simultanément dans plusieurs chaînes : aider à produire une réponse de recherche, servir de matériau pour l’apprentissage d’un modèle, être utilisé pour « ancrer » la réponse au moment de la requête, ou être extrait à la suite d’une action directe de l’utilisateur. Ces chaînes se ressemblent sur le plan technique, mais elles diffèrent sur le plan économique. Dès lors, la question de l’accès au contenu cesse d’être binaire. Elle ne se formule plus comme « faut-il laisser passer le robot ou non ? ». Elle se décompose en une question plus difficile : « quel robot exactement sommes-nous prêts à laisser entrer, à quelle fin et à quelles conditions ? »

Pour en parler sérieusement, il faut distinguer au moins quatre régimes d’accès. Le premier est l’exploration et l’indexation au service de la visibilité dans la recherche. Le deuxième est l’utilisation du contenu pour l’apprentissage des modèles futurs. Le troisième est l’utilisation de l’index de recherche ou d’un document web pour répondre au moment de la requête, c’est-à-dire pour un « ancrage » opérationnel de la réponse. Le quatrième est l’accès au site déclenché par l’utilisateur, lorsque le système lui-même agit comme intermédiaire de la requête de l’utilisateur. Si l’on mélange ces régimes dans une même masse indistincte, la marque perd sa capacité de pilotage et commence à prendre des décisions sur la base de peurs confuses ou, à l’inverse, d’un optimisme naïf.

Google et OpenAI ont déjà, de fait, inscrit cette séparation dans leurs propres règles. Google Search Central écrit explicitement que les fonctions d’IA de la recherche — AI Overviews et AI Mode — sont régies par les mêmes règles d’accès que la recherche classique : l’agent clé reste ici Googlebot, et pour limiter la visibilité dans les fonctions de recherche d’IA, on utilise des mécanismes familiers comme nosnippet, data-nosnippet, max-snippet ou noindex [1]. En même temps, Google souligne que Google-Extended est un token distinct qui permet à l’éditeur de gérer l’utilisation du contenu pour l’apprentissage des futures générations de Gemini et pour l’ancrage dans Gemini Apps ainsi que dans certains scénarios cloud ; Google-Extended n’influe toutefois pas sur l’inclusion du site dans Google Search et ne constitue pas un signal de classement [2]. Il en découle une conclusion très importante : chez Google, la visibilité dans la recherche et l’apprentissage du modèle sont déjà dissociés au niveau institutionnel. On ne peut plus honnêtement dire « nous avons autorisé Google » ou « nous avons interdit Google » sans préciser de quel processus il s’agit exactement.

OpenAI formalise une distinction analogue de manière encore plus explicite. La documentation d’OpenAI indique que OAI-SearchBot est responsable de l’apparition des sites dans les fonctions de recherche de ChatGPT, que GPTBot sert à l’apprentissage des modèles fondamentaux, et que ChatGPT-User correspond aux actions initiées par l’utilisateur [3]. Plus encore, OpenAI précise séparément qu’un webmaster peut autoriser OAI-SearchBot afin que le site participe aux réponses de recherche, tout en interdisant GPTBot afin que le contenu ne soit pas utilisé pour l’apprentissage [3]. C’est, au fond, un nouveau droit pour l’éditeur : le droit de distinguer la visibilité utile de l’extraction indésirable de valeur.

C’est précisément sur ce terrain qu’émerge la nouvelle économie de l’accès. En 2025, Cloudflare a formulé le problème dans des termes d’une grande netteté : les anciens robots de recherche et les éditeurs étaient liés par un échange symbiotique, tandis que nombre de nouveaux bots d’apprentissage consomment du contenu tout en renvoyant à peine du trafic [4]. Selon Cloudflare, en juin 2025, Google explorait les sites environ 14 fois pour une visite renvoyée, tandis que, chez OpenAI, le ratio exploration-retour était de 1700:1, et chez Anthropic de 73 000:1 [4]. Même si l’on admet que certains accès venant d’applications peuvent ne pas être enregistrés dans l’en-tête Referer, l’asymétrie reste bien trop forte pour être considérée comme un simple bruit statistique [4]. Cela signifie que l’ancien contrat informel — « vous recevez le contenu, nous recevons l’audience » — ne fonctionne plus automatiquement dans de nombreux scénarios d’IA.

Mais c’est précisément ici que la marque risque de tomber dans un autre extrême : la tentation de l’interdiction totale. Une telle décision paraît moralement claire, mais elle n’est pas toujours raisonnable économiquement. Si l’on interdit toutes les formes d’accès, on peut non seulement exclure le site de l’apprentissage, mais aussi couper une partie des canaux de visibilité, de recherche et de vente. Il existe déjà de premiers signaux empiriques selon lesquels le blocage des bots pourrait être associé à une baisse de trafic chez les grands éditeurs par rapport à ceux qui ne bloquent pas l’accès, même si ces résultats exigent encore une interprétation prudente [5]. Le point n’est pas qu’il serait interdit de bloquer, mais que l’interdiction a cessé d’être un geste défensif neutre. Elle est devenue un choix stratégique, assorti de plusieurs scénarios de conséquences.

C’est pourquoi la position mûre d’une marque doit être différenciée. Si une entreprise veut être visible dans ChatGPT Search, tout en refusant que ses textes servent à l’apprentissage des futurs modèles, cela est déjà techniquement possible grâce à des règles séparées pour OAI-SearchBot et GPTBot [3]. Si une marque n’a rien contre sa présence dans Google Search et AI Overviews, mais ne veut pas que son contenu soit utilisé pour l’apprentissage de Gemini, cela s’exprime par la combinaison d’une autorisation accordée à Googlebot et d’une restriction appliquée à Google-Extended [1][2]. Autrement dit, le marché évolue progressivement vers un régime de réglage fin des droits d’accès, et non vers un « oui » ou « non » grossier.

Dans ce contexte, la tentative de transformer l’accès au contenu en objet de transaction présente un intérêt particulier. À l’été 2025, Cloudflare a présenté le modèle pay per crawl, dans lequel le propriétaire d’un domaine peut choisir, pour un bot donné, l’un des trois régimes : autoriser l’accès gratuitement, faire payer l’exploration ou bloquer complètement [6]. Pour l’instant, il s’agit davantage d’une expérimentation d’infrastructure que d’une norme de masse. Mais il est difficile d’en surestimer l’importance. Pour la première fois, ce modèle rend visible le fait même que l’exploration n’est plus tenue de rester un don gratuit. Si une entreprise d’IA extrait de la valeur à partir du contenu d’autrui en dehors de toute logique de retour de trafic, alors la question du prix de cet accès devient parfaitement rationnelle.

Il existe encore une autre dimension pratique du problème, dont on parle rarement dans l’espace public. De nombreux sites formalisent encore mal leurs propres règles d’interaction avec les bots. Cloudflare note qu’à peine 37% des plus grands domaines disposent d’un fichier robots.txt, et que, parmi les robots.txt existants, les interdictions visant les principaux agents d’IA restent étonnamment rares [4]. Cela signifie qu’une grande partie d’Internet est entrée dans une nouvelle époque sans avoir défini sa propre position juridique et technique. Les entreprises débattent de l’IA comme d’un problème culturel global, mais, au niveau de l’infrastructure, elles n’ont même pas encore formulé leur « oui » ou leur « non » dans un format que les machines savent lire.

Pour les marques, il ne s’agit pas d’une question abstraite de droit, mais d’une question de coût et de rôle du contenu. Certains matériaux sont créés comme des actifs marketing en vue d’une diffusion maximale. D’autres sont des actifs de recherche, dans lesquels des ressources ont été investies, et la marque peut donc vouloir limiter leur extraction gratuite. D’autres encore prennent la forme d’un catalogue commercial, où la visibilité actualisée importe avant tout. D’autres, enfin, relèvent d’une documentation de service qui ne doit être montrée que dans certains scénarios. Une stratégie moderne d’accès doit au moins distinguer ces classes et définir pour chacune d’elles des régimes différents de participation à l’environnement d’IA.

Pour ai100, le thème de l’économie de l’accès est particulièrement riche du point de vue de la recherche. Il permet de construire une base d’observation sur plusieurs couches à la fois : quels agents accèdent effectivement au site, comment robots.txt est configuré, où l’accès est autorisé, où il est restreint, comment cela se reflète dans la visibilité de la marque au sein des systèmes de réponse, et comment les volumes d’exploration se rapportent au retour effectif de trafic ou à l’intérêt commercial. Avec le temps, un tel matériau peut devenir l’un des plus précieux, parce qu’une grande partie du marché continue à discuter de l’accès de l’IA en catégories morales, et non en termes d’architecture mesurable de l’échange de valeur.

La conclusion principale est ici assez stricte. Dans le nouvel environnement, le contenu n’est déjà plus simplement un message, mais un actif doté de plusieurs canaux d’extraction de valeur. Il peut attirer un client, façonner une réponse machine, entraîner un modèle futur ou devenir une marchandise dont l’éditeur demandera tôt ou tard une compensation pour l’accès. Par conséquent, le droit de la marque de gérer sa présence n’est pas le droit de disparaître. C’est le droit de choisir dans quel régime exact sa connaissance participera à l’économie de l’IA. Et, dans les années à venir, ceux qui l’emporteront ne seront pas ceux qui s’indignent ou s’enthousiasment le plus fort, mais ceux qui construiront une politique d’accès à leur propre connaissance à la fois calme, précise et techniquement compétente.