OpenAI, Google, Microsoft et Anthropic ont accepté de soutenir une nouvelle méthode permettant aux propriétaires de sites web d’empêcher l’utilisation de leurs contenus pour entraîner des modèles d’intelligence artificielle. Les entreprises soutiennent un signal de refus commun, intégré au fichier robots.txt d’un site, qui indique aux robots d’exploration si les contenus peuvent être utilisés pour l’entraînement.
À l’image d’une bibliothèque d’Alexandrie moderne, Internet constitue la plus grande source de connaissances humaines existante. D’innombrables personnes ont consacré leur vie à cataloguer et à mettre en ligne l’histoire de l’humanité, au bénéfice de tous.
Mais les entreprises d’IA représentent une menace potentiellement explosive pour cet équilibre. Pour entraîner leurs modèles et améliorer leurs capacités, elles récupèrent régulièrement des données dans tous les recoins d’Internet afin de constituer leurs bases d’entraînement. Avec l’évolution des moteurs de recherche et des habitudes de consultation, l’IA risque également de devenir le principal point d’accès à l’information.
Pourtant, posséder un site web ne signifie pas accepter que des robots récupèrent constamment ses contenus, afin que les internautes puissent trouver les réponses ailleurs.
Heureusement, les propriétaires de sites ne sont pas seuls. Le mécontentement des internautes et des éditeurs a encouragé le développement de méthodes destinées à empêcher les entreprises d’IA de collecter leurs données.
Comme plusieurs tranches de gruyère superposées, ces méthodes fonctionnent mieux lorsqu’elles sont utilisées ensemble. Certains robots malveillants parviendront néanmoins à passer entre les mailles du filet. Voici quelques solutions pour tenir à distance les robots qui respectent les règles.
1. Le fichier robots.txt
Le fichier robots.txt constitue le cœur de la méthode soutenue par OpenAI pour respecter les restrictions de scraping. Ce fichier texte se trouve à la racine d’un site web et fournit des indications sur le comportement attendu des robots. Il peut notamment servir de carte numérique aux moteurs de recherche et éviter que les serveurs soient surchargés par leurs requêtes.
En ajoutant simplement quelques caractères à ce fichier, il est possible de bloquer une grande partie du trafic automatisé. Malheureusement, cela ne fonctionne qu’avec les robots qui respectent réellement les instructions du fichier robots.txt.
OpenAI a créé un précédent pour les autres entreprises d’IA en déclarant : « Les autres fournisseurs d’IA sont également encouragés à respecter ce signal. »
Il existe plusieurs façons de gérer les robots autorisés à accéder à un site. Pour bloquer le trafic des robots d’IA, voici les étapes présentées dans l’article d’origine.
- Ouvrir le fichier robots.txt du site, ou en créer un avec un éditeur de texte s’il n’existe pas.
- Ajouter une section avec le commentaire # AI crawlers.
- Pour bloquer les robots d’exploration, ajouter la ligne Disallow: / sous la directive appropriée.
- Pour cibler un robot particulier, comme celui de ChatGPT, placer User-agent: ChatGPT-User sur une ligne, puis Disallow: / sur la suivante.
- Pour empêcher les robots d’accéder à certaines pages, ajouter leur adresse après le /. Par exemple, la règle Disallow: /author/benedict-collins permet de demander aux robots de ne pas consulter cette page auteur.
- Enregistrer les modifications et mettre à jour le fichier robots.txt dans les fichiers sources du site.
2. Réserver l’accès aux utilisateurs inscrits
Une autre solution consiste à suivre l’approche envisagée par Reddit pour bloquer le trafic des IA, en obligeant tous les utilisateurs à posséder un compte pour accéder au site.
Cette méthode permet de distinguer plus facilement les visiteurs humains des robots. Les comptes doivent généralement être vérifiés au moyen d’une adresse e-mail ou d’un numéro de téléphone, ce dont disposent principalement les humains.
Mais cette approche comporte également des inconvénients, comme Reddit le constate déjà à travers les réactions de ses utilisateurs.
Ne pas imposer de compte facilite la navigation des internautes. Ils peuvent trouver les informations recherchées sans obstacle et sans transmettre leurs données personnelles à un site supplémentaire.
À l’inverse, obliger les visiteurs à se connecter ou à créer un compte peut augmenter le taux de rebond. Certains internautes ouvrent une page, constatent qu’une inscription est nécessaire, puis quittent immédiatement le site pour chercher l’information ailleurs.
Cette méthode doit donc être utilisée avec prudence lorsque le trafic d’un site représente un enjeu important.
3. Limiter les adresses IP
Les robots d’IA peuvent parfois accéder massivement à un site web depuis une seule adresse IP.
Des services tiers proposent des solutions pour empêcher les serveurs d’être submergés par un grand nombre de requêtes rapprochées. Ces protections peuvent toutefois être payantes.
Cette méthode permet de définir des limites temporaires pour les adresses IP identifiées comme générant du trafic automatisé.
Par exemple, lorsqu’une même adresse envoie de nombreuses demandes d’accès, les paramètres peuvent être ajustés pour n’autoriser que cinq requêtes sur une période de dix secondes.
Attention toutefois, certains robots d’IA et outils de scraping utilisent des adresses IP tournantes. Ils passent d’une adresse à l’autre pour contourner les blocages appliqués à une seule IP.
4. Les CAPTCHA
Les CAPTCHA constituent une méthode de vérification humaine un peu ancienne, que beaucoup d’internautes apprécient autant qu’ils la détestent.
Compter des bus ou des vélos sur une image, ou replacer une pièce de puzzle au bon endroit, peut sembler anodin. Mais certaines personnes considèrent ces vérifications comme un rituel humiliant destiné à prouver leur humanité.
Pire encore, certains modèles d’IA deviennent suffisamment performants pour résoudre eux-mêmes les CAPTCHA.
Ces contrôles peuvent néanmoins limiter les tentatives répétées de scraping et bloquer les robots d’IA les moins sophistiqués.
Mais ils risquent également de faire fuir des visiteurs. C’est notamment le cas des internautes particulièrement méfiants envers les attaques ClickFix, qui pourraient interpréter un CAPTCHA compliqué comme une tentative de piratage de leur appareil.
Ces différentes méthodes doivent donc être utilisées avec précaution. Elles représentent une arme à double tranchant : elles peuvent empêcher les robots d’IA de collecter des données, mais aussi dégrader l’expérience des véritables utilisateurs.
- ChatGPT et Perplexity deviennent pour la première fois certains des sites les plus scrapés du Web
- Google stagne, l’IA avance : la bataille de la visibilité a commencé
- Il y a de fortes chances qu’Adobe utilise vos contenus pour entraîner son IA
