Un bouton unique, quatre entreprises, un calendrier étalé jusqu'en 2027
Jusqu'ici, un éditeur de site qui voulait empêcher l'aspiration de ses articles par les robots d'intelligence artificielle devait écrire une règle distincte pour chaque crawler : GPTBot pour OpenAI, ClaudeBot pour Anthropic, Google-Extended pour Google. Le 30 octobre 2026, Google, Microsoft, OpenAI et Anthropic ont annoncé qu'ils reconnaîtront désormais une instruction commune dans le fichier robots.txt, ce petit texte qui indique aux robots où ils peuvent aller depuis les débuts du web.
Le mécanisme a été conçu par Kevin Kelley, responsable technique des normes chez Anthropic, qui l'a soumis le même jour à l'Internet Engineering Task Force (IETF), l'organisme qui rédige les règles techniques d'internet. Le principe : un site ajoute un groupe de règles dont la ligne User-Agent ne nomme plus un robot mais un usage, sous la forme du jeton __usage_ai-training. L'exemple donné par le brouillon bloque l'entraînement sur l'ensemble du site sauf sur un dossier de kit de presse.
Les quatre entreprises ne s'alignent pas sur le même calendrier. Anthropic affirme avoir « déjà commencé » à l'implémenter. OpenAI dit viser une mise en œuvre « dans les prochains mois », sans date précise. Microsoft honorera les nouvelles préférences à partir du 1er février 2027 et retirera à cette occasion ses anciennes balises NoArchive et NoCache, utilisées depuis 2023. Google vise 2027, sa documentation technique précisant même le début de l'année 2027. L'annonce intervient alors que les éditeurs de presse font face à un afflux de robots qui collectent leurs articles, et sur fond de bras de fer judiciaire : depuis décembre 2023, le New York Times accuse OpenAI et Microsoft d'avoir utilisé des millions de ses articles sans autorisation ni paiement pour entraîner ChatGPT, les deux entreprises invoquant une exception au droit d'auteur.
Ce que le jeton change, et ce qu'il ne change pas
Le nouveau signal ne porte que sur l'entraînement futur des modèles, pas sur la consultation des pages. Microsoft le précise explicitement : l'aspiration du contenu reste autorisée par défaut lorsqu'aucune préférence n'est affichée, et le réglage n'affecte pas le référencement dans les moteurs de recherche. Le brouillon lui-même insiste sur cette distinction : le jeton de politique « n'est pas une directive pour le comportement de crawl », il exprime seulement une préférence d'usage, orthogonale aux signaux de gestion du trafic.
Le dispositif est également tourné vers l'avenir uniquement. Ce qui a déjà été collecté reste dans les systèmes d'entraînement existants : rien dans le brouillon n'oblige une entreprise à retirer un contenu déjà absorbé. Et comme le relève le brouillon lui-même, il ne s'agit encore que d'une soumission individuelle à l'IETF, non adoptée par l'organisme, sans statut formel dans le processus de normalisation. Autrement dit, c'est une requête que quatre entreprises ont promis de respecter, pas une contrainte juridique. Personne n'a d'ailleurs vérifié de façon indépendante si les robots respecteront effectivement cette consigne une fois déployée. Le texte prévoit par ailleurs qu'un accord privé entre un éditeur et une entreprise d'IA peut primer sur cette préférence déclarative.
Le piège de la règle générique « User-agent: * »
Un détail technique aura des conséquences concrètes pour des millions de sites. Le brouillon précise que les groupes génériques, c'est-à-dire la règle classique « User-agent: * » que beaucoup de sites utilisent aujourd'hui pour bloquer tous les robots, ne seront jamais interprétés comme couvrant le nouveau jeton. Kelley l'a formulé sans ambiguïté : un fichier robots.txt qui n'utilise pas ce mécanisme, ce qui est le cas de tous ceux publiés aujourd'hui, n'exprime aucune préférence du tout en matière d'entraînement IA.
Concrètement, un éditeur qui croit protéger ses contenus en bloquant tout le monde avec un astérisque n'aura, aux yeux de ce nouveau système, exprimé aucun choix. Il devra ajouter explicitement le groupe portant le jeton __usage_ai-training pour que son refus soit pris en compte. L'inaction, dans ce cadre, équivaut à une absence de préférence, et non à un refus tacite.
Google et Microsoft : deux lectures différentes de la même préférence
Les quatre entreprises appliquent le signal avec des nuances qui changent la portée pratique du choix pour un éditeur.
| Entreprise | Date d'application | Couvre aussi le « grounding » (citation dans les réponses IA) | Effet sur le référencement |
|---|---|---|---|
| Anthropic | Déjà commencé, déploiement progressif | Non précisé | Aucun impact indiqué |
| OpenAI | Prochains mois, sans date fixe | Non précisé, distinct des contrôles existants de GPTBot | Aucun impact indiqué |
| Microsoft | 1er février 2027 | Non, réglage séparé pour le grounding ; un refus de grounding réduit la visibilité dans Copilot et les réponses IA | Aucun impact sur les résultats Bing |
| 2027 (début d'année selon la documentation technique) | Oui : si le jeton est utilisé sans mention explicite de Google-Extended, Google traitera cela comme un blocage complet de Google-Extended, qui couvre entraînement et grounding dans Gemini | Aucun impact sur l'inclusion dans la recherche Google |
Cette divergence est importante : chez Microsoft, un site peut refuser l'entraînement tout en conservant ses citations dans les réponses générées. Chez Google, le même refus, s'il n'est pas assorti d'une mention explicite de Google-Extended, entraîne mécaniquement une exclusion des réponses de Gemini. Un éditeur qui veut distinguer les deux usages devra donc gérer deux logiques différentes selon la plateforme.
AI Act, droit d'auteur : une préférence volontaire suffit-elle ?
Google affirme que sa démarche est cohérente avec le code de bonnes pratiques de l'Union européenne pour les modèles d'IA à usage général (GPAI) prévu par l'AI Act, ce code reconnaissant robots.txt comme le principal moyen pour les éditeurs d'exprimer des préférences lisibles par machine. C'est l'argument central mis en avant par les quatre entreprises pour présenter cette initiative comme une réponse aux attentes européennes en matière de respect des contenus protégés.
Mais plusieurs éléments invitent à la prudence avant d'y voir un instrument de conformité. D'abord, le brouillon IETF n'a aucun statut officiel : ce n'est pas une norme adoptée, seulement une soumission individuelle qui doit encore passer par le groupe de travail compétent de l'IETF avant toute finalisation éventuelle, et le texte peut être modifié, remplacé ou abandonné. Ensuite, l'adhésion reste volontaire et limitée à quatre acteurs. Meta, par la voix de son responsable de la communication Andy Stone, a salué « une étape importante » sans préciser si le groupe respecterait cette consigne, ce qui laisse en dehors du dispositif l'un des plus grands collecteurs de contenus web liés à des comptes professionnels Facebook, Instagram et WhatsApp.
Enfin, et c'est le point le plus sensible du point de vue du droit d'auteur, le mécanisme ne porte que sur l'entraînement futur. Il ne traite ni les contenus déjà aspirés, ni les litiges en cours comme celui du New York Times, qui porte précisément sur des usages passés. Un outil purement déclaratif et prospectif ne répond donc pas à la question de fond posée par les contentieux actuels : que faire des corpus déjà constitués sans consentement explicite des éditeurs ? La Commission de surveillance d'un code de bonnes pratiques peut s'appuyer sur ce signal pour l'avenir, mais il ne purge aucun passif.
Ce que cela implique pour les éditeurs et entreprises francophones
Pour un éditeur, une rédaction ou une entreprise française qui publie du contenu en ligne, l'enjeu pratique est immédiat : il ne suffit pas d'avoir un robots.txt restrictif existant pour être protégé. Il faudra ajouter activement le nouveau groupe de règles portant le jeton __usage_ai-training, faute de quoi le silence sera interprété comme une absence de préférence, ce qui revient, par défaut, à autoriser l'entraînement.
Les éditeurs devront aussi arbitrer entre deux logiques distinctes selon les plateformes : chez Microsoft, refuser l'entraînement n'empêche pas d'apparaître dans les réponses générées par Copilot, alors que chez Google, le refus par défaut emporte aussi l'exclusion des réponses de Gemini. D'autres solutions coexistent déjà en dehors de ce cadre commun : le prestataire d'infrastructure Cloudflare bloque par défaut les robots d'IA sur les nouveaux sites de ses clients depuis juillet 2025, et le standard RSL permet de faire payer les robots qui visitent les pages, deux approches plus contraignantes que ce signal purement déclaratif.
Cette question de l'opposition à l'aspiration de contenus publics pour l'entraînement ne doit pas être confondue avec celle, distincte, du traitement des données envoyées par un professionnel lors de l'usage quotidien d'outils d'IA. Les plateformes multi-modèles qui donnent accès à plusieurs fournisseurs, comme Moon AI, se situent sur cette seconde couche : certaines proposent des mécanismes de pseudonymisation, substituant des jetons aux données personnelles avant l'envoi vers les modèles tiers puis les rétablissant au retour, ce qui est une protection différente de l'opt-out d'entraînement sur contenus publiés qui fait l'objet de cette annonce.
Questions fréquentes
Le jeton robots.txt protège-t-il les contenus déjà aspirés par les IA ?
Non. Le mécanisme ne porte que sur l'entraînement futur. Ce qui a déjà été collecté par les robots reste dans les systèmes d'entraînement existants, et rien dans le brouillon n'oblige une entreprise à le retirer.
Que se passe-t-il si mon site bloque déjà tous les robots avec « User-agent: * » ?
Cette règle générique ne sera jamais interprétée comme exprimant une préférence sur l'entraînement IA dans ce nouveau système. Un éditeur doit ajouter explicitement un groupe portant le jeton __usage_ai-training pour que son refus soit pris en compte ; à défaut, aucune préférence n'est considérée comme exprimée.
Ce mécanisme a-t-il une valeur légale contraignante ?
Non. Il s'agit d'un brouillon individuel soumis à l'IETF, non adopté comme norme, sans statut formel dans le processus de normalisation. Son respect repose sur l'engagement volontaire de quatre entreprises ; Meta n'a pris aucun engagement en ce sens.
Le blocage de l'entraînement IA affecte-t-il mon référencement sur Google ou Bing ?
Microsoft et Google indiquent tous deux que ce choix n'affecte pas la présence des sites dans leurs résultats de recherche. En revanche, chez Google, un refus par défaut sans mention de Google-Extended entraîne aussi l'exclusion des réponses de Gemini, et chez Microsoft, un refus distinct du grounding réduit la visibilité dans les réponses générées par Copilot.