Cloudflare bloque par défaut les crawlers d'IA mixtes à partir de septembre 2026

Cloudflare impose aux entreprises d'IA une séparation stricte entre leurs crawlers de recherche et ceux dédiés à l'entraînement, sous peine de blocage automatique. À partir du 15 septembre 2026, la plateforme appliquera par défaut le blocage des crawlers « mixtes » sur les pages hébergeant de la publicité, une mesure qui affectera les nouveaux clients Cloudflare, les nouveaux sites des clients existants et tous les clients gratuits actuels.

Cette décision répond à une tension croissante entre éditeurs et entreprises d'IA. Cloudflare souligne que la plupart des propriétaires de sites souhaitent que leur contenu soit découvrable via la recherche et les services d'IA, mais veulent protéger leur propriété intellectuelle contre une utilisation gratuite. Le blocage cible spécifiquement les crawlers qui mélangent recherche, services d'agent et entraînement de modèles. Cloudflare pointe du doigt le plus grand moteur de recherche au monde — implicitement Google — qui bénéficierait d'un accès à environ deux fois plus d'informations que les autres entreprises d'IA, car ses clients restent découvrables dans la recherche sans consentir à l'utilisation pour l'IA. Google propose toutefois Google Extended, un bot permettant aux propriétaires de sites d'exclure leur contenu de l'entraînement et des services d'IA comme Gemini Apps, sans impact sur leur présence dans Google Search.

Matthew Prince, co-fondateur et PDG de Cloudflare, justifie cette accélération par un contexte inédit : le trafic non-humain (bots) a dépassé le trafic humain sur Internet pour la première fois, un seuil qu'on n'attendait pas avant 2027. « Maintenant que la majorité du trafic sur Internet est non-humain, nous devons aller plus loin et agir plus vite pour qu'un écosystème durable émerge », a-t-il déclaré. Cloudflare affirme que ses nouveaux outils offrent aux propriétaires de sites une meilleure visibilité et des opportunités commerciales, tout en bénéficiant aux entreprises d'IA dont les bots affichent une intention claire et transparente.