L'écart d'évaluation des agents IA en entreprise : autonomie sans assurance fiable

Une enquête de VentureBeat révèle que la moitié des entreprises ont déployé des agents IA validés par leurs évaluations internes avant qu’ils ne provoquent un échec client. Pourtant, seulement 5 % des organisations font entièrement confiance à ces tests automatisés pour garantir la fiabilité des agents en production.

L’étude, menée auprès de 157 entreprises comptant au moins 100 employés, montre que l’écart entre l’autonomie accordée aux agents et la confiance dans les évaluations s’élargit. Deux tiers des organisations (66 %) autorisent déjà, ou prévoient d’ici douze mois, le déploiement automatisé d’agents sans supervision humaine pour des tâches jugées à faible risque. Pourtant, 29 % des répondants citent comme principale faiblesse des évaluations leur manque d’alignement avec les résultats réels, et seulement 5 % déclarent leur faire une confiance totale. Les outils d’évaluation utilisés sont majoritairement ceux fournis par les éditeurs de modèles (17 %) ou aucun outil dédié (17 %), tandis qu’un quart des entreprises seulement effectuent des vérifications qualité en temps réel sur le trafic de production.

Les conséquences de cet écart se matérialisent dans les incidents clients. La moitié des organisations (50 %) ont déjà déployé un agent ou une fonctionnalité basée sur un grand modèle de langage (LLM) ayant passé leurs évaluations internes, avant qu’il ne provoque une défaillance en face d’un client. Un quart de ces entreprises rapportent avoir connu cette situation à plusieurs reprises au cours de l’année écoulée. Parmi les autres répondants, 36 % n’ont pas enregistré d’échec similaire, tandis que 8 % n’effectuent aucune évaluation pré-déploiement et 6 % ne disposent pas de données suffisantes pour identifier la cause racine des problèmes.

L’enquête souligne également que les évaluations actuelles ne couvrent pas les risques spécifiques aux agents IA. Les plateformes utilisées se concentrent sur des métriques techniques ou des benchmarks standards, sans toujours refléter les comportements émergents ou les interactions complexes propres aux agents autonomes. Les entreprises qui déploient ces agents sans filet humain s’appuient donc sur des tests dont la pertinence opérationnelle reste limitée, augmentant le risque d’incidents imprévus en conditions réelles.