Les entreprises investissent en IA sans maîtriser leurs coûts ni la fiabilité de leurs données

Les entreprises accélèrent leurs dépenses en infrastructure IA sans disposer des outils pour en mesurer ou contrôler les coûts, révèle une enquête de VentureBeat auprès de 107 organisations. Seulement 21 % d’entre elles exécutent des charges de travail IA à l’échelle en production, tandis que la majorité achètent du matériel spécialisé qu’elles n’utilisent presque pas aujourd’hui. Les décisions d’achat se basent sur l’intégration et le coût total de possession plutôt que sur le prix affiché par token, mais 44 % ne parviennent pas à suivre rigoureusement le coût réel de leur calcul IA. Les GPU affichent une utilisation inférieure ou égale à 50 % pour 83 % des répondants, illustrant un déséquilibre entre investissement et optimisation.

Les infrastructures existantes fonctionnent à perte : 83 % des entreprises rapportent une utilisation des GPU à 50 % ou moins, et moins de la moitié (44 %) peuvent évaluer précisément le coût de leur calcul IA. Pourtant, 64 % prévoient de changer ou d’ajouter un fournisseur d’infrastructure dans les douze prochains mois, dont 38 % dans le trimestre à venir. Les critères de choix portent sur l’intégration avec les outils existants (41 %) et le coût total de possession (35 %), loin devant le prix par million de tokens (8 %). La transition vers des besoins en bande passante mémoire pour l’inférence, plutôt qu’en puissance GPU, reste méconnue pour une majorité d’entreprises.

Parallèlement, les entreprises peinent à garantir la fiabilité du contexte fourni à leurs agents IA. 57 % ont déjà constaté des réponses erronées mais présentées avec confiance, imputables à des données manquantes ou incohérentes. La génération augmentée par récupération (RAG) est la source de contexte dominante (38 %), devant les bases de données vectorielles dédiées. Les couches sémantiques gouvernées, censées corriger ces erreurs, ne sont pas encore déployées en production pour la majorité des organisations. Les outils natifs des fournisseurs (comme OpenAI File Search ou Google Vertex AI Search) dominent déjà le marché, mais 36 % des entreprises souhaitent conserver des solutions tierces spécialisées, créant une tension entre pratique et préférence déclarée.