Shippy et VoiceEQ : fiabilité des agents IA et évaluation de la qualité vocale

L’équipe d’AllenAI détaille les défis de fiabilité rencontrés lors du déploiement de Shippy, un agent IA dédié à la surveillance maritime en temps réel, et présente VoiceEQ, une méthode pour mesurer la qualité vocale des assistants synthétiques.

Shippy est un agent conçu pour assister des analystes maritimes dans des décisions à enjeux élevés, où une erreur peut entraîner des coûts opérationnels ou des risques humains. Contrairement à des systèmes statiques, Shippy s’appuie sur des données en continu — signaux satellites et positions des navires — pour fournir des réponses vérifiables. Chaque réponse inclut la source des données, la date de la requête et un lien vers la carte Skylight, permettant à l’analyste de confirmer chaque information. La fiabilité repose donc sur la capacité du système à rester dans ses limites opérationnelles et à maintenir une cohérence face à des flux de données dynamiques.

L’architecture de Shippy repose sur trois composants : l’âme (soul), les compétences (skills) et la configuration (config). L’âme définit la persona et les limites comportementales via un prompt système. Les compétences, décrites dans des fichiers Markdown structurés, couvrent des tâches spécifiques comme l’interrogation de l’API Skylight pour les événements maritimes ou la génération de liens vers des cartes interactives. La configuration, quant à elle, gère les paramètres d’exécution (modèle de langage utilisé, framework comme OpenClaw), tout en isolant les secrets (clés API) pour faciliter les mises à jour sans reconstruire l’image Docker. Cette séparation permet de faire évoluer Shippy — modèle ou framework — par simple modification de configuration.

Parallèlement, AllenAI introduit VoiceEQ, un cadre d’évaluation conçu pour mesurer la qualité vocale des assistants IA dans des conditions réelles. Contrairement aux métriques classiques centrées sur la similarité acoustique, VoiceEQ intègre des critères liés à l’expérience utilisateur, comme la clarté, la naturalité perçue ou la capacité à transmettre des informations complexes. L’objectif est de fournir une évaluation qui reflète l’usage concret des voix synthétiques, au-delà des benchmarks techniques traditionnels.

Ces deux initiatives illustrent une approche pragmatique de l’IA opérationnelle : la fiabilité ne se limite pas à la performance du modèle, mais dépend aussi de l’architecture du système, de la transparence des données et de l’adéquation avec les besoins métiers. Pour VoiceEQ, l’accent est mis sur l’expérience utilisateur, une dimension souvent négligée dans les évaluations techniques.