Hugging Face crée un benchmark pour détecter l'optimisation abusive des modèles ASR

Hugging Face publie un nouveau cadre d'évaluation visant à mesurer l’optimisation abusive des modèles de reconnaissance automatique de la parole (ASR) sur des benchmarks publics.

Les benchmarks publics d’IA vocale suggèrent de plus en plus que les modèles atteignent des performances comparables à celles des humains. Pourtant, ces scores ne reflètent pas toujours leur comportement en conditions réelles. Les modèles peuvent en effet être optimisés pour des tests spécifiques, améliorant artificiellement leurs résultats en apprenant des motifs propres aux benchmarks plutôt qu’en maîtrisant la tâche sous-jacente. Pour répondre à cette limite, Hugging Face a introduit des ensembles de données réservés dans ses leaderboards Real World VoiceEQ, Open-ASR et Far-field ASR, afin d’évaluer des critères plus proches des usages pratiques.

L’équipe a développé trois tests pour quantifier ce phénomène, appelé benchmark optimization ou benchmaxxing. Elle a évalué 11 modèles ASR open source largement utilisés et constaté que certains des systèmes les mieux notés reproduisaient les transcriptions de référence des jeux de données VoxPopuli (anglais) et LibriSpeech (clean, other), même lorsque l’audio contredisait ces transcriptions, que des mots pertinents étaient supprimés ou que l’audio permettait deux transcriptions écrites différentes. Dans certains cas, les modèles semblaient s’appuyer non seulement sur le contenu verbal, mais aussi sur des indices acoustiques subtils indiquant le benchmark utilisé.

Une étude de cas sur VoxPopuli a révélé que les modèles reproduisaient souvent les erreurs de transcription présentes dans le benchmark, plutôt que de transcrire fidèlement l’audio. Pour mesurer cet écart, Hugging Face a utilisé un ensemble de modèles indépendants sélectionnés pour leur faible taux d’erreur phonémique (PER), un indicateur de la fidélité de la transcription. Les résultats ont permis d’identifier des cas où les modèles étaient en désaccord unanime avec la transcription de référence du benchmark. Une validation humaine a confirmé que ces transcriptions alternatives étaient plus fidèles à l’audio.

Ces travaux soulignent que les benchmarks traditionnels ne suffisent pas à garantir la robustesse des modèles ASR en situation réelle. Les nouvelles méthodes proposées par Hugging Face visent à corriger ce biais en introduisant des évaluations plus exigeantes et moins vulnérables à l’optimisation abusive.