FFASR Leaderboard : nouveau benchmark pour l'ASR en conditions réelles

Le FFASR Leaderboard, premier benchmark open et communautaire, évalue désormais les modèles de reconnaissance automatique de la parole (ASR) dans des conditions acoustiques réalistes, loin des scénarios contrôlés des benchmarks traditionnels.

Ce benchmark, développé par Treble Technologies et Hugging Face, simule 14 pièces aux propriétés acoustiques variées pour tester les modèles face à des défis comme la réverbération, le bruit de fond ou la distance entre le locuteur et le microphone. Contrairement aux évaluations classiques en champ proche (near-field), qui reposent sur des enregistrements propres et proches, le FFASR Leaderboard intègre des mesures en champ lointain (far-field) avec des rapports signal/bruit (SNR) faibles. Les résultats montrent déjà un écart significatif : pour tous les modèles soumis, le taux d'erreur de mots (WER) en far-field à bas SNR est plusieurs fois supérieur à celui mesuré en near-field sur le même contenu vocal.

La méthodologie repose sur une hybridation entre simulations basées sur des ondes et validations réelles, avec des scénarios incluant des sources mobiles et des données audio réservées à l'évaluation. Chaque soumission est évaluée selon deux critères : la précision (WER) et la rapidité (RTFx), permettant de visualiser le compromis performance/vitesse via des courbes de front de Pareto. Les données sont standardisées grâce à un matériel d'évaluation commun à toutes les soumissions, garantissant une comparabilité directe.

Les organisateurs invitent la communauté à soumettre des modèles, analyser les résultats et contribuer à l'évolution du benchmark. Les prochaines étapes incluent l'ajout de scénarios multi-locuteurs, le support des réseaux de microphones et l'intégration de l'annulation d'écho, afin de refléter des cas d'usage toujours plus complexes comme les assistants vocaux en environnement bruyant ou les systèmes de transcription en salle de conférence.