Hugging Face intègre l'hindi et l'anglais indien à son classement ASR open

Hugging Face ajoute les jeux de données Monsoon en-IN et Monsoon hi-IN à son classement Open ASR Leaderboard, marquant la première intégration d’une langue du Sud global.

Le classement Open ASR Leaderboard d’Hugging Face, dédié à l’évaluation des modèles de reconnaissance vocale (ASR), s’enrichit de deux nouveaux jeux de données conçus pour refléter la diversité linguistique et démographique de l’Inde. Ces ensembles, Monsoon en-IN (anglais indien) et Monsoon hi-IN (hindi), couvrent respectivement 4 888 locuteurs répartis en quatre splits (publics et privés), avec 12 attributs par locuteur incluant l’âge, le genre, la géographie ou encore l’accent. Leur objectif est de pallier les biais identifiés dans les benchmarks existants, où les erreurs d’ASR ne sont pas uniformément réparties selon les populations.

Ces jeux de données ont été construits pour varier selon neuf axes : géographie, âge, genre, vocabulaire, appareils utilisés, environnements acoustiques, type de discours, débit de parole et existence de transcriptions multiples pour un même audio. Cette approche permet de mesurer les performances des modèles au-delà d’un simple score global de taux d’erreur de mots (WER), souvent insuffisant pour capturer les disparités entre groupes de locuteurs. Les splits publics sont accessibles pour des auto-évaluations, tandis que les splits privés sont réservés à l’évaluation officielle afin d’éviter les optimisations spécifiques au benchmark.

L’ajout de l’hindi, langue parlée par plus de 500 millions de personnes, comble un vide dans le classement actuel, majoritairement centré sur des langues européennes. Cette initiative s’inscrit dans une démarche plus large visant à rendre les évaluations ASR plus représentatives et moins sujettes aux biais, notamment ceux liés à l’accent, au genre ou à l’âge, déjà documentés dans des études antérieures.