NVIDIA Magpie TTS permet des agents vocaux multilingues avec latence optimisée

NVIDIA dévoile Magpie TTS, un modèle de synthèse vocale multilingue à poids ouverts, conçu pour réduire la latence dans les agents vocaux tout en offrant un contrôle total sur le déploiement.

Magpie TTS se distingue par son approche modulaire, permettant aux développeurs de déployer des agents vocaux multilingues directement sur leur infrastructure. Le modèle prend en charge 12 langues, dont l’arabe moderne standard, le coréen et le portugais brésilien, avec des améliorations de qualité pour plusieurs autres grâce à des données d’entraînement mises à jour. Contrairement aux solutions intégrées, Magpie TTS offre des poids ouverts, ce qui autorise une personnalisation fine des voix, des prononciations et une optimisation de la latence selon les besoins spécifiques d’une application.

Le modèle s’intègre dans une architecture en cascade, où chaque composant (ASR, TTS, LLM) reste indépendant et déployable séparément. Cette approche permet de maîtriser chaque étape du pipeline vocal, depuis la capture audio jusqu’à la génération de réponse, en passant par la transcription et l’inférence du modèle de langage. Les développeurs peuvent ainsi ajuster les paramètres pour respecter des contraintes de latence strictes, tout en garantissant une expérience utilisateur fluide et naturelle.

Magpie TTS est livré avec des poids ouverts et une compatibilité avec NVIDIA NIM, facilitant son intégration dans des environnements de production. Les cas d’usage visés incluent les assistants vocaux d’entreprise, les agents de support client, les systèmes de traduction automatique et les applications d’IA conversationnelle nécessitant une interaction multilingue à faible latence.