Hugging Face et NVIDIA lancent NeMo AutoModel pour accélérer le fine-tuning des transformers

Hugging Face et NVIDIA annoncent NeMo AutoModel, une intégration permettant d’accélérer le fine-tuning des modèles de type Mixture-of-Experts (MoE) via une optimisation conjointe entre les bibliothèques Transformers v5 de Hugging Face et NeMo de NVIDIA.

Cette solution cible les développeurs qui fine-tunent des modèles MoE, une architecture désormais dominante pour les modèles de pointe. L’intégration repose sur des fonctionnalités spécifiques de Transformers v5, comme les backends experts, le chargement dynamique des poids et l’exécution distribuée, combinées aux optimisations de NeMo AutoModel : Expert Parallelism, le dispatch all-to-all fusionné DeepEP, et les noyaux TransformerEngine. Le résultat est une amélioration mesurable de la performance : entre 3,4x et 3,7x plus de débit d’entraînement et une réduction de 29 % à 32 % de la mémoire GPU lors du fine-tuning de modèles MoE, le tout en conservant la même API from_pretrained().

Le gain provient principalement de l’optimisation des opérations centrales liées aux experts. NeMo AutoModel exploite le chargement dynamique des poids introduit par Transformers v5 pour éviter de modifier les checkpoints, tout en ajoutant des mécanismes comme DeepEP qui superposent la communication des tokens entre experts avec leur calcul. Les modèles fine-tunés via cette intégration restent compatibles avec les outils existants comme vLLM ou SGLang, car les checkpoints générés par save_pretrained() restent au format standard de Hugging Face.

Cette annonce s’inscrit dans un contexte où les modèles MoE, malgré leur efficacité en termes de paramètres actifs, posent des défis techniques majeurs : routage des tokens entre centaines d’experts, fusion des multiplications matricielles, et parallélisation des poids sur plusieurs GPU. L’intégration NeMo AutoModel vise à rendre ces opérations plus accessibles en s’appuyant sur une API existante, sans nécessiter de refactorisation du code existant.