NVIDIA NeMo Automodel et Hugging Face Diffusers s’allient pour le fine-tuning vidéo et image

NVIDIA et Hugging Face annoncent une intégration entre NVIDIA NeMo Automodel et Hugging Face Diffusers pour entraîner à grande échelle des modèles de génération vidéo et image sans conversion de checkpoint ni réécriture de code.

Cette collaboration permet d’utiliser directement des modèles hébergés sur Hugging Face Hub dans NeMo Automodel, une bibliothèque open source basée sur PyTorch et DTensor. Les modèles compatibles incluent des références comme FLUX.1-dev pour le texte vers image, ou Wan 2.1 et HunyuanVideo pour le texte vers vidéo. Les checkpoints entraînés peuvent être réutilisés dans l’écosystème Diffusers sans modification, garantissant une compatibilité totale entre les deux outils.

Le workflow de fine-tuning repose sur quatre étapes clés : le pré-encodage du jeu de données, le lancement de l’entraînement via un fichier YAML existant (comme celui de FLUX), la génération d’images ou vidéos à partir du checkpoint affiné, et l’évaluation des performances. La configuration permet une parallélisation flexible, adaptable d’une à plusieurs centaines de GPU sans réécrire le code. Les exemples de fine-tuning disponibles couvrent aussi bien des ajustements complets que des méthodes comme LoRA.

L’intégration est documentée dans le guide de formation de Diffusers et distribuée sous licence Apache 2.0. Elle cible les chercheurs et développeurs confrontés à des besoins de mémoire optimisée, de mise en cache latente et de gestion multi-résolutions.