Hugging Face rend vLLM aussi rapide que les implémentations natives avec son backend transformers

Hugging Face a intégré vLLM comme backend natif pour ses modèles, permettant aux développeurs d'exécuter des modèles de la plateforme directement dans vLLM sans perte de performance. Cette intégration, annoncée le 8 juillet 2026, signifie que les implémentations transformers atteignent désormais une vitesse égale ou supérieure aux implémentations natives de vLLM pour de nombreuses architectures.

La transformers library est devenue la référence pour la modélisation en machine learning, supportant plus de 450 architectures via des APIs cohérentes. Jusqu'à présent, les modèles devaient être portés manuellement vers vLLM pour bénéficier de ses optimisations d'inférence (batching continu, kernels d'attention personnalisés). Avec ce nouveau backend, les auteurs de modèles peuvent automatiquement exploiter les implémentations transformers pour obtenir une inférence ultra-rapide sans travail supplémentaire.

Hugging Face a testé le backend transformers de vLLM contre les implémentations natives sur trois modèles Qwen3 très différents : un modèle dense 4B sur GPU unique, un 32B dense avec parallélisme tensoriel, et un mélange d'experts 235B-paramètre FP8 avec parallélisme données et experts sur 8 GPUs H100. Le résultat montre que le backend transformers égale ou surpasse le débit natif dans tous les cas. L'activation du backend ne demande qu'un seul flag — --model-impl transformers — et se compose avec les options de parallélisme existantes, sans modification de l'infrastructure de déploiement.

La mise à jour nécessite d'upgrader le paquet vllm via pip. Une limitation actuelle concerne les modèles utilisant l'attention linéaire, non encore supportés mais prévus dans les versions futures. Les modèles personnalisés dont le code réside dans un repo Hub risquent de ne pas fonctionner s'ils n'ont pas été écrits en conformité avec les standards.