Le routage dynamique de modèles d'IA révèle des défis systémiques selon Hugging Face et IBM

Un article publié par Hugging Face et des chercheurs d’IBM Research met en lumière les limites du routage dynamique de modèles d’IA, une technique censée optimiser les coûts et les performances des systèmes multi-modèles.

L’analyse souligne que les approches actuelles réduisent souvent le routage à un problème de classification, où un modèle est sélectionné en fonction de critères comme le prix ou la complexité apparente d’une tâche. Pourtant, les auteurs démontrent que cette vision simplifiée ignore des facteurs systémiques critiques. Trois dimensions rendent le routage bien plus complexe qu’anticipé : le coût réel des modèles, la définition de la complexité des tâches, et la latence dans des environnements multi-modèles.

Le coût d’un modèle ne se limite pas à son prix affiché. Les tests menés sur 417 tâches du AppWorld Test Challenge révèlent que Claude Sonnet 4.6 a été moins cher à exécuter que GPT-4.1, malgré un prix de token inférieur pour ce dernier. La différence s’explique par l’efficacité du cache : Sonnet a bénéficié de taux de réutilisation de contexte élevés, réduisant drastiquement ses coûts réels. Les auteurs insistent sur l’importance de prendre en compte l’interaction entre le modèle, la charge de travail et l’infrastructure de serveurs, plutôt que de se fier uniquement aux grilles tarifaires.

La complexité d’une tâche n’est pas toujours identifiable avant son exécution. Une requête apparemment simple, comme la synthèse d’un contrat, peut nécessiter des étapes de récupération, de vérification de conformité ou d’utilisation d’outils, tandis qu’un prompt technique complexe peut être traité efficacement par un modèle spécialisé plus petit. Les systèmes de routage doivent donc gérer des signaux multiples : coût, latence, spécialisation, fiabilité, mais aussi des contraintes d’entreprise comme la conformité, la résidence des données ou les listes de modèles approuvés. Ces exigences rendent le routage moins une question de classification qu’un problème d’optimisation systémique.

Les auteurs concluent que les solutions de routage actuelles, souvent basées sur des heuristiques ou des classifieurs, peinent à capturer cette complexité. Elles risquent de sous-optimiser les coûts ou les performances si elles ne considèrent pas l’ensemble des interactions entre les modèles, les tâches et l’environnement d’exécution.