IBM Research expose les limites du routage de modèles dans les systèmes agentiques

IBM Research détaille dans un billet technique les défis concrets du routage de modèles dans les systèmes agentiques, remettant en cause les approches simplistes basées uniquement sur le coût ou la difficulté perçue des tâches.

L’équipe d’IBM Research montre que les stratégies de routage actuelles, souvent réduites à une classification de modèles selon leur prix ou leur spécialisation, échouent à capturer la complexité des interactions entre modèles, charges de travail et infrastructures. Trois dimensions clés rendent le routage plus complexe que prévu : le coût réel, la complexité invisible des tâches et la multiplicité des contraintes opérationnelles.

Le coût ne se limite pas au tarif affiché des modèles. Les chercheurs illustrent ce point avec une comparaison entre GPT-4.1 et Claude Sonnet 4.6 sur 417 tâches via l’agent CodeAct. Malgré un prix au token inférieur pour GPT-4.1, ce dernier coûte près du double ($155 contre $79) en raison d’un taux de réutilisation du contexte (cache) bien plus faible. Claude Sonnet 4.6 bénéficie d’un coût effectif réduit grâce à des tarifs de lecture en cache avantageux, malgré un nombre de pas de raisonnement trois fois supérieur. Le routage ne peut donc ignorer l’impact des infrastructures de serving et des patterns de réutilisation des données.

La complexité des tâches n’est pas toujours identifiable avant exécution. Une requête apparemment simple, comme un résumé de contrat, peut déclencher des opérations coûteuses en arrière-plan (recherche, vérifications de conformité, appels d’outils). À l’inverse, une tâche technique peut être résolue efficacement par un modèle spécialisé de plus petite taille. Les auteurs soulignent que la difficulté réelle d’une tâche ne se révèle qu’au moment de son exécution, rendant les heuristiques de routage basées sur des estimations préalables inefficaces.

Enfin, les contraintes opérationnelles en entreprise ajoutent une couche de complexité. Les systèmes de routage doivent intégrer des règles de conformité, de résidence des données, de confidentialité et des listes de modèles approuvés. Ces exigences transforment le routage en un problème d’optimisation multi-critères, où le coût, la latence, la spécialisation et la fiabilité doivent être arbitrés en temps réel. Une approche purement technique, centrée sur les performances brutes, ignore ces dimensions systémiques.