NVIDIA dévoile Cosmos-H-Dreams pour des simulations chirurgicales robotisées en temps réel

NVIDIA annonce Cosmos-H-Dreams, un simulateur génératif en temps réel dédié à la robotique chirurgicale, conçu pour évaluer et entraîner des politiques d'action vision-langage sans recourir à des plateformes physiques coûteuses ou risquées.

Le modèle repose sur une distillation des capacités de Cosmos-H-Surgical-Simulator, un modèle de fondation entraîné sur le jeu de données Open-H-Embodiment. Contrairement aux simulateurs classiques qui modélisent manuellement chaque interaction (tissus déformables, instruments fins, surfaces spéculaires, fumées, occlusions), Cosmos-H-Dreams génère des séquences vidéo prédictives à partir d’une image initiale et d’une trajectoire robotique. Cette approche permet de reproduire des scénarios chirurgicaux complexes sans dépendre de la lenteur ou des risques des environnements réels.

Pour atteindre des performances interactives, NVIDIA utilise FlashDreams, une bibliothèque d’inférence accélérée par streaming. Exécuté sur une seule carte NVIDIA RTX PRO 6000, Cosmos-H-Dreams permet un contrôle en boucle fermée, que ce soit par un opérateur humain ou une politique d’IA apprise. Le modèle spécialisé pour le da Vinci Research Kit (dVRK) en sutures sur tabletop illustre cette adaptation ciblée.

Les applications directes incluent l’évaluation accélérée de politiques robotiques et la génération de données synthétiques, sans nécessiter de répétitions physiques. Cosmos-H-Dreams s’inscrit dans une démarche de simulation générative causale, où la distillation du modèle enseignant réduit le nombre d’étapes nécessaires pour produire des prédictions fiables en temps réel.