NVIDIA Cosmos-H-Dreams : un simulateur génératif en temps réel pour la robotique chirurgicale

NVIDIA présente Cosmos-H-Dreams, un simulateur génératif en temps réel conçu pour la robotique chirurgicale, reposant sur des modèles de fondation et une distillation de capacités.

Cosmos-H-Dreams s’appuie sur Cosmos-H-Surgical-Simulator, un modèle de fondation conditionné par les actions et entraîné sur le jeu de données Open-H-Embodiment. Ce dernier génère des vidéos prédisant les conséquences visuelles d’une séquence d’actions robotiques à partir d’une image initiale, facilitant l’évaluation hors ligne de politiques et la génération de données synthétiques. Cosmos-H-Dreams en est une version optimisée pour le temps réel, spécialisée pour le système da Vinci Research Kit (dVRK) et des tâches comme la suture sur table.

Le passage à l’interactivité repose sur une distillation causale du modèle original, réduisant le nombre d’étapes nécessaires à la génération. Cette approche inclut un warmup causal et une self-forcing distillation, permettant d’obtenir un modèle étudiant plus léger tout en conservant les capacités prédictives. Le simulateur est servi via FlashDreams, une bibliothèque d’inférence accélérée de NVIDIA, et fonctionne sur une seule carte NVIDIA RTX PRO 6000.

L’objectif est de permettre un contrôle en boucle fermée, où un opérateur humain ou une politique d’IA peut interagir avec l’environnement simulé en temps réel. Cette avancée vise à surmonter les limites des simulateurs conventionnels, notamment la modélisation complexe des tissus déformables, des interactions fines avec les instruments, des surfaces réfléchissantes ou encore des occlusions, difficiles à reproduire avec des méthodes traditionnelles.

NVIDIA positionne Cosmos-H-Dreams comme une étape vers une IA physique chirurgicale en boucle fermée, où les politiques d’IA pourraient être entraînées et évaluées directement dans des environnements simulés avant d’être déployées sur des plateformes physiques.