Mistral lance Robostral Navigate, un modèle 8B pour la navigation robotique avec une simple caméra

Mistral AI présente Robostral Navigate, un modèle de 8 milliards de paramètres conçu pour permettre aux robots de naviguer de manière autonome dans des environnements complexes en utilisant uniquement une caméra RGB standard, sans capteurs de profondeur ni LiDAR.

Le modèle prend en entrée des images RGB et des instructions en langage naturel pour diriger un robot à travers un espace. Selon Mistral, Robostral Navigate atteint 76,6 % de réussite sur le benchmark R2R-CE (Room-to-Room in Continuous Environments) en validation sur des environnements non vus pendant l'entraînement. Cette performance est obtenue avec une approche matérielle plus légère que les systèmes multi-capteurs traditionnels, qui combinent généralement profondeur, LiDAR ou plusieurs caméras.

Le modèle a été développé entièrement en interne par Mistral et s'appuie sur des données générées par simulation et des techniques efficaces en termes de tokens. Robostral Navigate combine une navigation basée sur le pointage avec l'apprentissage par renforcement pour permettre une amélioration continue. Mistral indique que le modèle généralise à travers différents types de robots et s'adapte à des obstacles du monde réel non rencontrés pendant l'entraînement.

Cette approche représente une étape vers ce que Mistral qualifie d'IA incarnée unifiée en robotique, où un même modèle peut fonctionner sur plusieurs plateformes matérielles avec des capteurs minimaux.