Mistral lance Robostral Navigate, un modèle 8B pour la navigation robotique avec une simple caméra
- 01Robostral Navigate est un modèle 8B qui permet la navigation robotique autonome avec une seule caméra RGB, sans capteurs de profondeur ni LiDAR.
- 02Le modèle atteint 76,6 % de réussite sur le benchmark R2R-CE en environnements non vus pendant l'entraînement.
- 03Développé par Mistral avec simulation et apprentissage par renforcement, il généralise à différents types de robots et s'adapte aux obstacles réels.
Mistral AI présente Robostral Navigate, un modèle de 8 milliards de paramètres conçu pour permettre aux robots de naviguer de manière autonome dans des environnements complexes en utilisant uniquement une caméra RGB standard, sans capteurs de profondeur ni LiDAR.
Le modèle prend en entrée des images RGB et des instructions en langage naturel pour diriger un robot à travers un espace. Selon Mistral, Robostral Navigate atteint 76,6 % de réussite sur le benchmark R2R-CE (Room-to-Room in Continuous Environments) en validation sur des environnements non vus pendant l'entraînement. Cette performance est obtenue avec une approche matérielle plus légère que les systèmes multi-capteurs traditionnels, qui combinent généralement profondeur, LiDAR ou plusieurs caméras.
Le modèle a été développé entièrement en interne par Mistral et s'appuie sur des données générées par simulation et des techniques efficaces en termes de tokens. Robostral Navigate combine une navigation basée sur le pointage avec l'apprentissage par renforcement pour permettre une amélioration continue. Mistral indique que le modèle généralise à travers différents types de robots et s'adapte à des obstacles du monde réel non rencontrés pendant l'entraînement.
Cette approche représente une étape vers ce que Mistral qualifie d'IA incarnée unifiée en robotique, où un même modèle peut fonctionner sur plusieurs plateformes matérielles avec des capteurs minimaux.
Articles liés
Mistral lance Robostral Navigate, un modèle 8B pour la navigation robotique en vision monoculaire
Découvrez comment un modèle léger de Mistral atteint 76,6 % sur R2R-CE sans capteurs de profondeur ni LiDAR.
Mistral enrichit son offre avec OCR 4, des modèles physiques et un outil de navigation robotique
Découverte des nouveaux outils de Mistral pour l'analyse de documents, la modélisation physique et la navigation robotique, avec des performances et des fonctionnalités inédites.
Microduck, un robot humanoïde open source de 25 cm à 399 $
Pour les passionnés de robotique, cette vidéo met en avant des innovations récentes dans le domaine des robots humanoïdes.