Mistral lance Robostral Navigate, un modèle 8B pour la navigation robotique en vision monoculaire

Mistral AI présente Robostral Navigate, un modèle de langage de 8 milliards de paramètres conçu pour permettre à des robots de naviguer dans des environnements complexes avec une seule caméra RGB, sans capteurs de profondeur ni LiDAR.

Ce modèle atteint un taux de réussite de 76,6 % sur le benchmark R2R-CE (Room-to-Room in Continuous Environments), un résultat obtenu sur des environnements non vus lors de l'entraînement. Contrairement aux approches traditionnelles qui combinent plusieurs capteurs (caméras, LiDAR, capteurs de profondeur) pour améliorer la précision, Robostral Navigate repose uniquement sur une caméra standard et des instructions en langage naturel. Le modèle a été développé entièrement en interne, en utilisant des données simulées et des techniques d'optimisation token-efficaces, ce qui lui permet de généraliser à différents types de robots et de s'adapter à des obstacles non rencontrés pendant l'entraînement.

Robostral Navigate intègre deux mécanismes principaux : une navigation basée sur des points de repère et un apprentissage par renforcement pour affiner en continu ses performances. L'objectif affiché est de contribuer à un cadre unifié pour l'IA incarnée (embodied AI) en robotique, où un même modèle pourrait être déployé sur différentes plateformes sans nécessiter de capteurs supplémentaires.