X Square Robot expose sa pile logicielle pour robots autonomes généralistes
- 01X Square Robot propose une pile logicielle unifiée pour robots autonomes généralistes, intégrant données, modèle du monde et modèle d’action.
- 02La collecte de données repose sur des humains équipés de pinces, avec un contrôle qualité en boucle fermée pour valider les interactions.
- 03Le modèle du monde WALL-WM segmente les comportements en événements sémantiques plutôt qu’en tranches temporelles fixes.
X Square Robot, une entreprise chinoise spécialisée dans l’IA incarnée, propose une pile logicielle unifiée pour développer des robots autonomes généralistes, en s’appuyant sur trois principes clés : l’intégration des données d’interaction, la modélisation des événements physiques et la combinaison de données humaines et robotiques à moindre coût.
L’approche de X Square Robot repose sur une architecture en couches qui lie données, modèle du monde et modèle d’action. Contrairement aux systèmes robotiques traditionnels, segmentés en modules distincts (perception, planification, contrôle), la pile proposée intègre ces fonctions via un ensemble de principes directeurs. Le premier principe considère une interaction réussie comme unité de base des données robotiques, et non une simple trajectoire. Le second exige que le pré-entraînement génère des capacités utilisables dès l’origine, sans se limiter à une initialisation pour un affinage ultérieur. Le troisième modélise les comportements autour d’événements sémantiques (atteindre, saisir, poser) plutôt que de tranches temporelles fixes. Ces choix visent à rendre les couches interdépendantes, notamment en structurant les données pour alimenter à la fois le modèle du monde et le modèle d’action.
Pour collecter des données d’interaction de qualité, X Square Robot utilise QUANXTA Zero Series, un système de capture basé sur des humains équipés de doubles pinces, évitant ainsi les coûts et contraintes des robots téléopérés. Le système applique un contrôle qualité en boucle fermée : les trajectoires enregistrées sont rejouées sur un robot réel, et seules celles qui accomplissent effectivement la tâche sont validées. Cette méthode permet d’écarter des données bruitées, comme une pince qui se ferme trop tôt et déplace l’objet sans le saisir. X Square Robot combine ensuite un grand volume de démonstrations sans robot pour des représentations générales, complétées par une petite quantité de données robotiques réelles pour ancrer les dynamiques spécifiques. Selon l’entreprise, cette approche atteint des performances comparables à un jeu de données 100 % robotique, mais à un coût environ 20 fois inférieur, grâce à la réduction des coûts liés à l’équipement humain.
Le modèle du monde de X Square Robot, nommé WALL-WM, adopte une organisation centrée sur les événements. Là où la plupart des modèles d’action prédisent des séquences de mouvement de durée fixe, WALL-WM segmente les comportements en actions sémantiques cohérentes (saisir, poser, etc.), alignées sur le langage et visibles en vidéo. Cette granularité permet une exécution plus naturelle et adaptable, en évitant les découpages arbitraires liés au temps.
L’entreprise insiste sur la transparence de sa pile logicielle, qu’elle souhaite publier en open source. Cette démarche vise à standardiser le développement de robots autonomes, en facilitant la réutilisation des modèles d’un robot à l’autre et d’une tâche à l’autre. Cependant, les résultats les plus solides sont actuellement mesurés sur les propres robots et pipelines de collecte de données de X Square Robot. Des tests indépendants plus larges seront nécessaires pour valider ces performances dans des environnements variés.