General Intuition entraîne des robots avec des données de jeux vidéo

General Intuition, une startup soutenue par Vinod Khosla, parie que les données de jeux vidéo constituent un meilleur matériau d'entraînement que les données réelles pour développer des modèles de robotique généralistes. L'entreprise a levé 320 millions de dollars à une valorisation de 2,3 milliards de dollars sur cette thèse.

Le modèle fondationnel de General Intuition a été entraîné sur des millions d'heures de vidéo de jeux vidéo, incluant des informations comme les boutons de manette pressés et le moment où ils l'ont été. Selon Pim de Witte, PDG de la startup, ces données d'action permettent de développer une intuition de raisonnement spatio-temporel comparable à celle des humains. L'approche s'inspire du modèle des modèles de langage fondationnels : plutôt que de construire des modèles spécialisés à partir de zéro avec d'énormes ensembles de données réelles, l'industrie devrait se concentrer sur des ensembles de données de meilleure qualité capables de produire des modèles fondationnels transférables à de nombreux environnements.

La startup a démontré que son modèle actuel peut à la fois jouer à un jeu vidéo pendant des heures et contrôler un robot quadrupède après un affinage sur seulement huit minutes de données réelles de robotique. De Witte souligne que le robot a réussi sans capteurs supplémentaires, utilisant uniquement la caméra frontale, dans un bureau avec des objets dynamiques et des personnes se déplaçant à proximité. L'objectif de General Intuition n'est pas de fabriquer des robots, mais de devenir le modèle fondationnel de l'IA physique — une base que d'autres entreprises de robotique pourraient utiliser pour leurs propres machines.