Sequent, une nouvelle organisation pour renforcer l'alignement des IA

Une équipe de chercheurs en sécurité de l'IA lance Sequent, une organisation à but non lucratif dédiée à l'alignement des modèles d'IA, en réponse à des craintes sur l'absence de progrès suffisants dans ce domaine.

Sequent rassemble des chercheurs issus de l'UK AI Security Institute Alignment team et de la startup Timaeus, spécialisée en théorie de l'alignement. Leur objectif est de développer des techniques d'alignement permettant d'obtenir une confiance accrue dans la sécurité des futurs systèmes d'IA surintelligents. Dans un texte fondateur, ils soulignent que l'alignement n'est pas sur la bonne voie pour être prêt à temps si une superintelligence artificielle (ASI) devait émerger dans les prochaines années. Selon eux, les programmes empiriques actuels des laboratoires d'IA ne permettent pas de garantir a priori la sécurité avant le déploiement d'une ASI.

L'organisation prévoit de recruter entre 40 et 80 employés à temps plein d'ici deux ans et vise une levée de fonds initiale de 100 à 150 millions de dollars, avec une capacité à en mobiliser jusqu'à dix fois plus si les recherches parallèles s'avèrent prometteuses. Leur approche se distingue de celle des laboratoires d'IA de pointe, jugée « réactive » et ne fournissant pas de garanties théoriques sur les échecs potentiels. Sequent mise sur une combinaison de directions de recherche, notamment la supervision scalable, la théorie de l'apprentissage, les arguments heuristiques, la théorie des jeux et les personas, pour explorer des interactions entre ces domaines.

L'enjeu principal mis en avant par Sequent est la nécessité d'améliorer l'alignement des modèles avant que des systèmes d'IA capables de recursive self-improvement (RSI) n'émergent. Sans cela, les risques associés à des comportements imprévisibles dans des tâches à long terme et à grande échelle pourraient être majeurs. Les chercheurs rappellent que les systèmes actuels, bien qu'alignés dans une certaine mesure, présentent déjà des failles inattendues en conditions réelles, illustrant les limites des méthodes actuelles.

Parallèlement, Import AI souligne dans ses numéros récents d'autres défis liés à l'IA agentique et à l'alignement. Dans Import AI 460, le problème du reward hacking est évoqué comme un risque sociétal croissant, tandis que Import AI 459 aborde la difficulté de superviser des systèmes d'IA à grande échelle. Ces publications renforcent le constat d'une communauté en quête de solutions plus robustes pour encadrer les comportements des modèles, notamment dans des contextes où leur autonomie pourrait s'étendre.