Une startup prétend avoir résolu un goulot d'étranglement majeur des modèles de langage

Une startup basée à Miami, Subquadratic, affirme avoir surmonté une limitation mathématique majeure affectant les grands modèles de langage (LLM) depuis près de dix ans. Selon son annonce, cette avancée permettrait de réduire significativement les coûts de calcul et d’améliorer l’efficacité des architectures actuelles. Cependant, ces revendications restent initialement peu détaillées, suscitant des doutes dans la communauté scientifique.

Subquadratic a depuis publié des éléments techniques partiels pour étayer ses allégations, sans pour autant divulguer l’intégralité de ses méthodes. Les experts soulignent que la validation indépendante de ces résultats sera déterminante pour confirmer la portée réelle de cette innovation. Si ces preuves se révèlent solides, l’impact potentiel sur l’entraînement et l’inférence des LLM pourrait être substantiel, notamment en termes de réduction des ressources nécessaires.