Une startup prétend avoir résolu un goulot d'étranglement majeur des modèles de langage
- 01Subquadratic prétend avoir résolu un goulot d'étranglement mathématique limitant les LLM depuis une décennie.
- 02Les preuves techniques fournies restent partielles et nécessitent une validation indépendante.
- 03Si confirmée, cette avancée pourrait réduire drastiquement les coûts de calcul des modèles de langage.
Une startup basée à Miami, Subquadratic, affirme avoir surmonté une limitation mathématique majeure affectant les grands modèles de langage (LLM) depuis près de dix ans. Selon son annonce, cette avancée permettrait de réduire significativement les coûts de calcul et d’améliorer l’efficacité des architectures actuelles. Cependant, ces revendications restent initialement peu détaillées, suscitant des doutes dans la communauté scientifique.
Subquadratic a depuis publié des éléments techniques partiels pour étayer ses allégations, sans pour autant divulguer l’intégralité de ses méthodes. Les experts soulignent que la validation indépendante de ces résultats sera déterminante pour confirmer la portée réelle de cette innovation. Si ces preuves se révèlent solides, l’impact potentiel sur l’entraînement et l’inférence des LLM pourrait être substantiel, notamment en termes de réduction des ressources nécessaires.
Articles liés
Les LLMs répètent les mêmes réponses : une startup cherche à corriger ce biais
Découvrez comment une startup aborde le problème de la répétition des réponses dans les modèles de langage.
Les modèles de langage prisonniers de leurs réponses répétitives : la solution d'une startup
Comprenez pourquoi les LLMs répètent souvent les mêmes réponses et comment une startup tente de briser ce schéma.
À chaudJeff Dean et d'autres chercheurs de Google lancent Discovery Loop pour automatiser la recherche scientifique
Découvrez les raisons et les ambitions derrière le départ de figures majeures de l'IA chez Google pour fonder une nouvelle entreprise.