Les startups testent de nouvelles architectures pour dépasser les limites des LLM
- 01Plusieurs startups développent des architectures alternatives aux LLM classiques pour réduire les coûts de calcul.
- 02Les pistes incluent des transformers modifiés, des modèles à mémoire externe et des architectures mixture-of-experts.
- 03Ces innovations visent une meilleure efficacité énergétique et une précision accrue sur des tâches spécialisées.
Plusieurs startups explorent des architectures alternatives aux grands modèles de langage (LLM) classiques, selon une enquête de MIT Technology Review. Ces initiatives visent à réduire les coûts de calcul et à améliorer l’efficacité des modèles, sans nécessairement augmenter leur taille.
Parmi les pistes étudiées, certaines entreprises misent sur des transformers modifiés ou des architectures hybrides combinant réseaux de neurones et méthodes symboliques. D’autres testent des approches comme les modèles à mémoire externe ou les architectures mixture-of-experts (MoE), déjà utilisées par des acteurs établis mais optimisées pour des cas d’usage spécifiques. Ces innovations ciblent notamment la réduction de la consommation énergétique et l’amélioration de la précision sur des tâches spécialisées.
Ces recherches s’inscrivent dans un contexte où les LLM actuels, bien que performants, restent coûteux à entraîner et à déployer. Les startups cherchent ainsi à proposer des alternatives plus accessibles, tout en explorant des mécanismes de raisonnement plus transparents ou interprétables.
Articles liés
États-Unis : le gouvernement défend l'entraînement des LLM avec des données sous copyright
Comprendre les implications légales et stratégiques de la position américaine sur l'entraînement des IA avec du contenu protégé.
QueryStory lève 6 millions de dollars pour structurer les réponses des IA avec des récits vérifiés
Présentation d'une solution pour renforcer la confiance dans les outputs des modèles de langage.
Un YouTuber critique l'usage des LLM dans la création de contenu
Débat sur l'éthique de l'utilisation des LLM dans la création de contenu, illustré par le cas d'un créateur confronté à des critiques.