OpenAI et Broadcom dévoilent une puce dédiée à l'inférence des LLM

OpenAI et Broadcom ont annoncé Jalapeño, une puce dédiée à l'inférence des grands modèles de langage (LLM) dans les data centers. Ce processeur, conçu en neuf mois, marque une collaboration ciblée pour répondre aux besoins spécifiques des modèles d'OpenAI, avec une promesse d'efficacité énergétique supérieure aux solutions actuelles.

Le projet s'inscrit dans une démarche de verticalisation pour OpenAI, qui cherche à maîtriser l'ensemble de sa chaîne technologique. La puce, développée à partir des retours des chercheurs d'OpenAI, est présentée comme un ASIC (circuit intégré spécifique à une application) optimisé pour l'inférence des LLM à grande échelle. Broadcom, déjà acteur historique des infrastructures de calcul, étend son activité vers les hyperscalers et les équipes travaillant sur les modèles de pointe. Les deux entreprises indiquent que Jalapeño sera déployé dans des data centers d'ici la fin de l'année, sans préciser les volumes ou les clients concernés.

Les enjeux techniques restent partiellement documentés. OpenAI évoque des tests préliminaires prometteurs en termes de performance par watt, mais souligne qu'une analyse détaillée sera publiée ultérieurement. Cette annonce s'ajoute à la course aux puces personnalisées, alors que les acteurs du secteur font face à une pénurie mondiale de capacité de calcul. La collaboration entre OpenAI et Broadcom illustre une tendance à l'intégration verticale pour réduire la dépendance aux fournisseurs tiers, notamment Nvidia, et optimiser les performances des modèles en production.