OpenAI dévoile Jalapeño, son premier processeur dédié à l'inférence IA

OpenAI a présenté Jalapeño, son premier processeur conçu spécifiquement pour l’inférence des grands modèles de langage, développé en collaboration avec Broadcom. Ce processeur, de type ASIC, cible directement l’optimisation des coûts et des performances des serveurs traitant les requêtes des utilisateurs, comme celles de ChatGPT.

Jalapeño est un ASIC, un circuit intégré conçu pour une tâche précise : l’inférence IA. Contrairement à l’entraînement des modèles, qui nécessite des ressources massives pour traiter d’énormes volumes de données, l’inférence consiste à exécuter les requêtes des utilisateurs en temps réel. OpenAI précise que ce processeur est adapté aux besoins uniques de ses systèmes d’inférence actuels et futurs. La collaboration avec Broadcom, annoncée il y a neuf mois, a permis de concrétiser ce projet en un temps record.

Le choix d’un ASIC comme Jalapeño reflète une stratégie de spécialisation matérielle pour répondre aux contraintes des modèles de langage. Les processeurs généralistes, comme ceux des serveurs classiques, ne sont pas optimisés pour les opérations répétitives et parallèles caractéristiques de l’inférence. En concevant son propre ASIC, OpenAI cherche à réduire la dépendance aux solutions génériques et à améliorer l’efficacité énergétique et calculatoire de ses infrastructures.