Hugging Face publie LFM2.5-Encoders pour inférence longue contexte sur CPU

Hugging Face publie deux nouveaux modèles d'encodeurs, LFM2.5-Encoder-230M et LFM2.5-Encoder-350M, optimisés pour l'inférence sur longs contextes directement sur CPU.

Ces modèles, issus de la famille LFM2, visent à offrir des performances comparables à des encodeurs plus grands tout en maintenant une latence faible même lorsque la taille des entrées augmente. Selon l'annonce, ils atteignent des résultats équivalents ou supérieurs à des encodeurs plus volumineux sur des benchmarks comme GLUE, SuperGLUE et des tâches multilingues. Leur contexte maximal est fixé à 8 192 tokens, avec une latence qui croît lentement en fonction de la longueur des entrées. Sur CPU, leur vitesse d'inférence est environ 3,7 fois supérieure à celle de ModernBERT-base pour des longs contextes.

Les LFM2.5-Encoders sont conçus pour des applications de production nécessitant des traitements continus sur CPU, comme les classifieurs de texte, les routeurs d'intentions ou les détecteurs de PII. Ils reposent sur une architecture dérivée des décodeurs LFM2-230M et LFM2-350M, transformés en encodeurs bidirectionnels via des modifications spécifiques : un masque d'attention bidirectionnel et des convolutions non causales symétriques. Leur entraînement s'effectue en deux phases : une première sur un corpus web avec un contexte de 1 024 tokens, suivie d'une adaptation à des contextes de 8 192 tokens pour renforcer leurs compétences en compréhension de documents longs, notamment dans des domaines comme le juridique ou le multilingue.

Hugging Face propose des démos interactives pour tester les modèles, ainsi que des guides pour leur utilisation et leur fine-tuning. Les modèles sont disponibles sur la plateforme Hugging Face, où des instructions détaillées sont fournies pour leur déploiement et leur intégration dans des pipelines existants.