Hugging Face introduit des embeddings multi-vecteurs pour les recherches en temps différé

Hugging Face ajoute un quatrième type de modèle d’embeddings avec Sentence Transformers v6.0 : les MultiVectorEncoder, conçus pour des interactions en temps différé dans les systèmes de recherche ou de génération augmentée par récupération.

Ces modèles conservent un vecteur par token du texte ou de l’image, contrairement aux embeddings denses classiques qui compressent l’intégralité d’un contenu en un seul vecteur. L’opérateur MaxSim permet de comparer chaque vecteur du texte de la requête avec ceux du document, préservant ainsi les correspondances au niveau des tokens. Cette approche améliore la précision des recherches sémantiques, notamment pour les documents visuels où une requête textuelle est directement appariée à des images de pages sans étape de reconnaissance optique de caractères (OCR).

L’intégration des MultiVectorEncoder dans les pipelines existants repose sur une API unifiée, compatible avec les checkpoints PyLate, ColBERT ou colpali-engine. Les utilisateurs peuvent ainsi exploiter ces modèles via une installation standard avec pip install -U sentence-transformers, sans modifier leur infrastructure. Cependant, le gain en pertinence s’accompagne d’un coût : l’indexation nécessite plus d’espace, car chaque token génère un vecteur distinct. Les modèles supportés couvrent aussi bien le texte que les documents visuels, audio ou vidéo, avec des outils dédiés pour l’optimisation des performances et l’évaluation des résultats.

Les cas d’usage ciblés incluent la recherche sémantique avancée, le réordonnancement de résultats, et l’indexation de documents visuels où l’absence d’OCR simplifie le traitement. Les développeurs peuvent configurer le scoring avec des variantes comme Score Magnitude ou MeanMaxSim, et adapter le pooling des tokens pour accélérer l’inférence si nécessaire.