- 01LiquidAI publie des checkpoints QAD Q4_0 pour LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct et LFM2.5-2.6B en format GGUF.
- 02La méthode QAD permet de récupérer jusqu’à 97 % de la précision perdue par une quantification classique.
- 03Les checkpoints QAD Q4_0 offrent un débit de décodage 3 à 33 % plus élevé que les alternatives Q5_K_M ou Q4_K_M sur matériel edge.
LiquidAI a publié des checkpoints QAD Q4_0 pour quatre variantes du modèle LFM2.5, optimisés pour une exécution en 4 bits sans perte significative de qualité.
Ces checkpoints, entraînés avec la méthode Quantization-Aware Distillation (QAD), permettent de récupérer jusqu’à 97 % de la précision perdue lors d’une quantification post-entraînement classique. Les modèles concernés sont LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct et LFM2.5-2.6B, disponibles en format GGUF pour une intégration facile dans des environnements comme llama.cpp.
Les benchmarks montrent que les checkpoints QAD Q4_0 conservent entre 96,5 % et 97,4 % de la performance des versions BF16 de référence, tout en offrant un débit de décodage 3 à 33 % plus élevé que les alternatives Q5_K_M ou Q4_K_M sur du matériel edge (MacBook Pro, NucBox, Raspberry Pi 5, Samsung Galaxy S26 Ultra).
Les fichiers sont accessibles sur Hugging Face, avec des exemples d’utilisation fournis pour une prise en main rapide.
