Hugging Face héberge des modèles générant des deepfakes non consensuels sans garde-fous

Une enquête de l'ONG AI Forensics révèle que des modèles d'IA hébergés sur Hugging Face permettent de générer des deepfakes à caractère sexuel sans contrôle efficace. Sept des neuf principaux modèles d'édition d'images testés répondent à des requêtes explicites pour déshabiller des femmes, malgré l'absence de garde-fous au niveau de la plateforme.

L'étude souligne que les modèles en question, comme ceux dédiés à la modification d'images, ne disposent d'aucun mécanisme de modération intégré. Contrairement à des services comme Google Gemini ou OpenAI ChatGPT, qui bloquent ce type de requêtes, Hugging Face n'impose aucune restriction sur les prompts utilisés. Les modèles accessibles via l'interface ou l'API de la plateforme génèrent ainsi des contenus non consentis sans alerte ni filtrage préalable.

Les risques liés à cette absence de contrôle sont immédiats : les utilisateurs peuvent exploiter ces outils pour créer des deepfakes à des fins malveillantes, notamment dans le cadre de harcèlement en ligne ou de revenge porn. L'enquête met en lumière une faille critique dans la gestion des contenus générés par IA, où la liberté technique offerte par les modèles open source se heurte à des enjeux éthiques et juridiques majeurs.