Reddit utilise des LLM pour détecter le spam généré par des LLM

Reddit déploie des modèles de langage pour identifier et bloquer le spam produit massivement par d'autres LLM, illustrant le paradoxe de la modération à l'ère de l'IA générative.

La plateforme affirme bloquer 23 millions de vues de spam par jour et détecter environ 25 000 nouveaux messages et commentaires spam quotidiennement. Selon un billet de blog Reddit, les outils basés sur les LLM capturent le spam à un taux supérieur aux systèmes antérieurs en identifiant « les schémas subtils et coordonnés de faux comportements et de faux engagements que les anciens systèmes laissaient passer ». Entre janvier et mars, Reddit rapporte une réduction de 20 % de l'exposition des utilisateurs au spam comparée aux trois mois précédents.

Cette approche reflète une réalité incontournable : face à l'accessibilité croissante des LLM puissants, les plateformes n'ont d'autre choix que de recourir à des outils similaires pour maintenir la qualité de leurs espaces. Les systèmes de modération automatisée existent depuis des années, mais la détection de patterns complexes et coordonnés requiert désormais une sophistication que seuls les LLM semblent offrir.

Le déploiement de ces outils soulève aussi des implications au-delà du spam. Une détection plus rapide du contenu généré par IA pourrait accélérer l'identification de contenus violatifs comme les discours de haine. Cependant, les experts en modération de plateforme soulignent que l'automatisation doit être associée à une modération humaine pour obtenir les résultats les plus efficaces. D'autres plateformes comme YouTube, Meta et Instagram permettent le contenu généré par IA sous condition de divulgation, tandis que TikTok offre aux utilisateurs un contrôle sur la quantité de contenu IA qu'ils souhaitent voir.