Un utilisateur aurait généré 7 000 images pédopornographiques avec Grok avant de se suicider

Une plainte collective amendée allègue qu'un homme a utilisé Grok, le modèle d'IA de xAI, pour créer environ 7 000 images sexuellement explicites d'une mineure à partir d'une photo prise quand elle avait 11 ans. L'homme s'est suicidé en mars après son arrestation, selon le document judiciaire.

Selon la plainte, Grok n'a pas détecté ou bloqué la génération de ces images, y compris celles dépeignant l'inceste et le viol, jusqu'à ce que l'utilisateur entre une demande spécifique de « gang rape ». Cette dernière a déclenché un signalement au National Center for Missing and Exploited Children (NCMEC), qui a alerté les autorités. Cependant, la plainte affirme que xAI a ensuite entravé l'enquête policière en refusant à plusieurs reprises de partager des informations obligatoires, comme l'adresse IP de l'utilisateur, malgré les exigences légales de signalement. Les enquêteurs ont finalement pu identifier et arrêter l'homme après l'obtention d'un mandat de perquisition pour ses appareils.

La jeune fille, désignée comme Jane Doe 4 dans la plainte, souffre maintenant d'anxiété, de dépression et de pensées suicidaires suite à cette exploitation. La plainte souligne que sans l'accès facile aux capacités de « déshabillage » offertes par Grok, l'homme n'aurait probablement jamais généré ces images. Elle affirme également que xAI a protégé les prédateurs en obstruant les efforts des forces de l'ordre pour identifier et poursuivre les contrevenants. Cette affaire s'inscrit dans un contexte plus large de poursuites judiciaires contre X et xAI concernant les outils de génération d'images à caractère sexuel créés avec l'IA.