Chants racistes et à la gloire de Daesh, l’IA détournée pour produire des chansons de haine

Le plus souvent, le problème ne vient pas de l’intelligence artificielle, mais de son détournement par les humains. La société ActiveFrence, spécialisée dans le contrôle de l’IA, a partagé aux journalistes de TechCrunch ses recherches sur les chants générés à partir de nouveaux outils intelligents. Selon l’entreprise, ces derniers sont utilisés pour produire des chansons homophobes, racistes et de propagande. Des guides ont même été publiés pour reproduire ces créations.

Dans un exemple cité dans le rapport, des utilisateurs d’un forum suprémacistes blancs partage des conseils pour insérer des formules anti-sémites en remplaçant – en anglais – « jew » (juif) par « jooz », ou « Satan » par « Say tan ».

ActiveFrence a également trouvé des liens vers des chansons répétant des théories du complot sur les juifs, plaidant pour leur meurtre de masse ou encore des chants glorifiant la violence sexuelle contre les femmes. Des hymnes générés par IA à la gloire de Daesh et Al-Qaïda ont été repérés sur des forums.

Les plateformes comme Suno produisent de la musique à partir d'un texte que l'on lui propose. // Source : Suno
Les plateformes comme Suno produisent de la musique à partir d'un texte que l'on lui propose. // Source : Suno

Les plateformes comme Suno produisent de la musique à partir d’un texte que l’on lui propose. // Source : Suno

Des discours conspirationnistes traduits en anglais

« Ces tendances s’intensifient à mesure que de plus en plus d’utilisateurs apprennent à générer ces chansons et à les partager avec d’autres » a déclaré un porte-parole d’ActiveFence à TechCrunch.

[Lire la suite]

Crédits photos de l'image de une : L'IA est détournée pour créer des chansons haineuses. // Source : Numerama avec Midjourney