Yahoo Actualités La "mémoire" gênante des IA génératives
Une équipe de chercheurs vient de démontrer qu’il est possible de générer certaines des images ayant servi à entrainer des algorithmes de text-to-pix. Ces images peuvent ensuite être réutilisées, avec tous les problèmes que cela pose.
Anne Graham Lotz est une figure du protestantisme évangélique aux Etats-Unis, fille du prédicateur controversé Billy Graham. Une équipe réunissant des chercheurs de Google, de l’Ecole Polytechnique fédérale de Zurich (Suisse) et des universités américaines de Berkeley et de Princeton ont réussi à générer une image photoréaliste d’elle en utilisant l’algorithme Stable Diffusion. La méthode est simple : saisir du texte pour obtenir une image. En l’occurrence, les chercheurs ont écrit "Anne Graham Lotz". Problème, le résultat obtenu ne relève pas juste de la "génération".
Il s’avère que la photo de la page Wikipédia d’Anne Graham Lotz figure dans la base de données d’entraînement de l’algorithme, avec pour légende son nom et celui de son podcast "Living in the light"… C'est cette image que Stable Diffusion a ressortie quasiment telle quelle, alors que ce type d’outil est censé au contraire créer de nouveaux visuels à partir d’une phase d’apprentissage automatique.
Du texte vers l'image
C’est l’un des tests menés par les chercheurs et décrits dans une étude publiée fin janvier 2023. Ils ont mis à l’épreuve Stable Diffusion donc, de la société britannique Stable.AI, et Imagen, de Google. Ils ont réussi à faire générer par le premier 109 images figurant déjà dans ses bases d’entraînement, et trois par le second. Mais ces trois images sont uniques dans la base de données, il n’en existe aucune autre version, aucune copie comme cela arrive généralement. La probabilité de les faire restituer par Imagen était donc a priori d’autant plus faible.
Ces algorithmes dits de “text-to-pix” ("du texte vers l'image") sont conçus pour produire des visuels à partir d’une description textuelle en langage naturel, en utilisant une méthode technique appelée diffusion. Ils sont entraînés sur des bases de données immenses constituées d’images et de légendes récoltées sur Internet, sur Flickr, Wikipédia, WikiArt, Shutterstock, sur des blogs, des plateformes d’art numérique comme DeviantArt ou [...]
