Yahoo Actualités L'IA générative, casse-tête de cybersécurité
L'engouement pour les outils de génération de contenus s'est vite accompagné de révélations sur leurs failles de sécurité. Ces technologies peuvent être détournées de leurs usages et leurs garde-fous contournés. Les cybercriminels s'en sont déjà emparés.
Cet article est extrait du mensuel Sciences et Avenir - La Recherche n°927, daté mai 2024.
Avec un million d'utilisateurs en une semaine lors de son lancement à l'automne 2022, ChatGPT a enregistré un record d'adoption pour un service numérique. Problème : les cybercriminels se sont emparés tout aussi vite de cette technologie. C'était l'un des constats phares du panorama annuel de la cybercriminalité du Clusif, association professionnelle de spécialistes de sécurité informatique, présenté fin janvier 2024.
Des outils répliquant le fonctionnement de ChatGPT sont déjà en service, comme WormGPT (développé à partir du modèle du langage open source GPT-J) et FraudGPT, qui génèrent des messages d'hameçonnage (phishing) de très haute qualité, du code malveillant, de fausses identités bancaires. Par ailleurs, de nombreuses recherches et tests ont montré combien il était possible de manipuler et détourner de leurs usages les services grand public d'OpenAI, Google, Meta et d'autres.
De nombreuses failles
Dans un article publié fin 2023, une équipe de Google DeepMind explique ainsi avoir amené des modèles de langage à révéler des données d'entraînement. Avec ChatGPT, les chercheurs ont procédé en lui demandant de répéter éternellement un mot. Au bout d'un moment, le chatbot "diverge" et livre des contenus qui n'auraient jamais dû sortir : données personnelles, contenus explicites, extraits de romans ou poèmes complets, articles scientifiques, etc. "On voit bien que dans des contextes d'entreprises ou de chatbots spécifiques, cela peut poser problème", notait Gérôme Billois, expert cybersécurité chez Wavestone, lors de son intervention pour le Clusif.
Autre faille : les captchas. ChatGPT est paramétré pour ne pas déchiffrer ces énigmes visuelles censées distinguer un humain d'un robot sur Internet. Or, en octobre, un usager de X (ex-Twitter) a envoyé l'image d'un captcha présentée sur un médaillon à Bing-Chat (ChatGPT intégré dans le moteur de recherche de Microsoft). Il a exp[...]
Lire la suite sur sciencesetavenir.fr
