Intelligence artificielle : des chercheurs alertent sur les dangers du rôle persuasif de l’IA

Les outils basés sur l'apprentissage automatique ont l'inconvénient d'impressionner leurs utilisateurs humains. Ceux-ci acceptent trop facilement les résultats fournis, même quand ils sont faux.

Cet article est extrait du mensuel Sciences et Avenir - La Recherche n°925, daté mars 2024.

Melu est un agent conversationnel pour des gens souffrant de problèmes de santé mentale. Deux groupes d'utilisateurs ont été invités à le tester avant d'éventuellement le recommander à un ami. Dans le premier, 88 % l'ont trouvé très bienveillant. Mais dans l'autre, cette part tombe à 44 %, et un quart le juge manipulateur. Le chatbot était pourtant strictement le même (en l'occurrence GPT3). L'explication se situe en amont du test : à certaines personnes, les expérimentateurs ont dit que l'outil allait se montrer plein d'empathie et chercher à les aider ; les autres avaient été prévenues qu'il était conçu pour vanter un service payant.

C'est le scénario d'une étude de chercheurs du Massachusetts Institute of Technology (MIT, États-Unis). Parue en octobre 2023, elle révèle qu'une intelligence artificielle (IA) peut être biaisée par la perception qu'en a son utilisateur, indépendamment de l'efficacité réelle de l'outil. En 2021, déjà, trois chercheurs en gestion des systèmes d'information de l'Université de Géorgie (États-Unis), montraient à quel point des personnes étaient prêtes à réfuter leurs propres intuitions si une IA proposait une autre réponse.

Une confiance, sinon aveugle, du moins excessive envers des technologies

Après avoir demandé à des participants d'évaluer le nombre de personnes sur des photos de groupe, les chercheurs leur ont soumis deux estimations : celle d'un algorithme et une moyenne d'estimations données par 5000 autres personnes. L'une comme l'autre étant des fictions pour les besoins de l'étude, mais les participants l'ignoraient. Ces derniers pouvaient alors maintenir leur intuition initiale ou s'en remettre à l'une des deux suggestions.

Dans toutes les variantes de l'expérience, les participants ont eu une nette tendance à privilégier les réponses du soi-disant algorithme, au détriment de leur propre jugement comme de celui d'autres personnes. Et ce,[...]

Lire la suite sur sciencesetavenir.fr

A lire aussi