L'IA générative peut-elle être aussi drôle qu'un humoriste ?

Une expérimentation menée par DeepMind avec des humoristes montre toutes les limites des modèles de langage en matière d'humour. Les outils sont incapables de jouer sur la transgression et l'effet de surprise.

"Si l’IA peut jouer la raciste en montrant qu’elle ne l’est pas, peut-être que l’on sera menacé. Actuellement, je ne pense pas que le robot en soit capable parce que c’est beaucoup trop dangereux pour lui." Fin mai 2024, dans le cadre d’une interview pour la chaîne YouTube Thinkerview (voir la vidéo ci-dessous), l’humoriste Haroun (auteur en 2018 d’un spectacle sur les nouvelles technologies) s’exprimait sur l’éventuelle capacité des agents conversationnels tels ChatGPT à être drôles.

Et estimait qu’à l’heure actuelle, les machines étaient incapables de transgresser, de générer le contenu imprévu, audacieux, que l’interlocuteur n’attendait pas, et n'aurait lui-même pas osé dire. A l'inverse, la force d’un humoriste consiste à être capable de jouer avec les sous-entendus.

Sans le savoir, Haroun établit exactement le même constat qu’une équipe de Google Deepmind dans une étude parue en juin 2024 sur la plateforme arXiv. Les chercheurs ont sollicité 20 humoristes et mené avec eux des ateliers d’écriture de 45 minutes avec ChatGPT 3.5, ChatGPT 4 (d'OpenAI) et Bard (de Google). Les séances ont eu lieu en marge du festival d’Édimbourg de 2023 pour une moitié, en ligne pour les autres. Après quoi, les participants (déjà utilisateurs de ces outils dans leur travail) ont donné leurs impressions sur le potentiel humoristique des contenus générés. Et ce n’est pas brillant.

Lire aussiL'avènement de la singularité : l'humain ébranlé par l'intelligence artificielle

Des questionnaires pour humoristes

Le but des exercices consistait à faire générer des bouts de texte exploitables dans un spectacle, ou à demander au chatbot d’évaluer une blague ou encore d'en co-écrire (en une série de prompts) ou d'en réécrire. Après quoi, les humoristes ont répondu à trois questionnaires différents permettant d’évaluer et commenter les résultats obtenus. Et l’étude s’est achevée avec une réunion de groupe d’une heure pour discuter des tâches réalisées lors des ateliers puis, plus généralement, d[...]

Lire la suite sur sciencesetavenir.fr

A lire aussi