Yahoo Actualités Du racisme larvé dans les réponses des IA génératives
Les modèles de langage parviennent à identifier des manières de parler propres aux Afro-américains dans les prompts de leurs interlocuteurs. Les réponses sont remplies de marques de discrimination.
En matière de racisme, il y a le propos explicite, à base d’insultes, de violence verbale. Et le racisme larvé, presque inconscient tant les préjugés et la discrimination ont été intégrés. Un groupe de chercheurs de l’Allen Institute for AI, un organisme à but lucratif créé par le cofondateur de Microsoft Paul Allen, et de l’université Stanford (Etats-Unis) vient de montrer que les modèles de langage diffusent parfaitement ce racisme insidieux dans les contenus qu’ils génèrent, tant leurs données d’entraînement en sont remplies.
Héritage de l'esclavage et de la période coloniale
L’étude étant faite dans un contexte américain, elle porte sur le racisme visant les Afro-américains. Pour s’en rendre compte et évaluer le phénomène, les chercheurs ont testé 12 versions des modèles GPT 2, GPT 3.5, GPT 4, RoBERTa (bâti à partir de BERT) et T5. Dans leurs interactions, ils n’ont pas indiqué explicitement qu'une personne était noire ou blanche. Ils ont rédigé des prompts posant une même question rédigée de deux manières : en langue anglo-américaine standard (SAE) et en anglais dit afro-américain (AAE), c’est-à-dire une manière de s’exprimer héritée du langage parlé et de divers dialectes des noirs et des colons britanniques à l’époque de l’esclavage.
La littérature, la télévision et le cinéma ont contribué à fixer ses marqueurs qui consistent en des termes particuliers ("nigga" ou "nigger" que seules les personnes noires peuvent employer sans connotation de racisme), des contractions ("I’m finna" au lieu de "I’m finally"), des manières de conjuguer les verbes ("that ain’t gon" plutôt que "that’s not going to"), etc.
Trois contextes de prompt
Les prompts des chercheurs se composent de plusieurs éléments. D’abord, ils présentent un contexte à l’agent conversationnel. En l’occurrence, il y en a trois : une personne (ou plusieurs) est en recherche d’emploi, une personne est accusée d’un crime et une personne a tué quelqu’un. Le prompt indique alors entre guillemets de soi-disant[...]
Lire la suite sur sciencesetavenir.fr
