Yahoo Actualités Pourquoi ChatGPT est meilleur en anglais
Les principaux robots conversationnels font leur apprentissage sur des textes en anglais. D'où une meilleure expression et plus de pertinence dans les réponses apportées dans cette langue.
Cet article est extrait du mensuel Sciences et Avenir - La Recherche n°921, daté novembre 2023.
"Les langues que je peux reconnaître et dans lesquelles je peux générer du texte se comptent en centaines", répond ChatGPT quand on l'interroge sur ses compétences linguistiques. Mais l'intelligence artificielle (IA) précise : "Mon niveau de compétence et de précision peut varier considérablement d'une langue à l'autre. " Et effectivement, des chercheurs de l'Université du Pays basque (Espagne) ont montré que les grands modèles de langage sont plus performants quand les questions (les "prompts") sont posées en anglais.
Ils en ont évalué sept dérivés de XGLM et de LLaMa, des technologies issues du laboratoire d'intelligence artificielle de Meta (maison mère de Facebook), en les entraînant sur divers corpus multilingues comme XCopa (raisonnements logiques), PAWS-X (identification de paraphrase) ou MGSM (mathématiques). Les "prompts" étaient écrits dans chacune des langues prises en compte par chaque jeu de données. En revanche, les réponses étaient générées de deux manières : d'un côté, le modèle répondait dans la langue du "prompt", de l'autre, le "prompt" était automatiquement traduit en anglais par le modèle, qui répondait alors en anglais.
Au vu des résultats comparés, le bilan est net : "Les modèles sont bien meilleurs en anglais sur toutes les tâches, constate Julen Etxaniz, spécialiste de traitement du langage et coauteur de l'étude. Cela rattrape même les erreurs de traduction commises quand ces modèles passent de la langue initiale à l'anglais. " Explication principale, selon le chercheur : ces technologies sont entraînées sur des textes majoritairement anglophones. "Même pour les modèles les plus multilingues (XGLM et Bloom), plus de 30 % des jeux d'entraînement sont anglophones ", ajoute Julen Etxaniz.
Le Wikipédia anglophone largement utilisé
OpenAI, l'entreprise conceptrice de ChatGPT, utilise tout le Wikipédia anglophone, un énorme corpus de pages Web appelé C[...]
Lire la suite sur sciencesetavenir.fr
