C’est quoi GAIA, l’outil qui vérifie si les IA sont bêtes ?

GAIA est un nouveau benchmark conçu pour mettre à genoux les intelligences artificielles génératives, comme ChatGPT. Ses premiers tests prouvent que les IA sont encore loin des humains sur des tâches élémentaires, puisqu’elles ne disposent pas de logique.

Les intelligences artificielles vont-elles tous nous remplacer ? Peut-être un jour, mais pas de suite.

S’il nous arrive régulièrement de tomber sur des propos anxiogènes annonçant que les IA sont désormais plus intelligentes que les humains et proches de l’état de conscience, la réalité est tout autre. Même les outils les plus sophistiqués peinent à faire autre chose qu’imiter le comportement humain, avec de nombreuses lacunes.

Pour le prouver, des chercheurs issus des équipes de Meta-FAIR, Meta-GenAI, HuggingFace, et AutoGPT ont mis au point GAIA, un nouveau benchmark dédié aux intelligentes artificielles. Un de leurs constats est le suivant : quand un humain répond favorablement à 92 % des questions, GPT-4 ne réussit que dans 15 % des cas de figure.

Yann LeCun, le Français en charge de l’IA chez Meta, a promu GAIA sur son compte Twitter. // Source : X

GAIA pose des questions de logique, pour mesurer « l’humanité » des IA

Dans les grandes lignes, GAIA est aux IA ce qu’AnTuTu est aux processeurs et ce que SpeedTest est aux box Internet.

[Lire la suite]

Crédits photos de l'image de une : Source : Numerama avec Midjourney