L’intelligence artificielle se fait experte en matériaux

Un projet du MIT et de l’éditeur Adobe consiste à reconnaître dans une image quelles zones représentent des objets constitués d’un même matériau. L'IA réussit dans les conditions les plus diverses.

L’intelligence artificielle (IA) est plutôt douée pour reconnaître des formes et des objets. Beaucoup moins pour reconnaître la matière dont sont faits lesdits objets. C’est à ce problème que s’est attaquée une équipe constituée de chercheurs du CSAIL, le laboratoire d’informatique et d’intelligence artificielle du Massachusetts Institute of Technology (Etats-Unis) et de l’éditeur américain de logiciels de traitement d’image Adobe. Dans un article paru fin mai 2023, ils détaillent une technique de vision par ordinateur capable d’identifier sur une photo tout ce qui est fait de la même matière. Nuance importante : l’outil ne dit pas explicitement s’il s’agit de bois, de métal, de plastique, de pierre ou autre, mais quels pixels correspondent à la même chose.

Dans son principe, la technique consiste, pour l’utilisateur, à sélectionner une petite zone dans une photo. Les pixels qu’elle recouvre servent de données en entrée à l’algorithme qui va alors chercher dans l’image des pixels similaires. Il va ainsi pouvoir détecter l’intégralité de l’objet à laquelle appartient la zone sélectionnée (pour peu que celui-ci soit fait de la même matière partout), mais aussi d’autres objets où qu’ils soient dans l’image. Exemple typique avec un salon de jardin : si l’utilisateur pointe quelques pixels dans les lattes en bois d’une chaise pliante, l’algorithme va à la fois sélectionner de lui-même toute l’assise de toutes les chaises, leurs dossiers, mais aussi le dessus de la table, tous faits du même bois.

Une base d'entraînement de 50.000 images de synthèse

Jusque-là, l’IA avait beaucoup de mal à effectuer ce genre de tâches : le fait que deux objets soient de formes diverses, éclairés différemment ou que deux objets identiques ne soient pas vus sous le même angle nuisent à ce type de reconnaissance. "Deux pixels d’une même matière peuvent présenter des réflexions de couleurs et des intensités très différentes", écrivent les auteurs. Chose qui perturbant bien moins les humains, ca[...]

Lire la suite sur sciencesetavenir.fr

A lire aussi