Aurélie Jean – En intelligence artificielle, ce n’est pas la taille qui compte !

Par Aurélie Jean
·1 min de lecture
En capacité de calcul, chercher toujours plus grand et plus gros n’est pas forcément une approche payante à long terme.
En capacité de calcul, chercher toujours plus grand et plus gros n’est pas forcément une approche payante à long terme.

C'est l'annonce qui fait du bruit chez les scientifiques. Google a récemment exécuté son plus gros calcul d'apprentissage algorithmique jamais réalisé avec plus de mille milliards de paramètres à optimiser. Un record pantagruélique qui pose la question des apports de telles simulations. Tant sur la justesse et la précision de la réponse obtenue par l'algorithme une fois entraîné pour résoudre le problème considéré que sur ce que cela induit économiquement et socialement. Chercher toujours plus grand et plus gros n'est pas forcément une approche payante à long terme. En intelligence artificielle comme ailleurs, ce n'est pas (toujours) la taille qui compte !

En janvier, les chercheurs de GoogleBrain ont publié un article sur la réalisation d'un apprentissage algorithmique à 1,6 mille milliards de paramètres, destiné à la traduction. On parle aussi d'algorithme de NLP pour Natural Language Processing (traitement automatique du langage naturel). Cet apprentissage a pu être réalisé grâce à une technique de répartition ingénieuse des inconnues du problème sur les c?urs des microprocesseurs, permettant d'accélérer la vitesse de calcul par un facteur quatre, tout en maintenant constante la mémoire utilisée par machine. On saluera la technique utilisée et le calcul réalisé, qui encouragent la résolution de problèmes toujours plus complexes. Mais cette démonstration soulève également de nombreux enjeux et obstacles.

Des biais algorithmiques plus difficilement interpré [...] Lire la suite