Microsoft et Meta ont créé LLama 2, un nouveau modèle d'intelligence artificielle

L'entreprise Meta, la maison mère de Facebook, et Microsoft ont créé en collaboration Llama 2, une intelligence artificielle censée concurrencer ChatGPT d'Open Ai. Une collaboration qui pourrait bien révolutionner les intelligences artificielles en open source.

Meta et Microsoft ont sorti, le 18 juillet 2023, leur nouvelle version de traitement de langage automatique : Llama 2. Concrètement, la première différence majeure avec les autres modèles d'intelligence artificielle (IA) comme ChatGPT, c'est qu'elle est entièrement sous open source. Ce qui veut dire que n'importe qui peut voir son code source, et peut aussi l'utiliser et le modifier à sa guise. De la même façon dont on customiserait sa voiture, on peut enrichir et adapter une technologie qui existe déjà, à nos besoins. En plus d'être un des meilleurs modèles d'open source, Llama 2 a de nombreuses caractéristiques similaires à la version 3.5 de ChatGPT.

Les changements par rapport à Llama 1

Meta est une des entreprises leaders dans le domaine de l'intelligence artificielle. On la connaît principalement pour Facebook, tandis que Microsoft pour le système d'exploitation Windows. Les deux géants de la tech se sont associés pour créer Llama 1 en février 2023, une intelligence artificielle entièrement gratuite et open source. Par rapport à cette première version, de nombreux ajustements ont été apportés.

Lire aussiChatGPT a écrit son premier article scientifique : est-il convaincant ?

D'abord, le modèle est plus simple à télécharger (ce qui avait été reproché précédemment) et donc plus accessible à tout le monde. Les performances ont été améliorées. D'après le communiqué de Meta, ils ont utilisé 40 % de données en plus sur l’entraînement, soit environ 2 milliards de milliards de tokens de pré-entraînements (un token peut être un mot, un caractère, ou un sous-mot, par exemple, dans le mot "bonjour", il y a deux sous-mots : "bon" et "jour"). Cela permet de décomposer un texte et de pouvoir entraîner le modèle avec des mots-clés.

En ce qui concerne le nombre de paramètres existant, selon les versions de Llama, on en dénombre entre 7 et 60 milliards. Cela peut paraître peu par rapport à la concurrence comme ChatGPT qui en a 16 milliards, mais il faut garder en tête qu'il n'[...]

Lire la suite sur sciencesetavenir.fr

A lire aussi