Yahoo Actualités L'empreinte carbone, face cachée de l'IA
Une technologie aussi abstraite que l'intelligence artificielle a des effets très concrets en matière d'impact carbone. Plusieurs programmes de recherche tentent de comparer les différents modèles d'apprentissage des algorithmes, avec une question cruciale pour le développement du numérique : faut-il limiter des technologies trop énergivores ?
Cet article est extrait du mensuel Sciences et Avenir - La Recherche n°920, daté octobre 2023.
Demandez à ChatGPT quelle a été l'empreinte carbone des calculs nécessaires à son entraînement et vous obtiendrez cette réponse : "L'estimation de l'empreinte carbone pour l'entraînement de modèles comme GPT-3 était d'environ 284 tonnes de CO2, selon un article de recherche publié par OpenAI. Cela est comparable à l'émission de CO2 de la consommation d'énergie de 5 voitures américaines moyennes tout au long de leur durée de vie. "
Certains crieront au scandale énergétique, d'autres minimiseront. Avant de conclure trop vite, il faut revenir à la source du calcul. La plupart des recherches sur l'impact carbone de l'intelligence artificielle (IA) se focalisent sur la phase de l'entraînement, où les algorithmes tournent pendant des jours, des semaines pour apprendre des règles statistiques à partir de jeux de données. Le travail fondateur en la matière est dû à des chercheurs de l'Université du Massachusetts à Amherst (États-Unis) en juin 2019. Il portait sur la phase d'apprentissage de quatre modèles de langage : Bert, conçu par Google en 2018, GPT-2 (OpenAI, 2019), Transformer (Google Brain, 2017) et ELMo (Allen Institute for AI, 2018). En entraînant eux-mêmes ces algorithmes pendant une journée et en se reposant sur diverses informations contenues dans les articles consacrés à chacun des modèles, ils ont en effet établi qu'un seul modèle de langage pouvait atteindre l'empreinte carbone de cinq voitures. Mais il ne s'agit que d'estimations basses puisqu'elles ne concernent que les versions finales des algorithmes.
Toutes les précédentes, jugées pas assez performantes, ont elles aussi donné lieu à des phases d'entraînement, non comptabilisées ici. Surtout, il s'agit d'informations sur des travaux de recherche datant d'il y a cinq ans, quand la plupart des chercheurs alertent sur une augmentation de la puissance - donc de la consommation énergétique - des modèles.
Lire aussiF[...]
Lire la suite sur sciencesetavenir.fr
