Les progrès spectaculaires du « deep learning » ont une contrepartie : la course à la puissance de calcul fait exploser le coût énergétique. Mais des solutions commencent à apparaître.

L'intelligence artificielle est-elle dangereuse pour le climat ? Les avancées récentes de l'apprentissage automatique profond (« deep learning ») ont permis aux machines de battre les meilleurs humains au jeu de go, d'effectuer des traductions dans toutes les langues courantes ou d'analyser des images et des conversations avec des résultats spectaculaires. Mais ces progrès ont une contrepartie : la quantité d'électricité nécessaire pour entraîner et utiliser ces algorithmes ne cesse d'augmenter.

Prenons l'exemple de GPT-3, un modèle de langue dévoilé cet été par le laboratoire californien OpenAI (« Les Echos » du 8 septembre 2021). GPT-3 peut produire des textes incroyablement proches de ceux rédigés par les humains. Mais son entraînement a nécessité l'équivalent de 355 années de calcul sur un processeur, pour un coût estimé à 4,6 millions de dollars.

Bien sûr, toutes les activités liées au numérique consomment de l'énergie, qu'il s'agisse de jouer à Minecraft, de faire une conférence sur Zoom ou de regarder une série en streaming. Mais les systèmes de deep learning sont particulièrement voraces en raison de la façon dont ils « apprennent » : ces réseaux de neurones ont besoin de grandes quantités de données, à partir desquelles ils adaptent leurs paramètres jusqu'à parvenir au résultat voulu.

Toujours plus d'énergie

La course à la performance à laquelle se livrent les géants de l'IA (Microsoft, Facebook, Google, Amazon…) aggrave le phénomène : selon les calculs d'OpenAI, la puissance de calcul utilisée pour entraîner les meilleurs systèmes d'IA. L'entraînement de GPT-3 a ainsi nécessité 500 milliards de mots et 175 milliards de paramètres, soit 100 fois plus que la version précédente, GPT-2, sortie un an plus tôt !

« Pour obtenir de meilleures performances, vous avez besoin de toujours plus de données, et de toujours plus de calculs, explique Neil Thomson, chercheur au laboratoire d'informatique et d'IA du MIT.Or on constate que la puissance de calcul augmente plus vite que les performances, et se traduit par une hausse de la consommation électrique. »

Chercheurs de l'université du Massachusetts,avait tenté de calculer l'empreinte carbone des systèmes d'IA, en se basant sur le type de processeurs utilisés, sur la situation géographique des serveurs et sur le mix de production électrique employé (gaz, renouvelables, charbon ou nucléaire). Selon leurs estimations, l'entraînement d'un des plus gros modèles de traitement du langage correspond à plus de 300 tonnes de CO2 émises, soit l'équivalent de six voitures durant tout leur cycle d'utilisation, essence incluse !

Aujourd'hui, le deep learning n'est qu'une goutte d'eau dans le 1,4 milliard de tonnes de CO2 émises chaque année par l'ensemble du secteur numérique, qui lui-même pèse pour près de 4 % des émissions mondiales. Mais cette goutte ne cesse de grossir, à mesure que les systèmes d'IA sont adoptés par les entreprises. « A terme, un déploiement massif de l'intelligence artificielle pourrait avoir un impact énergétique significatif », estime Hugues Ferreboeuf, directeur de projet au Shift Project.

D'autant que l'étude de juin 2019 ne portait que sur l'entraînement initial des systèmes, sans prendre en compte leur utilisation, « dont le coût énergétique peut être tout aussi élevé, voire plus », selon Neil Thomson. A cela s'ajoute le besoin de réentraîner régulièrement les systèmes d'intelligence artificielle pour conserver leur niveau de performance. « L'apprentissage automatique utilise des données du passé pour prédire le présent et le futur, explique Bertrand Braunschweig, ancien directeur de la mission Inria de coordination du plan IA. Ces systèmes ne sont donc pas utilisables en l'état éternellement : pour les remettre à jour, il faut généralement les réentraîner. »

Un outil pour mesurer l'empreinte carbone

La bonne nouvelle est que la communauté de l'intelligence artificielle semble prendre conscience de ce défi énergétique, y compris au plus haut niveau. Yoshua Bengio, un des trois « pères fondateurs » du deep learning, présentera un outil permettant aux développeurs d'estimer l'empreinte carbone de leurs systèmes, CodeCarbon. Il est issu d'un partenariat entre le Mila, l'institut de recherche fondé et dirigé par Yoshua Bengio à Montréal, BCG Gamma, l'entité de data science du Boston Consulting Group, l'université américaine Haverford College (Pennsylvanie) et Comet, une plateforme d'outils pour le machine learning.

CodeCarbon est un logiciel open source que les développeurs peuvent inclure dans leur code, et qui va automatiquement chercher des informations sur le montant de CO2 nécessaire pour exécuter leur programme. Le résultat peut varier en fonction du code lui-même, mais aussi du fournisseur de services cloud utilisé pour effectuer les calculs. Les données sont affichées sous forme de tableau de bord, et assorties de recommandations pour optimiser l'efficacité énergétique (lire ci-contre).

« L'objectif est d'aider les 'data scientists' à prendre conscience du problème, et de les inciter à agir, explique Tristan Mallet, directeur associé de BCG Gamma Montréal. Nous pensons que l'IA et les solutions d'analyse des données peuvent permettre de résoudre beaucoup de problèmes liés à l'énergie et au changement climatique, mais à condition de bien les utiliser. »

A plus long terme, la prise en compte de l'empreinte carbone pourrait même pousser à repenser la façon dont les modèles de deep learning sont conçus et entraînés. « Aujourd'hui, en particulier dans le traitement du langage, l'idée est que plus le modèle est gros, plus il est efficace, estime Victor Schmidt, étudiant au Mila qui fait partie des concepteurs de CodeCarbon. Ce n'est pas forcément le cas dans tous les domaines. » Pour Neil Thompson, du MIT, l'impératif de sobriété pourrait aussi remettre au goût du jour l'autre grand courant historique de l'intelligence artificielle : l'approche symbolique, basée sur des règles et de la logique. Tombée en désuétude suite aux prouesses de l'approche statistique, sur laquelle repose le deep learning, l'approche symbolique est bien moins gourmande en calcul, et donc en énergie.

Réduire l'empreinte carbone des algorithmes

Le logiciel CodeCarbon, qui permet aux développeurs d'évaluer les émissions de CO2 de leurs programmes d'apprentissage automatique, donne aussi des conseils pour limiter leur empreinte carbone.

• Bien choisir son cloud. Les calculs intensifs nécessaires à l'IA sont généralement effectués dans le cloud. Or les différents fournisseurs (AWS, Google Cloud, Microsoft Azure, OVH…) ont des politiques différentes en matière d'achat d'énergie ou de compensation de leurs émissions.
• Sélectionner l'emplacement géographique des serveurs. Le mix énergétique de la région où sont situés les serveurs a une influence directe sur les émissions. Quand c'est possible, mieux vaut choisir le Québec (pour l'hydroélectricité) ou la France (pour le nucléaire) que l'Ohio, où le charbon est majoritaire.
• Faire attention aux processeurs. Les puces (CPU, GPU ou TPU) utilisées pour les calculs n'ont pas toutes la même efficacité énergétique.
• Chasser le gaspillage. Certaines méthodes de mise au point et d'entraînement des modèles sont plus énergivores que d'autres. Par exemple, multiplier systématiquement les essais avec des paramètres très proches n'est pas forcément gage d'efficacité.

Un rapport et un colloque sur la sobriété numérique

Le numérique représente entre 3 et 4 % des émissions de CO2 dans le monde, une part équivalente à celle du transport aérien. Mais la consommation d'énergie globale des ordinateurs, smartphones, objets connectés et autres data centers augmente de 9 % par an. D'où la nécessité d'adopter une démarche de sobriété numérique, un concept mis en avant depuis 2018 par le think tank The Shift Project. Signe que les entreprises ont pris conscience de l'enjeu, le Cigref, qui regroupe 150 grands groupes et administrations en France, vient d'y consacrer un rapport, en partenariat avec les équipes du Shift Project. De la gestion du cycle de vie des appareils au choix des infrastructures, en passant par l'impact des grandes ruptures technologiques (dont l'IA), il fournit de nombreux retours d'expériences et s'accompagne d'une liste de 100 bonnes pratiques. Un colloque de présentation du rapport aura lieu en ligne jeudi 26 novembre.

Author: Benoît Georges

Original article: 2020-11-24