Réduire l'empreinte carbone de l'apprentissage automatique

Selon une étude publiée dans la revue Nature, un modèle de formation standard utilisé pour le traitement du langage naturel en 2019 avait émis 300 000 kg de CO₂, soit l'équivalent de 125 vols aller-retour entre New York et Pékin. Cinq ans plus tard, tous les secteurs de la société adoptent avec enthousiasme les réseaux de neurones profonds et, à mesure que l'intelligence artificielle prend des proportions sans précédent, le bilan pour la planète s'alourdit.

Le projet européen SustainML a donc pour principal objectif d’élaborer un cadre qui permettra aux concepteurs d'IA de prendre plus facilement en compte la consommation d'énergie de leurs applications d'apprentissage automatique lorsqu'ils les développent. Janin Koch, scientifique de l’équipe-projet Ex-Situ commune au centre Inria de Saclay, à l’Université Paris-Saclay, et au CNRS au sein du LISN, étudie plus particulièrement des moyens d’exploiter l'interaction humain-machine (IHM) pour aider les concepteurs d'IA à prendre des décisions plus durables tout au long du cycle de vie de l'intelligence artificielle et pour les sensibiliser aux compromis coût-bénéfice qui sous-tendent chacun de ces choix.

Le projet a démarré en octobre 2022 et c’est la société espagnole de middleware eProsima qui assure sa coordination. Le consortium comprend également IBM, la société française de semi-conducteurs UPMEN, l’Université Kaiserslautern-Landau (RPTU), l'Université de Copenhague, le centre de recherche allemand sur l'intelligence artificielle (DFKI) et Inria, l’Institut national de recherche en sciences et technologies du numérique.

Quantifier l'impact carbone des modèles de machine learning

Le projet englobe différents domaines de recherche. L'un des aspects fondamentaux est la quantification de l’impact environnemental des algorithmes et, plus précisément, des conséquences de chaque décision prise tout au long du cycle de vie du machine learning (ML). Par exemple, le choix de former un modèle de ML dans une installation basée sur le cloud utilisant de l'hydroélectricité renouvelable non fossile, plutôt que dans un centre de données alimenté par une centrale au charbon, fera évidemment une grande différence dans la quantité de carbone émise.

Toutefois, on peut aller encore plus loin. Selon Janin Koch, il s'agit d'un problème beaucoup plus vaste que le simple choix d'une solution cloud propre. « En réalité, il s'agit de réfléchir à ce dont nous avons réellement besoin. La tendance dans la communauté de l'IA est de dire : plus il y a de données, plus le modèle est complexe, meilleur est le résultat final. Dans une certaine mesure, ce n'est pas totalement infondé, surtout lorsqu'il s'agit de problèmes complexes. Cependant, de nombreuses applications ne nécessitent pas nécessairement ce niveau de précision ou ce volume de données. »

Par conséquent, avant même de commencer un projet d'IA, les scientifiques devraient se demander : "De quoi ai-je vraiment besoin ?" Existe-t-il des solutions plus durables qui nécessitent moins de données ou moins de temps d'exécution ? Au lieu de collecter de grandes quantités de données, ne pourrais-je pas simplement réutiliser ou réadapter des ensembles de données existants ? Dois-je créer et former un modèle à partir de zéro ou puis-je réutiliser un modèle déjà disponible dans les référentiels de code ? Est-il vraiment nécessaire de faire fonctionner mon modèle pendant longtemps ? « En fin de compte, il ne s'agit pas seulement d'améliorer un algorithme mais plutôt d'optimiser l'ensemble du cycle de vie de l’application. »

Cadre interactif centré sur l'humain

Outre la sensibilisation aux compromis en matière de durabilité, le projet vise à créer un outil interactif qui aidera les développeurs à prendre des décisions plus durables à chaque étape du processus de développement. C'est là qu'intervient la contribution de Janin Koch : « Mon domaine de recherche est l'interaction humain-machine. Je m'intéresse à la manière dont les humains et les systèmes peuvent collaborer pour explorer de nouvelles idées. L’IHM concerne à la fois la manière dont les utilisateurs exposent leurs objectifs à un système et la manière dont les systèmes font des suggestions et les expliquent de manière itérative.  »

« Dans le contexte de ce projet, cela revient à demander : Que savent les développeurs avant de commencer un projet, et comment pourraient-ils décrire l'objectif global à un système ? Il arrive que ce soit assez vague. C’est pourquoi nous étudions comment les systèmes peuvent aider à déterminer ce qui est nécessaire pour atteindre un objectif donné et, pour ce faire, quelles sont les approches qui conviendraient. »

Pour qu'un tel outil fonctionne, il doit être capable d'expliquer à l'utilisateur comment une décision est prise, comment une conclusion est tirée, comment une contrainte est appliquée. « En réalité, ce processus est assez difficile. Si un algorithme affirme qu'une décision particulière est meilleure de 80 %, qu'est-ce que cela signifie pour l'utilisateur ? Ce n'est pas ainsi que les gens comprennent les choses. » Elle suggère plutôt de contextualiser les explications dans le cadre des objectifs du projet et du processus de l'utilisateur, afin de les rendre plus parlantes.

Janin Koch participe également à deux projets européens étroitement liés à cette dernière ligne de recherche. Le premier est ALMA, un projet destiné à offrir une approche de l'apprentissage automatique algébrique (AML) centrée sur l'humain. Cette technique d'apprentissage automatique relativement nouvelle présente des propriétés mathématiques qui ouvrent la voie à une IA plus compréhensible. C’est une méthode qui peut offrir une meilleure transparence quant aux raisons pour lesquelles les décisions sont prises et qui vise à donner à l'utilisateur une plus grande latitude pour interagir avec l'algorithme.

La deuxième initiative, l'un des cinq projets du réseau d'excellence ICT 48 est le programme HumanE AI. Cette initiative, qui rassemble 53 institutions, vise essentiellement à orienter la révolution de l'intelligence artificielle dans une direction qui respecte les valeurs éthiques de l'Europe. À cet égard, l'un des principaux défis identifiés est de développer des systèmes dont les objectifs sont qu’ils comprennent les humains, s'adaptent à des environnements réels complexes et interagissent de manière appropriée dans des contextes sociaux complexes.

Faisant écho à cette vision, le projet SustainML devrait avoir un impact significatif sur ce que l'on appelle la « démocratisation de l'IA verte », en permettant non seulement aux géants de la technologie, mais aussi aux PME, aux passionnés du secteur privé, aux ONG et aux innovateurs individuels de développer l'IA d'une manière plus durable.