Allier mathématiques et machine learning pour défricher les réseaux sociaux

Vous l’avez peut-être remarqué : sur les réseaux sociaux, certaines personnes que vous ne connaissez absolument pas sont pourtant susceptibles de partager avec vous un grand nombre de contacts. « Cela signifie que vous faites partie de la même communauté mais sans le savoir, souligne Marc Lelarge, chercheur au sein de la nouvelle équipe-projet commune ARGO (Apprentissage, graphes et optimisation distribuée). Pour détecter ces communautés, nous créons des algorithmes en partant d’une seule information – qui est connecté avec qui – sans avoir le moindre indice sur le nom des personnes ou le type d’interactions entre elles. Nous cherchons à connaître les limites de ces algorithmes pour qu’ils soient le plus efficaces possible. » 

Les chercheurs d’ARGO s’intéressent également à l'optimisation décentralisée, une méthode mathématique qui permet d’entraîner un modèle d’apprentissage, tout en gardant le contrôle de ses données, sans recourir aux capacités de calcul et de stockage des GAFAM (Google, Apple, Facebook, Amazon, Microsoft). 

Combiner algorithmique des graphes et machine learning

À l’origine, l’équipe-projet commune ARGO est la spin-off d’une autre équipe, DYOGENE (Dynamics of Geometric Networks) commune au département informatique de l’École normale supérieure de Paris et basée au centre Inria de Paris. « DYOGENE étudie les mathématiques des réseaux géométriques, issus de réseaux de communication, avec des techniques de modélisation probabiliste, comme les processus ponctuels », explique Marc Lelarge. 

Sa petite sœur, ARGO, dirigée par Ana Bušić, est née de la volonté d’aller plus loin comme le souligne Marc Lelarge : « Nous avons eu l’idée d’enrichir nos travaux avec des techniques d’apprentissage machine et d’y consacrer une équipe dédiée, poursuit le chercheur. Parce que nous collaborons depuis des années ensemble, il a été facile de nous réunir autour d’un intérêt collectif pour le machine learning, avec une forte composante sur l’algorithmique des graphes que nous avions déjà développée. »

Pour étudier en profondeur les réseaux sociaux, ARGO utilise des "algorithmes spectraux".  « Autrement dit, nous réalisons une analyse mathématique dénommée "analyse de Fourier" pour extraire des informations de données aux structures irrégulières comme, par exemple, les réseaux sociaux, précise Marc Lelarge. L’efficacité de cette analyse et son interprétation graphique permettent de repérer aisément les communautés. » Pour améliorer encore cette détection, les chercheurs recourent à des méthodes d’apprentissage machine non supervisé : les algorithmes apprennent alors à trouver des groupes à partir de données non étiquetées (non connues a priori), ainsi que des relations entre les variables.

Cette vidéo illustre la détection de deux communautés : au début les individus sont en ordre aléatoire et on ne voit aucune structure de connexion dans la matrice d'interaction, puis lorsque les individus sont rangés selon leur communauté, la structure des interactions fortes au sein de la communauté apparait grâce aux zones plus foncées.

Autre défi que compte relever l’équipe ARGO :  le contrôle des données. « Plutôt que de centraliser l’apprentissage sur un même serveur avec le risque de perdre le contrôle des données, celui-ci est distribué à un grand nombre d’utilisateurs dotés de moyens de calculs plus réduits, précise Kevin Scaman, chercheur au sein de l’équipe. Nous créons des algorithmes pour organiser et synchroniser cet apprentissage commun et décentralisé. C’est ce processus qu’on appelle l’optimisation décentralisée. » 

L’approche consiste à transmettre des gradients d’une fonction correspondant à la performance d’un modèle d’apprentissage qu’on veut améliorer, à des utilisateurs voisins ou connectés en permanence entre eux. Pour ce faire, les chercheurs utilisent des algorithmes de communication type Gossip (bavardage), afin de réaliser l’apprentissage d’un modèle à partir du simple calcul des moyennes locales entre utilisateurs. Cela, sans l’intervention d’un serveur central synchronisant les transferts d’informations. Une solution pour améliorer la performance d’un modèle de machine learning, tout en protégeant les données utilisées pour l’apprentissage.

D’ores et déjà, les résultats ne se font pas attendre pour cette équipe tout juste constituée... Les chercheurs d’ARGO ont publié ainsi des articles lors de conférences majeures dans le domaine du machine learning, comme NeurIPS (Neural Information Processing Systems) ou ICML (International Conference on Machine Learning). « L’un de nos doctorants a même obtenu un Best Paper Awards à NeurIPS, se félicite Marc Lelarge. Certains d’entre eux sont recrutés chez Inria, tel Hadrien Hendrikx à Grenoble, d’autres créent des startups innovantes, comme Guided Energy, fondée par Éric Daoud-Attoyan. Nous sommes fiers du travail de qualité des nombreux jeunes chercheurs que nous accueillons ! » 

Très dynamique, l’équipe participe aussi à plusieurs projets prometteurs, comme le Défi Inria FedMalin, autour de l’apprentissage distribué. Autre perspective positive : « Nous avons intégré très récemment un PEPR (Programme et équipements prioritaires de recherche), sur le projet REDEEM, se réjouit Kevin Scaman. Ce projet sur quatre ans réunit quatre équipes (DRIM du LIRIS, LIST du CEA, SYMPAS de l’École polytechnique, MAGNET du centre Inria de l'Université de Lille) en plus d’ARGO, pour coopérer sur des questions de souveraineté des données à partir de méthodes d’apprentissage décentralisé. Il est moteur pour notre équipe, puisqu’il va nous permettre de recruter trois nouveaux doctorants. » À suivre donc…

Présente sur de nombreux fronts, ARGO ne se limite pas aux réseaux sociaux… Dirigées par Ana Bušić, ses recherches portent également sur les réseaux d’énergie. L’objectif ? Mieux exploiter les énergies renouvelables, comme le photovoltaïque et l’éolien.

Concrètement, dans le cadre d’un réseau d’énergie, il s’agit de reporter l’utilisation de l’énergie dans le temps, pour que ce soit en dehors des pics de consommation, en début de soirée par exemple. Dans cette perspective, ARGO développe des algorithmes de contrôle distribué et de l’apprentissage dit "par renforcement", pour optimiser la production d’énergie renouvelable, pour apprendre quels sont les besoins en matière d’énergie des usagers, et pour mieux exploiter la flexibilité de leur demande, en utilisant par exemple l’inertie thermique des bâtiments. 

Au-delà de ses propres recherches, l’équipe ARGO collabore étroitement avec d’autres équipes Inria, comme WILLOW, dont les travaux portent sur les problèmes de représentation dans le domaine de la reconnaissance visuelle et la robotique.

« Nous avons œuvré sur le robot Upkie, entièrement open source, développé par Stéphane Caron (de WILLOW), avec l’ambition qu’il puisse être fabriqué par tout un chacun, décrit Marc Lelarge. Upkie se déplace sur deux roues. Pour qu’il soit stable, il est doté d’un mécanisme de contrôle actif. Nous cherchons à concevoir des algorithmes pour le faire tenir droit dans toutes les situations, même quand on le charge avec une masse inconnue. » 

ARGO collabore également sur la thématique de l’optimisation distribuée avec l’équipe SIERRA (Inria, ENS-PSL, CNRS), spécialisée en machine learning.

En savoir plus

Tout public : 

• « J’optimise donc j’apprends » (vidéo), conférence de Marc Lelarge à l’ENSEEIHT (via Les Maths à Toulouse), 10/11/2022. 
• « Une autre intelligence artificielle avec l’apprentissage sur graphes », Inria, 11/05/2023.

Pour les experts :

• Francis Bach (Inria) : “Distributed Machine Learning over Networks” (vidéo en anglais), LIDS (MIT), FODSI, septembre 2020.
• “Kullback–Leibler-Quadratic Optimal Control” (article scientifique en anglais), par Neil Cammardella, Ana Bušić, Sean P. Meyn, SIAM Journal on Control and Optimization 61 (5), 3234-3258. 2023.
• “Using loads with discrete finite states of power to provide ancillary services for a power grid” (brevet), Sean P. Meyn, A. Busic. US Patent 10,692,158. 2020. 
• “Actor Critic Agents for Wind Farm Control” (article scientifique en anglais), par Claire Bizon Monroc, Ana Bušić, Donatien Dubuc, Jiamin Zhu, ACC, 2023.