Régulation des algorithmes : où en est le projet-pilote Regalia ?

Dans quel contexte a été créé le projet-pilote Regalia ?

Fin 2019, Inria a pris conscience lors de ses échanges avec la Direction générale des entreprises (à Bercy) de l'importance prise par les sujets de régulation des grands acteurs du numérique pour les pouvoirs publics. Un constat s'est imposé : réguler des plates-formes "gouvernées" par des algorithmes (de modération, de recommandation, de pricing, pour ne citer qu’eux) n'est pas un sujet simple et dépasse les possibilités manuelles des autorités en charge de la régulation. Certains procès, contre de grandes plates-formes américaines par exemple, prennent plusieurs années et les dommages à la concurrence s'accumulent.

L'expertise d'Inria sur des sujets proches des enjeux de la régulation, comme la détection de biais, de contenus haineux, ou l'explicabilité des algorithmes, a semblé cruciale à deux titres pour Bercy : méthodologiquement, pour aider le régulateur et le législateur à faire évoluer le cadre réglementaire européen, et techniquement pour participer à l’élaboration d’un socle de technologies en appui des autorités en charge de la régulation.

C'est sur cette double casquette, qu'en 2020, s'est créée Regalia, pour REGulation des ALgorithmes d'IA, au sein de la DGDS, comme projet-pilote en appui des autorités publiques. 

Quels sont les enjeux derrière la régulation des plates-formes numériques, et comment Regalia y répond ?

Le premier enjeu est d'ordre réglementaire : pour "rendre illégal en ligne ce qui est illégal dans la vraie vie" (pour paraphraser la commissaire européenne Margrethe Vestager), des évolutions du droit européen étaient nécessaires. Une task force interministérielle "Régulation des plates-formes numériques" a été créée par la DGE, pour coordonner la vision des différentes parties prenantes, instruire le sujet auprès des cabinets ministériels et in fine soutenir la position française en Europe. Task force à laquelle Regalia participe depuis bientôt trois ans. On considère que les deux règlements européens votés en juillet 2022, le DSA (Digital Services Act) et le DMA (Digital Markets Act) sont un bon reflet de la position française. Il faut savoir que ces règlements sont les premiers au monde avec une telle portée sur les grands acteurs du numérique. Pour mémoire, ces régulations sont dites asymétriques, à savoir que les contraintes qui portent sur les acteurs ne sont pas les mêmes selon leur taille (et donc sont liées aux risques qu'ils font courir). De fait, les grosses plates-formes américaines et chinoises sont dans le viseur de ces nouveaux textes. 

Le deuxième enjeu est plus opérationnel : préparer les autorités de régulation à l'évolution technique de leur rôle, et pour cela proposer des méthodologies et des bonnes pratiques pour évaluer par audit la conformité des algorithmes des plates-formes vis-à-vis des règles établies. À l'image de ce que l'on a connu dans les banques après 2008, la régulation est dite ex ante, et il s'agit pour les acteurs régulés de montrer (et au régulateur de vérifier) qu'il met en place les moyens nécessaires à la couverture des risques. Nous créons pour cela des cas d'usage typiques liés à des non-conformités en collaboration avec le pôle d'expertise de la régulation numérique (PEReN) de Bercy ou avec des entreprises françaises intéressées à l'idée de s’autoréguler.  L'objectif est de mieux cerner les difficultés à poser un bon protocole d'audit, et à détecter les biais ou déloyautés avec pertinence et efficacité.

En effet, auditer une plate-forme en production peut s'apparenter à de l'audit d'algorithme en boîte noire qui est un sujet de recherche vaste et en plein essor. Qui plus est, l'auditeur est contraint dans son approche car il doit non seulement identifier des biais "à valeur probante" pour être utile au régulateur, mais il doit effectuer des requêtes à l'algorithme de façon frugale (pour ne pas perturber le service) et furtive, afin de ne pas être identifié comme trop atypique par la plate-forme. Ces formes de "testing" à l'image des testings de discrimination auxquels nous sommes habitués depuis quelques années hors-ligne, sont délicates à élaborer, tant les données d’entrée et les comportements que l'on veut tester sont complexes et multidimensionnels.   

Quel bilan peut-on tirer de ces (presque) deux premières années de Regalia ?

Au global, plusieurs autorités en charge de la régulation ont marqué un intérêt fort pour des démarches d'audit quantitatif, sentant leurs limites techniques actuelles et la pression des textes européens. On voit même des sociétés de conseil, toujours en première ligne sur ces sujets, se présenter comme auditeurs d'algorithmes à destination des entreprises. Des laboratoires de recherche (comme le LNE) font œuvre de méthodologie pour aller vers la certification d'algorithmes et quelques startups émergent, en France, au Royaume-Uni et en Allemagne par exemple, pour participer à la certification de la conformité. Du côté des entreprises, une forme de crainte du dérapage, ou au moins de prise en compte des biais possibles de leurs algorithmes, avec la création d'équipes ad hoc, est déjà perceptible.

Mais soyons francs, ceci avance lentement, et il faudra attendre la véritable mise en place des textes DSA et DMA et par la suite l'IA Act, pour que la peur du gendarme se traduise en investissements significatifs et en l'émergence d'un écosystème de l'audit.

Pour Regalia, la première bonne nouvelle est que notre librairie d'audit fonctionne et est connectée à la librairie de scraping (interrogation de site web à distance) du PEReN. Ceci nous permet désormais en quelques jours d'effectuer des campagnes de test et de détecter des variables ayant une influence inattendue sur les décisions de la plate-forme. Nous l'avons appliquée à des acteurs de la livraison de repas à domicile et à des comparateurs de prix de voyage en ligne.

Pour vous faire sentir une des difficultés de l’audit en boîte noire sous contrainte de frugalité, je pourrais citer l’exemple de la recherche de biais de favoritisme dans une agence de voyage en ligne. Imaginons que le régulateur suspecte (c’est arrivé dans le passé donc la suspicion est légitime) que l’agence de voyage ne respecte pas son engagement. Elle prétend que les hôtels qui vous sont recommandés le sont par ordre de préférence décroissante, compte tenu de votre historique de réservation. Mais supposons qu’en réalité, ce n’est pas votre préférence qui est utilisée comme critère mais la commission que verse l’hôtel à l’agence voire un mélange de votre préférence et de la commission versée. Elle aurait dû le préciser et donc, si les faits sont avérés, l’agence de voyage est potentiellement sanctionnable pour démarche commerciale trompeuse.

Comment vérifier qu’il y a tromperie ? On peut par exemple créer des profils clients (des persona) très différentiés en termes de préférence, les faire cliquer ou regarder dans le détail des styles d’hôtels très différents pour marquer leur intérêt. Et tester sur un panel de villes assez large pour espérer identifier des hôtels non préférés qui semblent pourtant fortement recommandés. Être frugal revient alors à n’insister que sur les villes ou périodes suspectes pour mettre en avant qu’une marque d’hôtel est favorisée. C’est donc une problématique d’échantillonnage qui doit s’adapter à ce qu’on découvre au fil de l’eau tout en minimisant le nombre d’échantillons testés. Il y a beaucoup de travaux, en mathématiques et en IA pour optimiser de tels échantillonnages et petit à petit reconstruire un modèle approché de l’algorithme de recommandation de l’agence, et ainsi bâtir un argument solide statistiquement pour illustrer la manœuvre déloyale de favoritisme ou de self-preferencing.

Nous lançons d'ailleurs trois doctorats avec deux équipes de recherche d'Inria sur ces sujets. Une thèse démarre cette année, encadrée par Erwan Le Merrer du centre Inria de l’Université de Rennes, dans l’équipe WIDE, sur l’auditabilité en boîte noire des algorithmes dans la lignée de leurs travaux.

Pour faire œuvre de pédagogie sur ces sujets nous avons lancé le mois dernier (octobre 2022) un hackathon à destination d'étudiants de masters en data science, le "défi IA", sous forme de challenge Kaggle. 80 équipes-projets auditent un algorithme de pricing d'agence de voyage en ligne fictive, biaisé par nos soins. Nous nous préparons également à lancer des audits de marketplace avec des étudiants cette fois, qui joueront le jeu de persona, trahissant des comportements statistiquement écartés les uns des autres, afin de visualiser, in vivo, les réponses des algorithmes de recommandation et leurs biais éventuels. 

Le partenariat scientifique avec l'équipe du PEReN, à Bercy, équipe d'une vingtaine de data engineers et data scientists, nous permet d'interagir avec les autorités de régulation et de nous focaliser sur des problématiques à fort enjeu pour l'action publique. J’ai cité l’exemple du biais de favoritisme (dont le self-preferencing peut être vu comme un cas particulier), qui est important dans le droit commercial, mais il a également de l’impact en droit du travail. Certaines plates-formes de livraison de repas à domicile ont été accusées par exemple, de favoriser certains livreurs par rapport à d’autres dans l’octroi de courses. Ici c’est l’algorithme d’affectation ("dispatching") qui est pointé du doigt. Un sujet qui revient fréquemment, en particulier dans le secteur bancaire, est la discrimination client cette fois. Est-ce que certains types de clients reçoivent des offres ou des prix qui semblent basés sur une caractéristique "sensible". Comme le genre, l’ethnie ou la supposée appartenance à un groupe religieux. Détecter en boîte noire de tels biais, de manière systématique, permettrait de limiter l’impact de ces traitements différentiés qui défavorisent des sous-populations au profit d’autres.  

Enfin, au-delà des doctorats en cours et à venir sur des thèmes proches de Regalia, nous avons entamé des collaborations scientifiques avec des équipes de statistiques et d'optimisation, chez Inria, à l'Institut de Mathématiques de Toulouse et à l'Université Côté d'Azur. Pour ne citer qu’un exemple de collaboration, des travaux de l’équipe de Jean-Michel Loubes à l’IMT portent sur la réparation minimale d’un algorithme biaisé. En effet, une fois que le constat de biais est réalisé, et que l’entreprise souhaite réparer son algorithme, car le biais n’était pas intentionnel, est-il possible de modifier cet algorithme en sacrifiant le moins possible la performance tout en corrigeant le biais ou tout au moins en le limitant à une valeur admissible. Des techniques existent, dans certains cas, pour garantir d’effectuer cette réparation à impact minimal sur la performance. Plus globalement, nous cherchons au-delà de la détection efficace des biais à aller vers des approches de certification voire de réparation des algorithmes étudiés.