Comment éviter les cas de discrimination tout en protégeant les données des utilisateurs ?

Comment apporter des informations pertinentes et personnalisées aux internautes, tout en ayant de moins en moins accès à leurs données personnelles ? Comment s’assurer qu’une publicité ou une offre d’emploi pourront être vues de façon non-discriminatoire par les personnes à qui elles sont poussées ? Des questions d’actualité, qui sont centrales pour l’organisateur de places de marché publicitaires Criteo, dont les outils sont ceux du machine learning.

Les données sont de moins en moins fournies, et elles sont de moins en moins précises, car des mécanismes (technologiques ou algorithmiques) sont mis en place pour les défaire de données dites sensibles – auxquelles Criteo n’a d’ailleurs pas accès – et être utilisées comme des critères discriminants. Parallèlement, quand on exploite les données, les algorithmes peuvent détecter et renforcer des biais, même sans avoir accès à ces données sensibles des internautes

explique Vianney Perchet, chercheur chez Criteo, ainsi qu’au CREST, professeur à l’ENSAE Paris et coresponsable scientifique de l’équipe-projet Inria FAIRPLAY. « La question se pose aujourd’hui de savoir mesurer à quel point les algorithmes sont discriminants, tout en respectant la protection des données », ajoute-t-il.

Mais alors comment expliquer cette discrimination par les systèmes de machine learning, alors même que les données sensibles des utilisateurs sont protégées ? Plusieurs raisons expliquent cette problématique. D’abord, le fait de ne pas avoir accès aux données privées, comme le genre de l’internaute, ne garantit pas de ne pas avoir de discrimination - sur ce même critère. « Il existe de nombreuses données non sensibles, qui sont extrêmement corrélées aux données jugées sensibles, comme les sites consultés par les internautes qui peuvent donner des indications sur le sexe de la personne qui consulte ces sites », explique Patrick Loiseau, chercheur Inria et coresponsable scientifique de l’équipe-projet. Autre problématique : les aspects multiagents, qui rendent les choses plus difficiles. « Typiquement, dans un système d’enchères les décisions sont prises de façon asynchrone et décentralisée. La faute ne revient pas forcément au publicitaire, car la décision finale d’impression d’une publicité est le résultat d’une chaîne de décisions intermédiaires prises par différents agents », indique-t-il.

Pour répondre à cette problématique, Inria, Criteo et le CREST (unité mixte de recherche CNRS-ENSAE Paris -ENSAI-École polytechnique) ont décidé de travailler main dans la main au travers de la création d’une équipe-projet commune. Baptisée FAIRPLAY, cette équipe-projet est composée de cinq chercheurs académiques (Inria, ENSAE Paris et École polytechnique) et de quatre chercheurs et ingénieurs de Criteo. Son credo : étudier les problèmes d’apprentissage dans les systèmes multiagents.

Il a - par exemple - été prouvé que les femmes reçoivent des offres d’emploi en moyenne moins bien payées que les hommes.

L’objectif derrière le travail de l’équipe-projet est ainsi d’améliorer les systèmes automatiques de places de marché, mais également d’être en mesure de connaître le degré de discrimination de certains algorithmes, le tout en restant compatible avec les notions de protection de vie privée.

« Notre idée, c’est d’être proactifs dans la création de ces algorithmes et leur mise en place, pour les forcer à respecter des contraintes globales d’équité », indique Vianney Perchet. « On aborde cela à l’aide de la théorie des jeux, qui est un outil de modélisation des systèmes multiagents qui permet d’évaluer la qualité des systèmes et de trouver des solutions », ajoute Patrick Loiseau.

Comme pour une équipe-projet classique, FAIRPLAY a été créée pour une durée de quatre ans, renouvelable. Elle sera hébergée à la fois au CREST et chez Criteo.