Outils de décision automatique : opportunités et risques pour nos sociétés

Votre étude porte-t-elle sur les algorithmes d’aide à la décision ou sur les décisions automatisées ? Pouvez-vous nous donner un exemple concret d’une application où la décision automatisée est déjà opérationnelle ?

Le rôle joué (ou pas) par l’humain dans la décision est effectivement une question essentielle. Dans certains cas, comme des systèmes de pilotage de métro automatique ou des logiciels de passage d’ordres en bourse, la décision est entièrement automatisée. Dans d’autres cas, comme les moteurs de recherche ou les plates-formes de réservation d’hébergements par exemple, il s’agit clairement de recommandations qui restent à la libre appréciation du destinataire.

Cependant, la frontière n’est pas toujours aussi claire.
Considérons, par hypothèse, le cas d’un médecin disposant d’un système d’aide au diagnostic réputé fiable, et dont il suivrait systématiquement les recommandations. Formellement, il ne s’agit pas de décision automatisée puisque celle-ci relève en dernier ressort du médecin, mais s’il ne remet jamais en cause le résultat de l’algorithme, on pourrait dire qu’en réalité c’est le système qui décide.

Ces questions sont d’autant plus critiques que les algorithmes d’aide à la décision concernent quasiment tous les domaines aujourd’hui, à tel point que beaucoup d’internautes n’ont même plus conscience de leur existence (c’est le cas notamment de beaucoup d’utilisateurs de Facebook, et de son algorithme de gestion des fils d’actualité). Nous tenons à insister aussi sur le fait que tous ces algorithmes ne reposent pas sur l’apprentissage, même si cette technique pose des questions plus complexes et se trouve plus sous les feux des projecteurs. Par exemple, les algorithmes de Parcoursup ou de Score Cœur (pour l’appariement entre donneurs et receveurs de greffons) soulèvent des questions intéressantes sans pour autant relever de l’apprentissage.

Selon vous, quelles sont les raisons qui font que l’on s’oriente vers ce type de techniques ?

Il y a trois raisons dominantes.

Tout d’abord, ces applications réalisent certains types de tâches de façon plus efficace que l’Homme. Par exemple, le métro automatique permet d’améliorer à la fois la sécurité et la fluidité du trafic. On peut espérer les mêmes bénéfices avec les voitures autonomes.

Ces systèmes rendent aussi possible le traitement de gros volumes de données, bien au-delà de ce que peut faire l’humain (par exemple, pour analyser un grand nombre d’images ou un historique important de jurisprudence).

De manière générale, leur utilisation peut permettre de réduire les coûts, d’offrir de meilleur services, ou même de rendre possibles des services complètement nouveaux. Le domaine médical en fournit une multitude d’exemples à cet égard : on peut utiliser ce genre de systèmes pour améliorer les prises de décisions en matière de parcours médical (hospitalisation ou traitement à domicile par exemple, opportunité d’examens complémentaires, etc.), pour détecter beaucoup plus tôt des symptômes de maladie, pour analyser les effets des traitements, etc.

Et quels en sont les risques ?

Il existe différents types de risques.

Ceux dont on parle le plus, notamment pour les systèmes qui reposent sur l’apprentissage, sont les risques liés aux biais dans les données utilisées pour entraîner ces systèmes.
En effet, les données disponibles reflètent forcément les biais existant dans les comportements passés. Il existe des cas bien connus comme celui du système COMPAS de prédiction de la récidive qui est utilisé dans certaines cours de justice américaines. Il a été montré par exemple que COMPAS se trompe beaucoup plus souvent en défaveur des justiciables noirs : le nombre de faux positifs (personnes considérées à tort comme à fort risque de récidive) est deux fois plus important dans la population noire que dans la population blanche.
Il existe également des risques liés à la sécurité car ces systèmes peuvent facilement être attaqués, et leurs mécanismes peuvent être contournés (illustration d’attaques avec les images du rapport p.35).
Il existe enfin des risques liés à la vie privée, dans la mesure où ces systèmes sont très consommateurs de données personnelles. Ces données, qui peuvent être très sensibles comme les données de santé, sont utilisées en phase opérationnelle mais aussi en amont, dans la phase d’entraînement.

À votre avis, que faudrait-il faire pour bénéficier de toutes ces promesses sans en payer les contreparties ? Pour quelles raisons est-ce si difficile à faire ?

Nous avons formulé plusieurs recommandations dans le rapport. Il est aussi accompagné d’un second document intitulé « Options Brief  » plus spécifiquement destiné au législateur européen.
La démarche qui nous paraît saine en la matière est celle de l’analyse d’impact. De la même manière que la RGPD impose de réaliser des analyses d’impact "vie privée", il faudrait rendre obligatoires les études d’impact "algorithmique" avant le déploiement des systèmes qui peuvent affecter significativement la vie des personnes concernées. Depuis la publication de notre rapport, le Canada a d’ailleurs adopté une directive dans ce sens. De manière plus générale, il faut rendre plus concrètes et "vérifiables" les déclarations de bonne conduite et autres chartes d’éthique qui se multiplient aujourd’hui à propos de l’IA. Nous insistons beaucoup dans le rapport sur cette notion d’accountability, c’est à dire d’obligation de rendre des comptes.

Du point de vue de la recherche, le plus gros chantier aujourd’hui est celui de l’explicabilité.

Comment faire en sorte que les décisions prises ou recommandées par ces systèmes soient compréhensibles par les humains ? Cette question est d’autant plus critique quand c’est l’humain qui, in fine, doit prendre la décision et en endosser la responsabilité. On sait pourtant que, pour certains types d’applications, les systèmes les plus précis (au sens de la correction des prévisions) sont aussi les plus opaques. On peut penser aux réseaux de neurones profonds notamment. Comment concilier précision et explicabilité ? Comment formuler les explications pour qu’elles soient véritablement utiles ? Comment mesurer cette utilité ? Toutes ces questions vont susciter de nombreux travaux de recherche dans les années à venir et nous pensons qu’il est important de mener ces travaux de manière interdisciplinaire, non seulement avec des juristes mais aussi des psychologues, sociologues, philosophes, etc.
Beaucoup de questions se posent aussi du point de vue réglementaire : par exemple, dans quels cas exiger l’explicabilité ? Dans quels domaines exiger une certification des outils d’aide à la décision (à l’instar, par exemple, des dispositifs médicaux) ?
Enfin, il est nécessaire de mettre sur pied un débat de société sur certains usages de ces outils d’aide à la décision : par exemple en matière de reconnaissance faciale, comme le recommande la CNIL, dans les domaines militaire, judiciaire, etc. Ce débat est d’autant plus nécessaire que certains principes ou objectifs peuvent entrer en tension et qu’il est parfois nécessaire de décider où nous souhaitons positionner le curseur. Il peut exister notamment des tensions entre efficacité (ou précision) et explicabilité des systèmes, entre vie privée et sécurité des personnes, etc. Il est important aussi de poser ces questions en considérant tous les risques et bénéfices liés à l’usage ou au non-usage des système d’aide à la décision.

Pour quelles raisons la Parlement européen s’est-il tourné vers vous pour ce rapport ?

La réalité est que les femmes et hommes politiques, que ce soit au niveau européen ou à l’échelle nationale, ont généralement une formation plutôt littéraire ou juridique : ils ont conscience des enjeux en la matière mais sont souvent démunis devant la complexité des questions techniques. Ils sont donc demandeurs d’expertise. Ils sont venus vers nous, comme d’autres institutions (Conseil de l’Europe, Assemblée nationale, etc.) parce que nous sommes reconnus pour nos travaux scientifiques mais aussi parce que nous avons adopté depuis des années une démarche interdisciplinaire. C’est ce qui nous permet notamment de comprendre les questions juridiques et de pouvoir échanger avec le législateur sur ces sujets. Nous pensons qu’à l’ère des sociétés technologiques, il est impératif de plus développer ces compétences transverses. Inria en particulier a un rôle important à jouer et devrait être plus volontariste sur ce terrain.