Un corpus de centaines de milliers de décisions à analyser
L’application de la loi est-elle égale pour tous ? Comment la Cour de cassation, plus haute juridiction du système judiciaire français, parvient-elle à contrôler l’application de la loi par les juridictions inférieures ? Pour la Cour de cassation, identifier les divergences dans l’application de la loi représente un travail titanesque, tant la masse de données s’accroît au fur et à mesure des décisions rendues par la justice. En effet, la Cour de cassation doit identifier, parmi les décisions que rendent ses six chambres, des interprétations contradictoires d’une même question juridique ou d’une même loi. Ce travail de détection, long et fastidieux, est réalisé aujourd’hui à la main par les juristes de la Cour. Cette identification des divergences est complexe, elle nécessite non seulement de solides compétences d'analyse juridique mais aussi une parfaite maîtrise de la loi et de la jurisprudence.
Jusqu’à présent, ce travail reposait exclusivement sur l'expertise humaine (magistrats et fonctionnaires de la Cour de cassation, analyses d'universitaires dans des revues juridiques). Or, une détection exhaustive des divergences nécessiterait la comparaison de centaines de milliers de décisions, ce qui est impossible à réaliser sans augmenter considérablement les effectifs. Dans un contexte de transformation numérique des administrations, les solutions d’intelligence artificielle (IA) offrent des pistes d’amélioration.
"Rapprochements" et "divergences" : entraîner l’IA en collaboration avec les experts
Conçu pour faciliter la vie des agents du service public, le Lab IA, permet aux institutions publiques d’explorer les possibilités offertes par les sciences du numérique en coopérant avec les chercheurs d’Inria. Ioana Manolescu, directrice scientifique du Lab IA, met ainsi en relation les projets sélectionnés et les experts scientifiques. Pour ce projet, ce sont des membres de l’équipe-projet ALMAnaCH qui ont accepté ce challenge : Benoît Sagot, Rachel Bawden, spécialistes du traitement automatique des langues (TAL) et Thibault Charmet, ingénieur. Leur objectif était double : développer des outils susceptibles d’aider les juristes dans leur travail et permettre une meilleure détection des divergences. Pour cela, ils se sont attelés à une tâche capitale : l’identification de paires de documents similaires, appelées rapprochements, susceptibles de refléter des divergences.
Le trio a ainsi collaboré étroitement avec les experts juristes et les data scientists de la Cour de cassation. En effet, l’identification de décisions de justice similaires peut s’automatiser dès lors que l’on sait mesurer automatiquement la similarité entre deux décisions. Pour ce faire, les chercheurs ont développé un modèle de prédiction de titrages à partir des sommaires. Ils ont attribué un titrage aux décisions qui n’en avaient pas, puis ils ont fourni des titrages supplémentaires à toutes les décisions, faisant l’hypothèse que cela faciliterait l’identification de rapprochements. Pour produire ces titrages automatiquement, ils ont modélisé la prédiction de titrages à partir des sommaires comme une tâche de traduction automatique.
Selon Rachel Bawden, « valider l’adaptation de technologies de traduction automatique à d’autres types de données et à d’autres tâches répondant à des besoins de la Cour, a été vraiment intéressant et ouvre des perspectives pour d’autres projets dans d’autres domaines comme la finance ou la biomédecine. »
Rachel Bawden est chargée de recherche chez Inria depuis 2020 dans l’équipe-projet ALMAnaCH. Spécialiste de TAL et plus particulièrement de traduction automatique, ses recherches portent principalement sur l’intégration de contexte (linguistique et non linguistique), les méthodes pour les langues ou scénarios dits peu dotés (pour lesquels une faible quantité de données est disponible) et l’évaluation. Elle est titulaire d’une chaire tremplin de l’institut PRAIRIE.
Enfin, pour évaluer la pertinence de leur approche, les scientifiques ont demandé à des experts de la Cour de faire le même travail que leur algorithme de mesure de similarité. Au préalable, scientifiques et juristes ont défini ensemble une hiérarchie de niveaux de similarités. Benoît Sagot précise, « Collaborer avec les experts de la Cour de cassation a nécessité un processus d’adaptation afin d’apprendre à nous comprendre et à établir un même langage. » Par la suite, les expériences menées ont non seulement montré que l’approche automatique donnait des résultats similaires aux jugements des experts, mais aussi que les titrages supplémentaires renforçaient ces similitudes.
Benoît Sagot est directeur de recherche Inria en traitement automatique des langues (TAL) et en linguistique computationnelle. Il est le responsable de l'équipe-projet ALMAnaCH depuis 2017. Il a été le porteur de plusieurs projets nationaux et internationaux, et est titulaire d'une chaire de l'institut PRAIRIE dédiée à la recherche en intelligence artificielle. Il est également le cofondateur de deux startups où il utilise son expertise en TAL et en fouille de textes pour l'analyse automatique des résultats d'enquêtes auprès des employés.
Des modèles d’avant-garde transférables à d’autres domaines pour la transformation numérique de l’État
Forts des résultats induits par cette collaboration, d’autres pistes d’amélioration sont envisagées. Les interactions avec la Cour de cassation se poursuivent, afin de finaliser des modèles semi-automatiques pour faciliter la rédaction de titrages par les experts. Du côté de la Cour de cassation, ces modèles finaux vont être intégrés dans les workflows de la Cour prochainement. Du côté du Lab IA, les membres de l’équipe-projet ALMAnaCH sont prêts à renouveler l’expérience avec d’autres structures publiques. Plusieurs domaines comme l’archivage, ou encore la recherche d’actes notariés, dont l’activité est pénible et redondante, pourraient bénéficier de l’automatisation. L’objectif ? Favoriser la transformation numérique de l’État et permettre aux citoyens de bénéficier de services de qualité.
Découvrez le projet en vidéo !
Crédit vidéo : ©Etalab