Cordelia Schmid, pionnière de la reconnaissance visuelle par ordinateur, honorée par un prix prestigieux

Des mathématiques appliquées à l’informatique : 25 ans de carrière récompensés

C’est un prix renommé et rare. Seul un scientifique européen se voit décerner chaque année le Körber European Science Prize, une récompense honorifique certes, mais également monétaire, avec l’octroi d’un million d’euros dédié aux futures recherches. Et cette année, Cordelia Schmid en est l’heureuse récipiendaire. « C’est évidemment une très bonne nouvelle ! se réjouit la chercheuse, directrice de recherche au sein de l’équipe-projet commune Willow (ENS-PSL, CNRS, Inria). Ce prix est très sélectif et il relève d'une autre échelle par rapport à ceux que j'ai pu obtenir précédemment. »

La scientifique n’en est effectivement pas à sa première récompense (voir encadré) : en plus de 25 ans de carrière, elle s’est imposée comme l’une des pionnières en matière de reconnaissance visuelle par ordinateur.

© Marcus Gloger/Körber-Stiftung

Son histoire en sciences du numérique commence tôt :

À l’école j’aimais beaucoup les mathématiques, retrace-t-elle. J’ai donc voulu poursuivre dans ce domaine et de fil en aiguille, je suis passée des mathématiques appliquées à l’informatique.

Un parcours inspirant : de la vision pour la robotique à la reconnaissance d'objets

Lors de son master à l’université de Karlsruhe (en Allemagne), obtenu en 1992, elle consacre son projet de fin d’étude à la vision pour la robotique.

Et c’est ce qui m’a donné envie de poursuivre des recherches sur la reconnaissance d’objets par ordinateur, se souvient-elle. À l’époque, ça ne marchait pas du tout ! Il était très difficile pour un ordinateur de détecter un simple cube alors que c’est une tâche basique pour un humain… Cela m’a motivée à faire avancer la question.

Elle poursuit donc en thèse à l’Institut national polytechnique de Grenoble, sur le thème "Image matching and retrieval based on local greyvalue invariants". Une contribution majeure au secteur : « Il s’agissait des premiers travaux utilisant les descripteurs de gris pour permettre à des algorithmes d’identifier des objets dans des images… et les résultats ont été très bons », précise Cordelia Schmid.

Après un postdoc d’un an à l’université d’Oxford, la chercheuse intègre Inria en 1997. Et elle n’a pas quitté l’institut depuis, ni ses sujets de recherche de prédilection.

Dans le domaine de la vision par ordinateur, nous avons tout un aspect théorique avec le développement des algorithmes et des modèles, mais ensuite, une mise en pratique avec une validation directe des programmes que l’on crée. Et j’aime cette combinaison des deux facettes de la recherche.

La perception, l’interprétation et la robotique, avec une approche multimédia

Aujourd’hui membre de l’équipe-projet commune Willow (ENS-PSL, CNRS, Inria), elle s’intéresse en particulier à la reconnaissance d’objets et d’actions dans les vidéos, avec une approche multimédia. Concrètement ? Elle souhaite créer des programmes capables d’utiliser un texte décrivant la vidéo ou juste son audio, afin d’apprendre seuls à reconnaître les objets qui s’y trouvent. En d’autres termes : faire progresser l’apprentissage non supervisé. « Au lieu de fournir à un algorithme de très nombreuses images d’un objet, annotées à la main, pour qu’il apprenne à le reconnaître, nous lui enseignons à apprendre seul à partir des textes ou de l’audio des vidéos », détaille Cordelia Schmid.

La chercheuse est également revenue récemment à ses premières études : la robotique. Là encore, il s’agit de favoriser l’apprentissage des algorithmes, mais cette fois en s’appuyant sur les interactions d’un robot dans son environnement. « Le but est d’utiliser le feedback de l’expérience du robot comme données d’apprentissage supplémentaires pour améliorer la reconnaissance des objets et le déplacement du robot », précise la chercheuse.

Un fort potentiel, apprécié par la fondation Körber

Les applications potentielles de toutes ces recherches sont nombreuses. Certaines sautent aux yeux, comme la création de robots aptes à aider des personnes âgées, nettoyer la maison ou intervenir en hôpital. Ou encore la reconnaissance d’actions précises (rechercher une personne en train de manger, de jouer, de nager, etc.) dans une base de données de photos ou de vidéos.

D’autres sont plus discrètes, telles que la possibilité de générer automatiquement une audiodescription de qualité d’une vidéo. Ou encore, à l’inverse, la génération d’images ou de vidéos à partir de textes. D’autres domaines enfin, comme l’imagerie médicale ou la recherche sur le changement climatique, ne sont pas dans la ligne de mire de Cordelia Schmid, mais ses recherches y auraient un fort potentiel.

Ce sont tous ces travaux et les succès de la carrière de Cordelia Schmid que vient aujourd’hui récompenser le Körber European Science Prize… tout en donnant un coup de pouce à ceux qui s’annoncent.

Pour le futur ? Des algorithmes plus transparents, des robots polyvalents…

« Avec les fonds offerts par ce prix, je vais poursuivre le développement d’autres études, par exemple sur le côté "boîte noire" des algorithmes », illustre la scientifique. À l’heure actuelle en effet, les algorithmes intègrent des données, délivrent un résultat, mais ce qui se passe entre ces deux étapes reste opaque pour l’utilisateur. Cordelia Schmid aimerait ajouter aux algorithmes une sorte de mémoire, qui permettrait de collecter les données utilisées lors de l’exécution d’une tâche.

© Marcus Gloger/Körber-Stiftung

« En utilisant alors à la fois l’algorithme et sa mémoire, nous pourrions obtenir un résultat… et les données qui ont permis de l’atteindre, explique la directrice de recherche. C’est une façon de voir ce qui est essentiel dans la décision prise par l’algorithme, donc de mieux comprendre son fonctionnement… et cela ouvre bien sûr la porte à l’amélioration du système. »

La chercheuse est aussi intéressée par le rapprochement entre les algorithmes de reconnaissance d’images et ceux de reconnaissance du langage : « Les problématiques sont similaires, donc les solutions peuvent être déclinées pour les uns ou pour les autres. » Ce qui la motive à travailler par la suite sur des robots capables d’intégrer des commandes vocales… mais de se déplacer grâce à la vision. Le Körber European Science Prize, s’il récompense une carrière déjà longue et riche, ne sera donc sûrement pas la dernière distinction à venir couronner les recherches de Cordelia Schmid.

En savoir plus

• Communiqué de presse (en anglais) de la fondation Körber : Cordelia Schmid (2023): Making AI More Intelligent – Smart Image Recognition for Autonomous Robots.
• Découvrez le mini-site réalisé par Körber-Stiftung.
• France Is AI, "Automatic Understanding of the Visual World" avec Cordelia Schmid (vidéo en anglais), France Digitale (20/11/2020).
• Czech-French #AI Workshop, avec Cordelia Schmid : "Large-scale Learning from Multimodal Videos", CIIRC ČVUT (13/9/2022).
• Cordelia Schmid : Grand Prix Inria – Académie des sciences, Inria (21/11/2018).
• La reconnaissance visuelle distinguée par le Prix Longuet-Higgins, ENS-PSL (2016).