Jean Ponce : de la photo à la vidéo

Jean Ponce ne regrette pas d’être revenu en France en 2005, après vingt ans de recherches aux États-Unis : il vient de recevoir une bourse ERC d’un montant de 2,5 millions d’euros pour continuer ses recherches sur la vidéo. Son objectif : analyser automatiquement les contenus vidéo, en manipuler les éléments (par exemple enlever un objet gênant dans un film) ou restaurer les films anciens… Une recherche ambitieuse dans la droite ligne de ses travaux antérieurs sur la reconnaissance de formes dans les images qui l’ont conduit, par exemple, à reconstruire des objets en trois dimensions à partir de plusieurs photos, ou à retrouver automatiquement certains objet (un vélo, une voiture, etc.) sur les clichés. Ses travaux ont notamment été utilisés par un des leaders mondiaux des effets spéciaux, la société Industrial light & magic.

« Il est possible d’analyser automatiquement ce qui se passe dans les situations les plus simples, lorsque la caméra ne bouge pas et que le fond est homogène », souligne Jean Ponce, qui dirige l’équipe VideoWorld sur les modèles de reconnaissance visuelle d’objets et de scènes, commune à Inria, l’École normale supérieure de Paris et le CNRS. « C’est le cas des matches de foot, que l’on peut étudier grâce aux caméras fixes à grand angle. Mais dès que la caméra bouge, on ne sait pas le faire car l’apparence d’un objet dépend de l’objet lui-même mais aussi de la position et du mouvement de la caméra. » Difficile également d’enlever un objet gênant d’une scène ou de restaurer un film abîmé : il faut le faire manuellement, image par image. « Ceux qui traitent ces vidéos le font pixel par pixel, indique le chercheur. Nous pensons qu’il est possible d’automatiser ces activités en adoptant une logique de vision artificielle, en s’intéressant au sens de la scène. » Mais comment analyser le sens d’une scène lorsque l’on n’a pas d’idée a priori de ce qui y est représenté ? À quel niveau de détail s’arrêter ? Qu’est-ce qu’un bon modèle pour l’interpréter ? Pour répondre aux nombreuses questions que soulève cette approche originale, Jean Ponce prévoit d’engager cinq doctorants et deux postdocs pendant les cinq ans à venir, et d’acheter une grappe ("cluster ") d’ordinateurs puissants.

L’analyse automatique des vidéos permettra de les classifier, les restaurer, ou faire des effets spéciaux.

Jean Ponce apprécie la bourse ERC après avoir passé aux États-Unis, comme tous les responsables d’équipes, une bonne partie de son temps à la "chasse aux contrats" pour payer ses doctorants. Ici, il a accès à de très bons étudiants dont un bon nombre bénéficie déjà d’une bourse de doctorat. Autre différence, « aux États-Unis, il y a peu de travail en équipe, la recherche est menée par un professeur entouré de ses étudiants, observe-t-il. Avec le travail en équipe en France, je m’ouvre à des domaines nouveaux, c’est très agréable ». Ainsi, son équipe s’est lancée depuis quelques années dans des recherches sur l’apprentissage statistique permettant de construire automatiquement les modèles qu’elle utilise pour la reconnaissance et de traitement d’images et de vidéos.

Même si leur but est avant tout fondamental, ces recherches ont de nombreuses applications. Archiver et indexer automatiquement les vidéos, comme on le fait aujourd’hui des textes, permettrait de mieux s’y retrouver dans l’immensité des archives vidéo aujourd’hui disponibles, à l’institut national de l’audiovisuel par exemple, avec lequel l’équipe de Jean Ponce collabore déjà. De même, la possibilité de supprimer les traces de vieillissement (points et traits blancs par exemple) permettrait de restaurer les films anciens contenus dans ces archives. Enfin, la possibilité d’enlever ou d’ajouter des objets aux films intéresse les professionnels des effets spéciaux, comme Industrial light & magic.