George Drettakis, directeur de recherche Inria au centre de Sophia Antipolis - Méditerranée, responsable de l'équipe GraphDeco et spécialiste de la synthèse d'images, vient de recevoir la bourse européenne ERC (European Research Council ) dans la catégorie Advanced pour le projet FUNGRAPH "A New Foundation for Computer Graphics with Inherent Uncertainty".
Dans le cadre du pilier "Excellence Scientifique" du programme Horizon 2020 de l'UE pour la recherche et l'innovation, les bourses ERC Advanced Grant sont allouées à des chercheurs ou chercheuses seniors, reconnues ou reconnus comme leaders dans leur domaine et dont le projet de recherche permet de faire reculer notablement les frontières actuelles de la science.
Rencontre avec le nouveau lauréat qui nous présente ses recherches et son projet.
Quel a été votre parcours avant d’intégrer Inria ?
J'ai fait des études d’informatique à l'université de Crète en Grèce et ensuite un Master et un doctorat, toujours en informatique à l'université de Toronto au Canada, sous la direction de E. Fiume. Ensuite, j'ai eu une bourse postdoctorale ERCIM qui m'a permis de faire un premier séjour à Inria Rhône Alpes à Grenoble, puis à l'université Polytechnique de Catalogne (Barcelone) et enfin au Centre national de recherche en informatique (GMD) à Bonn en Allemagne.
Dans quel domaine de recherche travaillez-vous chez Inria ?
Je travaille sur la synthèse d'images (computer graphics en anglais), qui est la technologie permettant la création des images utilisées pour les effets spéciaux des films, les jeux vidéo réalistes, mais aussi pour la simulation des projets d'architecture et d'urbanisme et le design de produits, et toutes les applications récentes de la réalité virtuelle (RV) et augmentée.
C'est un domaine en plein essor, avec de nouvelles applications qui apparaissent constamment.
Ma recherche se concentre sur la partie "rendu" (rendering en anglais) en images de synthèse qui consiste - dans le cas le plus simple – à prendre en entrée un modèle 3D, la description des matériaux des objets et des lumières d'une scène et en sortie générer une image, le plus souvent réaliste.
Créer ce contenu est aujourd'hui encore un processus largement manuel : pour un film ou un jeu vidéo, des centaines de personnes créent la géométrie, les matériaux et les lumières à la main, et ajustent les paramètres afin d’obtenir des rendus de haute qualité en utilisant de simulations numériques coûteuses. Cette difficulté à créer le contenu et générer des images réalistes constitue un énorme frein à l'utilisation des images de synthèse aujourd'hui.
En quoi consiste votre projet « FUNGRAPH », retenu par l'ERC ?
Du fait de leurs multiples applications, les images de synthèse ont besoin de contenu permettant de générer des mondes virtuels ou des représentations virtuelles du monde réel. Ce besoin croît de manière exponentielle avec l'évolution des technologies (par exemple la réalité virtuelle) et des nouvelles applications. Créer ce contenu est aujourd'hui encore un processus largement manuel : pour un film ou un jeu vidéo, des centaines de personnes créent la géométrie, les matériaux et les lumières à la main, et ajustent les paramètres afin d’obtenir des rendus de haute qualité en utilisant de simulations numériques coûteuses.
Cette difficulté à créer le contenu et générer des images réalistes constitue un énorme frein à l'utilisation des images de synthèse aujourd'hui. En même temps, ces dernières années ont vu l'apparition de nombreuses technologies de capture du monde réel : les capteurs de profondeur (type "Kinect " ou dans les smartphones ), ou les techniques de la vision par ordinateur (multivue stéréo etc.). Ces solutions produisent des données 3D qui sont hétérogènes, incomplètes et surtout incertaines. Par conséquent ces données ne sont pas adaptées pour la plupart des algorithmes de rendu existant en images de synthèse.
Le but du projet FUNGRAPH ("FUN" pour fundamental ) est de revisiter d’une manière fondamentale les algorithmes de rendu pour pouvoir traiter d'une manière unifiée ces données incertaines en même temps que les données créées par des méthodes traditionnelles. Ceci nécessitera le développement de nouveaux outils théoriques et algorithmiques pour traiter l’incertitude d’une manière bien fondée.
Quel a été le déclic qui vous a donné envie de vous lancer dans ce projet ?
C'est un long processus de réflexion à partir de mes travaux de recherche tout au long de ma carrière. Mon rêve a toujours été que créer et utiliser des environnements immersifs en 3D soit aussi facile que l’est aujourd’hui le fait prendre une photo ou une vidéo. De ce fait, s'attaquer au problème des algorithmes de rendu pour les données incertaines et hétérogènes sera un grand pas vers ce but. Une grande partie des idées de ce projet provient également du travail au sein de notre équipe GraphDeco, en particulier avec mon collègue Adrien Bousseau et les doctorantes et doctorants, postdoctorantes et postdoctorants de l’équipe.
Qu’est-ce que cette bourse représente pour vous ?
Le financement ERC donne les meilleures conditions de travail possibles pour travailler sereinement sur des sujets de recherche passionnants. Cette bourse permet de prendre le temps de vraiment réfléchir aux fondements des problèmes qu'on souhaite traiter, et pour lesquels on espère trouver les meilleures solutions possibles.
Comment allez-vous employer ce financement ?
Le financement permettra de mettre en place une équipe de recherche, avec un jeune chercheur ou une jeune chercheuse sur cinq ans, des postdoctorantes et postdoctorants, des doctorantes et doctorants et des ingénieures et ingénieurs. Ça donne la capacité d'établir une "masse critique" pérenne qui est simplement impossible avec les autres modes de financement disponibles. C'est une chance incroyable pour un chercheur ou une chercheuse.
Y a-t-il d’autres pistes de recherche que vous voudriez explorer dans l’avenir ?
Pour l'instant les sujets de FUNGRAPH vont m'occuper pour une grande majorité de mon temps. Les travaux qu'on va mener vont par contre ouvrir plusieurs voies de recherche intéressantes, qui pourraient éventuellement aller au-delà de mon domaine spécifique des images de synthèse.
Exemple de cas d'utilisation
Un utilisateur ou une utilisatrice en réalité augmentée sur site refait la décoration d’une pièce en collaboration avec un utilisateur ou une utilisatrice en réalité virtuelle (VR) à distance.
De telles applications émergentes ont besoin d'algorithmes qui produisent des rendus en images de synthèse interactifs très réalistes à des échelles et à une portée sans précédent. Répondre à ces demandes nous oblige à repenser les fondements de notre domaine, à surmonter les limites fondamentales en synthèse d’images. Les méthodes de capture, par exemple en utilisant des capteurs de profondeur, peuvent fournir un modèle (b), mais elles sont incertaines, c'est-à-dire inexactes et incomplètes. Ces environnements peuvent être rendus dans un casque VR à distance en utilisant le rendu à base d’image (IBR) (c) mais il n'y a pas de flexibilité pour modifier la scène, par exemple ajouter des objets ou changer l'éclairage. Une telle flexibilité nécessite un contenu conçu manuellement qui est extrêmement long et coûteux à créer (d-e). Un rendu précis de haute qualité (d) utilise une simulation coûteuse pour calculer les effets d'éclairage global. Alors que de nombreux algorithmes de rendu approximatifs (e) basés sur GPU ont été développés, ils n'ont aucune garantie de précision et manquent souvent des effets visuels importants, par exemple des chemins de lumière réfléchis par le miroir et réfractant à travers le verre.
Pour résoudre ces problèmes, FUNGRAPH revisitera les bases de la synthèse d’images, afin que les avantages de ces méthodes disparates puissent être utilisés ensemble dans de nouveaux algorithmes unifiés. Notre solution consiste à introduire le traitement de l'incertitude comme ingrédient manquant pour atteindre cet objectif.
