Adrien Bousseau obtient une Bourse ERC Starting Grant

Quel a été votre parcours?

J'ai été très tôt passionné par l'imagerie numérique, que j'ai choisie comme spécialisation aussitôt après le bac en suivant une formation technique en IUT. Cette formation m’a permis de réaliser que pour passer du statut d'utilisateur d'outils d'imagerie au statut de concepteur, je devais maîtriser des bases théoriques plus générales, comme l'analyse et le traitement du signal ou la simulation numérique. C'est ce qui m'a orienté vers une école d'ingénieurs, et m'a motivé à lire mes premiers articles de recherche. J'ai ensuite enchaîné des stages de recherche puis une thèse chez Inria où j'ai rencontré mes directeurs de thèse Joëlle Thollot et François Sillion. Ce sont eux qui m'ont à la fois guidé dans ma recherche mais aussi présenté à des sommités internationales du domaine avec lesquelles j'ai rapidement eu la chance de collaborer.

Qu'est-ce qui vous passionne dans ce domaine de recherche ?

J'aime le fait que la synthèse d'image soit à l'intersection de plusieurs domaines scientifiques : l'informatique, les mathématiques, la physique, tout en abordant des problèmes très concrets. Lorsque nous testons nos méthodes, nous pouvons voir directement nos résultats, et même maintenant les toucher grâce à l'impression 3D. Ma recherche sur des outils de dessin assisté par ordinateur me permet également d'étudier des techniques artistiques. Même si les artistes se permettent des libertés face aux lois de la physique, de nombreuses techniques de dessin s'expliquent par la façon dont les formes, la matière et la lumière interagissent en réalité. Ce sont ces liens entre le monde artistique et le monde scientifique qui me passionnent.

Quel est le sujet de votre projet retenu par l'ERC?

Mon projet s'intitule "Interprétation de dessins pour le design 3D". Le dessin est un outil fondamental en design car il permet aux designers d'externaliser rapidement leurs idées et les présenter à d'autres. Mais ces dessins ne sont pour le moment pas interprétables par les ordinateurs. Afin de tester la faisabilité de leurs concepts, les designers doivent créer des modèles 3D compatibles avec les logiciels de simulation physique ou les imprimantes 3D. Mais alors que des croquis approximatifs peuvent être dessinés très rapidement et librement, la modélisation 3D nécessite d'interagir avec des interfaces complexes et rigides. C'est pourquoi les designers attendent souvent que leur concept soit bien avancé avant de les modéliser en 3D et effectuer des simulations. L'ambition de mon projet est de reconstruire automatiquement des modèles 3D à partir de dessins afin d'enrichir la phase d'exploration du design grâce à la puissance des outils d’ingénierie 3D. Par exemple, un designer de voiture pourrait évaluer l’aérodynamisme de la carrosserie dès qu'elle est dessinée. Mon projet a des applications potentielles dans de nombreux domaines où le dessin est une étape importante de la conception, comme le design industriel, l'architecture ou la mode.

Quelle est l'originalité  de votre approche ?

Retrouver le modèle 3D qui correspond à un dessin est un problème ambigu car chaque point du dessin peut être positionné n'importe où en profondeur. Les solutions existantes sont limitées à des formes simples ou nécessitent de nombreuses indications fournies par l'utilisateur afin d'expliquer à l'algorithme comment interpréter le dessin. L’originalité de mon approche est d'exploiter les techniques de dessin que les designers professionnels ont mises au point afin de représenter des formes 3D. Par exemple, les lignes de fuites donnent des indications sur la perspective, les contours indiquent l'orientation des surfaces, et d'autres lignes indiquent leurs directions de courbure (figure ci-dessous). La difficulté est d'identifier quelles techniques sont utilisées dans un dessin et d'en déduire la forme 3D. Mais tester toutes les combinaisons possibles de techniques serait trop coûteux. La solution que j'envisage est d’entraîner des algorithmes d'apprentissage automatique capables d'identifier les techniques utilisées dans un dessin, voire de directement prédire la forme 3D représentée. Cette approche soulève cependant le problème des données d'apprentissage : nous ne pouvons pas facilement obtenir les milliers de dessins nécessaires pour entraîner de tels algorithmes ! Je compte traiter cette difficulté en développant de nouveaux algorithmes de synthèse d'images stylisées, capables de générer automatiquement des dessins synthétiques à partir de modèles 3D.

Les designers dessinent des courbes particulières appelées sections (gauche, en rouge) pour indiquer les directions de courbure d'une surface. Notre algorithme exploite ces lignes pour estimer l'orientation des surfaces et calculer l'ombrage (droite).

Comment cette Bourse va-t-elle vous aider concrètement dans vos recherches ?

Reconstruire automatiquement un dessin en 3D est un objectif très ambitieux qui va nécessiter de résoudre de nombreux problèmes intermédiaires. Nous devons tout d'abord identifier les techniques de dessins utilisées par les designers professionnels et comprendre en quoi elles communiquent une forme 3D. Nous devons ensuite être capables de reconnaître ces techniques dans de nouveaux dessins. Puis nous devons fusionner l'information fournie par chaque technique pour retrouver le modèle 3D le plus plausible. Enfin, un but à long terme est de permettre à l'algorithme de s'adapter au style de dessin de chaque utilisateur. La bourse ERC va me donner le temps et les ressources pour aborder ces différents problèmes et leur combinaison. Concrètement, je compte recruter trois doctorants, deux postdoctorants et un ingénieur avec des compétences complémentaires en synthèse d'image, géométrie, vision par ordinateur et apprentissage automatique. Je compte aussi embaucher des designers professionnels pour créer une base de données de dessins, ce qui nous permettra d’étudier leurs techniques et tester nos algorithmes.

Zoom Siggraph 2016

Siggraph est une conférence internationale d’envergure consacrée à  l’imagerie numérique ; elle attire près de 15 000 professionnels dont  les plus grands noms des effets spéciaux, de l’animation et du jeu vidéo. Vous y avez présenté plusieurs articles cet été

« Deux articles portent sur le traitement et l'analyse de dessins et sont des résultats préliminaires de mon projet ERC.

Le premier article expose une méthode permettant de convertir un dessin bitmap, c'est à dire représenté comme une grille de pixels, en un dessin vectoriel composé de courbes de Béziers (voir figure ci-dessous).
Ces courbes ont l'avantage de représenter le dessin de façon compacte et facilement éditable, car leur forme est définie par un petit nombre de points de contrôle. De plus, les courbes de Béziers permettent de calculer certaines propriétés géométriques des lignes dans le dessin, comme leur courbure ou les angles qu'elles forment aux intersections. Je pense qu'à long terme ces propriétés seront utiles pour comprendre la forme 3D que le dessin représente.
L’idée principale de notre algorithme est que les courbes devraient à la fois capturer la forme des traits dans le dessin, et être composées d'un faible nombre de points de contrôle. C'est ce second critère qui nous permet d'obtenir des résultats plus compacts et robustes que les méthodes précédentes.
Ce travail a été fait en collaboration avec nos collègues de l’équipe Titane, dont l'expertise en traitement robuste de géométrie 3D a inspiré cette approche.

 

Notre algorithme convertit un croquis grossier (gauche) en un faible nombre de courbes vectorielles (droite). En favorisant une solution simple, notre algorithme retrouve des intersections précises malgré de nombreuses ambiguïtés.

L'autre article présente un outil de modélisation de bâtiments 3D par le dessin.
Notre méthode s'appuie sur une représentation procédurale du bâtiment, c'est-à-dire que le modèle 3D n'est pas défini comme un ensemble de triangles mais comme un petit nombre de paramètres : les dimensions du bâtiment, le nombre d'étages, la pente du toit, le nombre de carreaux aux fenêtres, etc. Notre interface permet à l'utilisateur de dessiner chaque partie du bâtiment (la base, le toit, une fenêtre) et notre algorithme estime automatiquement les paramètres du modèle 3D qui correspondent aux formes dessinées.
L’originalité de notre approche est d'utiliser une méthode d'apprentissage automatique afin de retrouver rapidement la valeur des paramètres sans avoir à tester toutes les combinaisons possibles. De plus, le modèle 3D qui en résulte est facile à éditer en changeant ses paramètres : par exemple pour augmenter le nombre d’étages ou la taille des fenêtres.
Ce travail est issu d'une collaboration avec des chercheurs de l’université de Purdue (USA) experts en modélisation procédurale urbaine ».