Machine learning

Umut Simsekli, explorateur du deep learning

Date:
  1. Accueil
  2. Actualités et évènements
  3. Umut Simsekli, explorateur du deep learning
Mis à jour le 22/07/2022
Récent lauréat d’une bourse européenne Starting Grants, Umut Simsekli, chercheur au sein de l’équipe-projet Sierra, est le pilote de l’ERC Dynasty. Son ambition : élaborer une théorie mathématique permettant de mieux comprendre les propriétés des algorithmes de deep learning, un challenge pour la communauté de l’IA.
Umut Simsekli de profil

Un projet original en deep learning

Le début d’année 2022 apporte une belle nouvelle à Umut Simsekli, chargé de recherche au centre Inria de Paris au sein de l’équipe projet commune Sierra (CNRS ENS-PSL, Inria). Ce jeune chercheur en IA, spécialiste du deep learning (pour "apprentissage profond") est en effet lauréat de la prestigieuse et sélective bourse européenne ERC Starting Grants. Attribuée à de jeunes scientifiques (deux à sept ans après l’obtention de leur thèse), cette bourse leur permet de construire une équipe de recherche autour d’un thème original et à fort impact technologique. Umut Simsekli sera à ce titre le pilote du projet ERC Dynasty, qui vise à construire une approche théorique de l’apprentissage profond afin d’en fiabiliser les performances.

Pourtant, ce projet n’aurait peut-être pas vu le jour… si Umut Simsekli avait poursuivi sa carrière débutante de musicien professionnel. Bassiste au sein d’un groupe pop/jazz, il a choisi finalement l’informatique et la recherche scientifique, en travaillant sur des techniques avancées pour le traitement du signal audio. « J’ai trouvé dans ce thème de recherche un moyen de combiner mes deux passions, la musique et l’informatique, s’amuse-t-il. Après quelques années de recherche à Télécom Paris, en tant que postdoctorant et maître de conférences, j’ai rejoint Inria en 2020, au sein de l’équipe Sierra, une référence européenne dans le domaine de l’apprentissage automatique (ou "machine learning"), avec qui je collaborais par ailleurs. »

À l’intersection des mathématiques, des statistiques et de l’informatique

L’équipe Sierra regroupe cinq chercheurs permanents, renforcés d’une trentaine de doctorants, postdoctorants et ingénieurs de recherche, travaillant à l’intersection des mathématiques appliquées, des statistiques et de l’informatique. Leur objectif : développer des outils conceptuels (théories mathématiques et algorithmes) et appliqués (codes et programmes informatiques) en apprentissage automatique.

Cette branche de l’intelligence artificielle permet aux ordinateurs d’apprendre et d’exécuter plusieurs tâches sans être explicitement programmés pour les faire. Elle est connue pour ses nombreuses applications, par exemple dans l’industrie des transports (développement d’un système de navigation sans conducteur), le secteur médical (aide au diagnostic de cancer) ou bancaire (évaluation de la capacité d’une personne à rembourser un prêt), et pour certains problèmes génériques en traitement du signal, comme la reconnaissance vocale ou faciale.

En simplifiant, on peut dire que l’apprentissage automatique utilise une grande quantité de données afin d’accomplir une tâche de façon automatique, tout en s’appuyant sur un algorithme d’’optimisation.

Par exemple, en reconnaissance faciale, la tâche à accomplir est de reconnaître le visage d’une personne sur une photo ou une vidéo, à partir d’une collection de photographies. L’ordinateur qui accomplit cette tâche utilise des fonctions mathématiques complexes, paramétrées dans une phase dite "d’apprentissage". C’est l’algorithme d’optimisation qui réalise ce paramétrage, en exploitant l’information contenue dans les données d’apprentissage.

Un cadre théorique pour comprendre et améliorer les algorithmes

« Certaines méthodes d’apprentissage automatique fonctionnent comme des boîtes noires : les chercheurs et les ingénieurs qui les conçoivent constatent leurs performances, souvent très spectaculaires, pour accomplir automatiquement les tâches demandées… mais ils ne disposent pas d’éléments théoriques leur permettant de comprendre cette efficacité, détaille Umut Simsekli. Ainsi, dans la plupart des cas, un algorithme d’apprentissage automatique est développé par essais et corrections d’erreurs pour arriver au résultat. On dispose dans certains cas de résultats théoriques soutenant ces approches, mais on constate aussi souvent de nombreux écarts entre ces résultats et la réalité algorithmique et informatique. »

Le projet Dynasty vise donc à construire un cadre théorique permettant de comprendre, et surtout de prédire, les propriétés des algorithmes de machine learning. Avec quels bénéfices pour la communauté ? D’abord, une amélioration sensible de la précision des programmes fondés sur l’apprentissage automatique et des gains de temps de calcul - puisque les phases d’essais/erreurs, très gourmandes en ressources computationnelles, devraient s’en trouver réduites. Mais aussi et surtout un ensemble de codes open source exploitables pour de futures applications.

Plus spécifiquement, mes recherches vont se concentrer sur une classe de techniques mathématiques utilisées en deep learning ("l’optimisation non-convexe"). Je vais m’intéresser aux algorithmes d’optimisation dont les propriétés sont à mes yeux encore mal cernées par les chercheurs.

Des résultats préliminaires encourageants

Bien que novatrice, la direction prise par le chercheur ne lui est pas totalement inconnue : il va s’appuyer sur des travaux issus de la physique des "systèmes dynamiques", laquelle décrit l’évolution d’ensembles complexes (écosystèmes, climat, etc.). « Les algorithmes d’optimisation procèdent de façon itérative, comme un randonneur qui atteint un sommet avançant pas à pas vers son objectif. En ce sens, ces algorithmes se comportent comme des systèmes dynamiques et je pense que les résultats et approches développés dans ce domaine vont me permettre d’accomplir ce travail de formalisation mathématique. »

Le chercheur a déjà publié des résultats préliminaires encourageants et il a cinq années de travail devant lui pour proposer une contribution attendue. Nul doute qu’il saura, comme pour la musique jazz qu’il affectionne, improviser pour s’adapter aux aléas de sa recherche et produire une partition parfaite !

Bio express

Umut Simsekli accomplit l’intégralité de sa formation universitaire en Turquie, pays dont il est originaire, obtenant successivement un master et un doctorat en informatique à l’université du Bosphore d’Istanbul. Ses travaux de thèse, soutenue en 2015, portent sur les techniques de machine learning appliquées au traitement du signal. Son doctorat en poche, Umut Simsekli déménage en France et poursuit ses recherches en informatique, approfondissant les aspects théoriques du deep learning, en tant que postdoctorant puis maître de conférences à Télécom Paris entre 2015 et 2020, chercheur invité au sein du Département de statistiques de l’Université d’Oxford en 2019, puis chargé de recherche à Inria, dont il rejoint les équipes en 2020.  

En savoir plus