Francis Bach, libre explorateur de l’apprentissage statistique

Les apparences sont trompeuses : Francis Bach n’a décroché sa thèse en informatique qu’à l’âge de 30 ans, soit trois ou quatre ans de plus que la majorité des doctorants. Mais il était déjà diplômé de Polytechnique et il a préparé cette thèse à Berkeley, sous la direction de Michael Jordan, l’un des grands noms de la recherche mondiale en intelligence artificielle. Puis il a commencé à accumuler les distinctions : deux bourses européennes ERC en 2009 et en 2016, la direction d’une équipe Inria à partir de 2011, plusieurs prix scientifiques, un Best paper award dans une conférence internationale en 2018...  

« Choisir mes pistes de recherche, prendre davantage de risques »

Cette série impressionnante n’a pas surpris son ancien directeur de thèse : « En 20 ans de carrière à Berkeley et au MIT, je n’ai jamais eu de meilleur doctorant, livre Michael Jordan. 

Francis est exceptionnel, multidisciplinaire, capable de s’attaquer aux problèmes les plus complexes. Il développe des solutions originales qui interpellent au premier abord, pour finalement faire l’unanimité.

L’intéressé, pour sa part, a toujours considéré son parcours avec beaucoup de distance : « Cela m’a surtout permis de disposer d’une totale liberté pour choisir mes pistes de recherche. Je n’ai pas à soumettre des idées et à solliciter des financements. Je peux prendre davantage de risques.

L’ERC Consolidator Grant de 2016, p

ar exemple, a assuré cinq ans d’activité à mon équipe. C’est un luxe rare.

2014 : l’apprentissage statistique sort de l’ombre

Son domaine de recherche, l’apprentissage statistique ou machine learning, a vécu dans un relatif anonymat jusqu’en 2014. Puis l’engouement des médias et de la société pour l’intelligence artificielle l’a propulsé sur le devant de la scène : pour devenir « intelligent », un système informatique commence par apprendre. « Cette notoriété soudaine n’a rien changé pour nous : nous avons continué à étudier les mêmes sujets, sourit le chercheur. Mais nous sommes mieux connus par un large public, qui comprend les enjeux de notre travail dans la mesure où son quotidien peut être concerné. »

Des exemples ? L’apprentissage statistique peut « former » un système de vision à reconnaître des panneaux routiers, pour le pilotage d’une voiture autonome. En neuro-imagerie, l’objectif sera d’enseigner à la machine la détection de tumeurs, d’anévrismes, de lésions… Dans le domaine de l’audio, on apprendra à l’ordinateur à séparer la partie de chaque instrument dans un enregistrement d’orchestre, ou à générer des sons réalistes. 

Des innovations inspirées par les applications 

« Je ne conçois mon métier que dans ces itérations entre l’informatique et la vraie vie, explique Francis Bach. La plupart des problèmes théoriques intéressants sont issus d’applications. Et à l’inverse, l’analyse théorique permet de comprendre pourquoi un algorithme ne fonctionne pas et de l’améliorer. »

En toute logique, le chercheur ne s’est pas spécialisé dans un domaine ; il navigue de l’un à l’autre, au gré de ses inspirations et des sujets qu’il détecte : « Je constate depuis toujours qu’on bute sur les mêmes problèmes en cryptographie, en vision, en traitement du langage naturel ou en bio-informatique.

La bonne réponse consiste à créer des outils méthodologiques communs à plusieurs applications, et non à faire du sur-mesure. Je me place à l’intersection des algorithmes, de la théorie et des applications, pour tirer le meilleur de ces trois domaines.

Un exemple : son équipe de recherche collabore avec Google Brain et Facebook sur des thèmes académiques, bien éloignés des usages quotidiens des internautes.

Regarder le passé pour prédire l’avenir

En apprentissage automatique, l’enjeu est le suivant : développer des algorithmes rapides et précis pour traiter des données (panneaux routiers, anomalies du cerveau, notes de musique…), en déduire des règles et conférer ainsi au système des capacités prédictives. Autre façon de présenter les choses : l’apprentissage automatique regarde le passé pour prédire l’avenir, c’est-à-dire les données auxquelles le système sera confronté par la suite. 

En moins de dix ans, deux changements importants ont traversé la discipline. Le premier, c’est l’explosion du volume des données disponibles : « Avec la publicité en ligne par exemple, on dispose de milliards de données. En vision, un processus d’apprentissage peut s’appuyer sur des millions d’images comptant chacune des millions de pixels. »

De la parcimonie à la gestion de milliards de données

Or, il faut rappeler qu’en 2011, quand Francis Bach a créé son équipe Sierra à Inria, l’un de ses thèmes était la "parcimonie", c’est-à-dire l’art d’extraire des données pertinentes à partir d’un nombre de cas limité ; par exemple, déterminer des constantes génétiques en se basant sur le génome d’une poignée d’individus.  

Les chercheurs ont donc dû s’adapter à cette inflation brutale tout en conservant des temps de calcul acceptables. Toutefois, leurs algorithmes d’alors, conçus pour la parcimonie, pouvaient manipuler une même donnée des centaines, voire des milliers de fois ! Il a fallu les remplacer par des algorithmes dits « stochastiques », qui n’utilisent chaque donnée qu’une seule fois. Inspirés de concepts des années cinquante, ils ont été retravaillés pour les enjeux d’aujourd’hui. 

Adapter les algorithmes au calcul distribué

C’est d’ailleurs l’un de ces algorithmes, appelé Stochastic Average Gradient, qui a valu en 2018 à Francis Bach* le prix Lagrange en optimisation mathématique. De toutes les distinctions qu’il a reçues, c’est celle qui l’a le plus touché, « parce qu’elle est attribuée par des pairs et que l’optimisation n’était pas ma spécialité d’origine. »

Second changement de fond qui a bousculé l’apprentissage automatique : le plafonnement des puissances de calcul des ordinateurs. La célèbre loi de Moore, qui prédisait un doublement des capacités des machines tous les 18 mois, avait oublié que la microélectronique buterait un jour sur les limites physiques de la miniaturisation des circuits. Pour continuer à calculer vite et juste, il faut désormais répartir les tâches d’apprentissage sur plusieurs machines, avec de nouveaux algorithmes qui tournent en parallèle sur plusieurs processeurs. Là encore, l’équipe Sierra relève le défi, avec des codes open source qui permettent aux spécialistes applicatifs de s’approprier ces méthodes.   

Pionnier, explorateur et directeur d’équipe

Pionnier et explorateur de l’apprentissage statistique, Francis Bach a également découvert avec bonheur le rôle de directeur d’équipe scientifique Inria. Il avait gardé de ses années de thèse à Berkeley le souvenir d’une ambiance hors du commun : dynamisme, émulation collective, confiance... Il s’est attaché à créer un climat aussi stimulant dans ses locaux du centre de Paris, où 19 collaborateurs partagent avec lui le même étage. « En fait, c’est même mieux qu’à Berkeley où tout tournait autour d’un seul “patron”. À Sierra, nous sommes quatre chercheurs qui étudions des sujets propres et des sujets communs, en lien étroit avec seize doctorants et postdoctorants. Il y a beaucoup de cohésion et très peu de hiérarchie : on vit bien. »

Fort de cette liberté à laquelle il tient tant, Francis Bach renouvelle son inspiration scientifique grâce aux collaborations académiques (Berkeley, MIT, British Columbia) et aux voyages professionnels. Il préfère les colloques en comité restreint aux grandes conférences : « C’est là qu’on trouve le temps de parler et d’aborder les vrais problèmes. » Enfin, hors du bureau, c’est sur son vélo de route qu’il glane parfois de nouvelles idées : « Je roule en semaine avec les groupes du bois de Vincennes ou du bois de Boulogne, le week-end en vallée de Chevreuse, l’été dans les cols des Alpes. Une fois lancé sur un trajet, quand les jambes tournent toutes seules, on a du temps devant soi et l’esprit commence à divaguer. »

* avec deux de ses anciens postdoctorants, Mark Schmidt et Nicolas Le Roux