Anant Raj et les réseaux de neurones : une perspective de surparamétrage

Anant Raj est lauréat du très sélectif programme Marie Sklodowska-Curie Actions-Global Fellowship de bourse individuelle (MSCA-IF-GF). Ce programme soutient la mobilité des chercheurs à travers l'Europe et leur offre une chance de dynamiser leur carrière. Il n'y a aucune restriction de nationalité pour les candidats et tous les domaines de recherche sont couverts.

Dans le cadre du programme H2020, Anant a postulé à une Bourse individuelle de mobilité – (Global Fellowship) qui offre la possibilité de travailler en tant que chercheur en dehors de l'Union européenne, avec une phase de retour obligatoire dans un État membre. Le programme passionnant qui attend Anant se déroulera sur deux ans, d’abord à l’université de l’Illinois à Urbana-Champaign (UIUC), puis à Inria de Paris.

Quel est votre domaine de recherche et pourquoi vous êtes-vous spécialisé dans ce domaine ?

Je travaille sur les technologies informatiques d'apprentissage et d'optimisation. Plus précisément, je m'intéresse à la théorie de l'optimisation (non) convexe, à la théorie des réseaux neuronaux (optimisation et généralisation) et à la théorie de l'apprentissage statistique.

J'ai beaucoup étudié avant de me fixer sur ce domaine en particulier. J'ai fait des recherches sur les thèmes du traitement de la parole et de la vision par ordinateur avant de me spécialiser. Ces explorations m’ont permis de réaliser que j'aime travailler sur les problèmes mathématiques qui ont de bonnes implications pratiques. C’est sur cette base que j’ai choisi ma spécialisation. 

Pouvez-vous nous parler de votre parcours de chercheur jusqu'à présent ?

Eh bien, c'est toute une aventure. J'ai commencé à faire de la recherche au cours de ma deuxième année d'études de premier cycle. À l’époque, je m’intéressais au traitement des signaux de conversation. Parallèlement, j'ai mené par moi-même quelques projets dans le domaine de la vision par ordinateur et j'ai décidé de poursuivre des recherches dans ce secteur après avoir publié mon premier article sur le traitement des signaux de conversation. J'ai ensuite continué à travailler sur les problèmes liés à la vision par ordinateur. Ma thèse de master portait d’ailleurs sur ce domaine. Parallèlement, j'ai effectué un séjour à Georgia Tech, où j’ai travaillé sur des méthodes à noyau plus orientées vers les mathématiques. À la fin de mon stage à Georgia Tech, j'étais sûr de vouloir poursuivre des études de doctorat en théorie de l'optimisation et en théorie de l'apprentissage automatique. J'ai également travaillé dans d'autres domaines, mais je me suis concentré sur la théorie de l'optimisation et la théorie de l'apprentissage automatique, qui sont le domaine de recherche principal de mon doctorat.

Quel est le thème de votre projet de recherche ?

Ces derniers temps, les réseaux de neurones surparamétrés où le nombre de paramètres du modèle dépasse de loin le nombre d'échantillons d'apprentissage disponibles sont les méthodes de choix pour les problèmes d'apprentissage. Malgré l'amélioration des performances empiriques des réseaux de neurones surparamétrés, la compréhension théorique de ces modèles est assez limitée, ce qui freine les progrès dans ce domaine.

Grâce à la bourse individuelle Marie-Curie, je prévois d'étudier le problème d'optimisation qui se pose lors de la formation de réseaux de neurones surparamétrés et les garanties d'approximation des réseaux de neurones surparamétrés.        

Qu'attendez-vous de votre bourse Marie-Curie ?

Je pressens déjà trois années incroyables de recherche, en venant travailler dans le groupe de Francis Bach à Inria de Paris et dans le groupe de Maxim Raginsky à l'UIUC. Ces deux groupes de recherche mènent des travaux extraordinaires dans le domaine de la théorie de l'apprentissage automatique. 

Avez-vous eu des difficultés à obtenir cette bourse ? Avez-vous un conseil à donner à ceux qui envisagent de postuler ?

Je pense que, dans un sens, j'ai eu un peu de chance. Mon superviseur chez Inria (Francis Bach) a été d’une grande aide pendant tout le processus. La demande d’une bourse Marie-Curie demande du temps et de la patience. Il est donc très important de ne pas abandonner en cours de route. Je me souviens qu’au moment de rédiger la proposition, je n’ai rien pu écrire pendant une semaine mais, petit à petit, c’est venu. La première chose à faire serait de trouver un superviseur pour la durée de la bourse. Une fois que vous avez trouvé le bon conseiller, je recommanderais de réfléchir au problème sur lequel vous souhaitez travailler et de faire un plan dans votre esprit avant d'écrire quoi que ce soit dans la proposition. Puis, peu à peu, cela viendra. Commencez bien deux mois avant la date limite. Une fois la demande soumise, ne vous inquiétez pas de la décision finale. Cela viendra un jour. 

Qu’est-ce qui vous plait le plus dans votre travail de chercheur ?

Jusqu'à présent, j'ai aimé faire de la recherche. Cela vous donne l'opportunité d'être en compagnie de personnes très intelligentes. Vous constaterez que la plupart de vos collègues sont beaucoup plus intelligents que vous, mais c’est là que le plaisir commence. Votre courbe d'apprentissage est exponentielle. Vous pouvez choisir les thèmes qui vous plaisent et consacrer les prochains mois ou années à ces problèmes tout en y travaillant. C’est merveilleux, non ? 

Que représente l’Europe pour vous, en particulier en tant que jeune chercheur ?

Les cinq années que j’ai passées en Europe en tant que doctorant ont beaucoup contribué à façonner mes recherches. Grâce à la souplesse des lois sur l'immigration, il m'a été possible de visiter divers laboratoires de recherche employant des chercheurs exceptionnels dans différents pays d'Europe et tous ces endroits ont contribué à faire de moi un meilleur chercheur ainsi qu'une meilleure personne. Cela n'aurait été possible nulle part ailleurs. J'en suis très reconnaissant.