Herilalaina Rakotoarison améliore l’automatisation de la configuration des modèles d’IA

Systèmes de guidage embarqué d’un véhicule automobile, de détection de spams dans une boite mails, de reconnaissance et d’aide à l’analyse en imagerie médicale, de préconisation d’une plate-forme de diffusion audiovisuelle, de navigation d’une tondeuse ou d’un aspirateur robotisé, de génération du fil d’actualités d’un réseau social… Ces applications numériques qui partagent notre quotidien professionnel ou privé ont un point commun : elles sont toutes pilotées par des algorithmes de machine learning (ML), qui sont à l’intelligence artificielle ce que l’apprentissage est au cerveau humain.

« Le développement d’un modèle ML se fait en deux étapes supervisées par un data scientist », explique Herilalaina Rakotoarison pour préciser le contexte de mise en œuvre de la thèse qu’il a consacré au sujet : Some contributions to AutoML : hyper-parameter opimization and meta-learning. « Il faut d’abord préparer les données d’entrainement qui permettront au modèle de ML d’apprendre à résoudre le problème qu’il est censé traiter, puis sélectionner l’algorithme le mieux adapté à l’objectif visé, qui sera exécuté sur l’ensemble de ces données, ainsi que les hyperparamètres dont la valeur est utilisée pour contrôler le processus d’apprentissage. Expérimenté selon un processus itératif jusqu’à obtenir un résultat satisfaisant, le modèle de ML peut ensuite être utilisé sur de nouvelles données que l’algorithme traitera en se basant sur son apprentissage. »

Du Machine learning appliqué au Machine learning

Si, en pratique, de nombreux logiciels et plates-formes permettent aux data scientist d’explorer, de tester et de mettre en production un modèle de ML, la difficulté réside toutefois dans le choix de celui-ci.

Il existe un très grand nombre d’algorithmes de ML et énormément de valeurs possibles pour les hyperparamètres associés. Choisir le modèle le plus performant par rapport aux résultats attendus s’avère souvent complexe, long et par conséquent coûteux. Le but de l’AutoML est donc de simplifier ces opérations en les automatisant.

« Cela revient à utiliser un modèle de ML pour sélectionner et configurer le modèle de ML recherché. » Une sorte de ML au carré. La thèse soutenue par Herilalaina Rakotoarison sous la direction de Marc Schoenauer et Michèle Sebag, coresponsables de l’équipe-projet TAU (Inria, Université Paris-Saclay, CNRS au sein du LISN), présente deux contributions visant à améliorer les approches d’AutoML en s’appuyant sur les deux axes les plus explorés dans ce domaine : l’optimisation et le méta-apprentissage.

Un algorithme de plus en plus proche de l'humain

« Pour la première contribution, l’idée a été de scinder la démarche d’optimisation en deux afin de trouver un moyen de résoudre les problèmes d’optimisation structurelle – le choix des algorithmes – et paramétrique – la configuration des hyperparamètres – à l’aide de deux stratégies couplées. » La solution proposée : un algorithme d’optimisation hybride baptisé Mosaic qui mêle de manière originale les méthodes de recherche arborescente et d’optimisation bayésienne, dont l’évaluation a montré une performance empirique supérieure à celles des systèmes d’AutoML ordinairement appliqués.

« Le deuxième objectif de ma thèse consistait à proposer un algorithme qui pourrait apprendre des similarités entre les tâches. L’hypothèse de départ est que deux tâches peuvent être considérées comme similaires si les algorithmes qui permettent de les traiter de manière optimale sont les mêmes. »

Cette capacité d’un algorithme à apprendre d’expériences antérieures, qui lui vaut son appellation de méta-apprentissage, ouvre des perspectives particulièrement intéressantes parce qu’elle opère à un niveau supérieur à celui du machine learning traditionnel, son but ultime étant d’être capable d’apprendre de manière autonome en s’adaptant à une séquence de tâches éventuellement liées, comme le fait un être humain.

Des perspectives prometteuses

Ces perspectives dépassent par ailleurs le seul cadre de la recherche fondamentale car l’une des motivations de l’AutoML est d’offrir la possibilité à des utilisateurs qui n’auraient pas de connaissances spécialisées en intelligence artificielle de construire des modèles de ML performants et spécifiquement adaptés à leur champ d’intervention, par exemple la médecine ou le changement climatique.

Si les travaux de Herilalaina Rakotoarison représentent une avancée notable des recherches dans le domaine de l’AutoML, il reste donc à ce sujet bien des pistes à explorer. C’est ce qu’il s’emploie à faire désormais dans le cadre du postdoc qu’il effectue au sein du Machine Learning Lab de l’Université de Freiburg, « l’un des laboratoires les plus en pointe au niveau mondial dans le domaine de la recherche en AutoML ».