Mammals : modèles enrichis en mémoire pour les services d'apprentissage automatique à faible latence

Un modèle d'apprentissage automatique est souvent formé à des fins d'inférence, c'est-à-dire pour classer des entrées spécifiques (par exemple des images) ou prédire des valeurs numériques (la position future d'un véhicule par exemple). Le déploiement de l'apprentissage automatique dans des applications à temps réel et des environnements imprévisibles pose des défis fondamentaux à l'inférence. Les grands fournisseurs de cloud computing, tels qu'Amazon, Microsoft et Google, proposent leurs solutions d'apprentissage automatique en tant que service, mais l'exécution des modèles dans le Cloud peut ne pas répondre aux contraintes de délais serrés (≤10 ms) des futurs services 5G, par exemple pour les voitures connectées et autonomes, la robotique industrielle, les jeux mobiles, la réalité augmentée et virtuelle. De telles exigences ne peuvent être satisfaites qu'en exécutant l'inférence directement à la périphérie du réseau – directement sur les appareils des utilisateurs ou sur des serveurs proches – sans les capacités de calcul et de stockage du "nuage". La protection de la vie privée et de la propriété des données exige également une inférence à la périphérie.

Mammals étudie de nouvelles approches pour exécuter l'inférence dans des délais très courts et avec des ressources limitées. Il vise en particulier à fournir des inférences à faible latence en exécutant, à proximité de l'utilisateur final, des modèles simples qui peuvent également tirer parti d'une (petite) base locale d'exemples. L'accent est mis sur les algorithmes permettant d'apprendre en ligne ce qu'il faut stocker localement pour améliorer la qualité de l'inférence et s'adapter au contexte spécifique.

L'approche actuelle pour exécuter l'inférence à la périphérie d'Internet consiste à prendre de grands modèles d'apprentissage automatique (souvent des réseaux de neurones) et à en générer de plus petits par compression ou distillation. Mammals explore une direction différente : tirer profit de la disponibilité des données à la périphérie (où les données sont généralement générées) pour compenser les contraintes de calcul plus strictes. En particulier, Mammals vise à combiner les décisions d'un petit modèle d'apprentissage automatique, par exemple un réseau neuronal compressé, avec celles d'un algorithme basé sur des instances qui récupère dans une base locale de données des exemples similaires à l'entrée actuelle.

Dans un certain sens, on peut dire que le modèle simple fournit la règle générale, tandis que l'algorithme basé sur les instances extrait les exceptions pertinentes de la base locale de données.

Cette approche semble très prometteuse car :

1. elle tire parti de la disponibilité des données à la périphérie ;
2. elle permet de personnaliser le modèle local simple en mettant à jour la base de données locale ;
3. elle peut s'adapter rapidement à une distribution changeante des tâches d'inférence ;
4. elle exploite le réglage fin des exigences de mémoire et de calcul des algorithmes basés sur les instances pour les adapter aux capacités du dispositif.

Mammals part d'un problème du monde réel mais il se concentre sur le développement de méthodologies générales pour le résoudre. Il est à espérer qu'il permettra également d'approfondir notre compréhension de la relation entre la mémorisation (la base locale de données mémorise les relations/structures précédemment observées) et la généralisation (la capacité d'extraire des règles d'inférence générales), qui fait encore défaut.

Actuellement, Mammals est basé sur un certain nombre de collaborations en binôme avec des partenaires académiques (Università degli Studi di Torino, Politecnico di Torino, University of Massachusetts, Northeastern University, Università degli Studi di Verona) et industriels (Nokia Bell Labs).