IOT – Objets connectés
Favoriser l’apprentissage du rythme avec un bracelet connecté : le projet d’EVA, de l’Instituto d’O Passo et du Conservatoire de Besançon
Date:
Mis à jour le 17/06/2021
Un dispositif connecté pour favoriser l’apprentissage du rythme musical : c’est le nouveau projet de recherche baptisé "ThomThom" et signé par l’équipe EVA (Inria de Paris), en collaboration avec l’Instituto d’O Passo et le Conservatoire de Besançon.
Dans la pluralité de son enseignement musical, le Conservatoire du Grand Besançon Métropole dispense des cours d'O Passo, une méthode d’éducation musicale créée par Lucas Ciavatta en 1996 au Brésil. Cette méthode promeut l’apprentissage du rythme musical en utilisant les mouvements du corps dans l’espace. Avec la volonté d’intégrer des nouvelles technologies comme outil pédagogique et de proposer une méthode d’évaluation objective dans ses cours, Thomas Nicol, directeur adjoint de l’Instituto d'O Passo, a fait appel à EVA (Inria de Paris). Cette collaboration a donné naissance à un projet pluridisciplinaire mêlant musique et "wearables", baptisé "ThomThom" et porté par Thomas Watteyne (EVA, Inria de Paris). Ce projet s’inscrit dans le programme de recherche de l’équipe EVA qui travaille sur la mise en réseau d’objets connectés.
L’apprentissage du rythme par la méthode O Passo
Lors de l’acquisition des bases du solfège et de l’éducation musicale, on apprend que la musique est structurée en plusieurs lignes de temps différentes :
- la pulsation, qui est un battement régulier faisant office de repère temporel comme le tic-tac d’une horloge ;
- le tempo, qui est le temps séparant deux pulsations ;
- le rythme, qui est l’association de sons et de silences autour de la pulsation.
Cette représentation abstraite de la musique est à l’origine des cours de formation musicale O Passo. Il peut s’avérer difficile pour de nombreuses personnes de se faire des représentations abstraites : la méthode O Passo permet de faire comprendre plus facilement la structure de la musique grâce à une matérialisation dans l’espace du corps. Les pieds incarnent la pulsation, quand les mains battent le rythme.
Dans cette méthode, l’attention est portée sur la précision dans le temps, en particulier sur la pulsation tant au niveau individuel (la régularité de sa propre marche) qu’au niveau du groupe (synchronisation des pas). Le rythme, frappé dans les mains, doit être également précis et mesuré en rapport avec la pulsation.
© Institut d’O Passo
Un bracelet connecté pour mesurer la précision du rythme
C’est en partant du constat qu’aucun outil n’existe aujourd’hui pour quantifier la précision d’un étudiant lorsqu’il pratique la méthode O Passo que l’Instituto d’O Passo et EVA (Inria de Paris) ont choisi de travailler ensemble sur le projet ThomThom.
L’équipe EVA travaille sur la fabrication de bracelets connectés permettant de quantifier la précision des étudiants en captant les différents mouvements marquant la pulsation et le rythme. Équipés d’un accéléromètre, les bracelets enregistrent les données brutes des différentes accélérations positives et négatives créées par les mouvements. Grâce à la connexion en réseau des capteurs, il sera possible d'analyser et comparer en temps réel si des personnes sont en rythme ou non.
© Inria
Le bracelet connecté ThomThom dans l’enseignement à distance
« Ce n’était pas prévu initialement mais avec le contexte actuel de la crise sanitaire due à la Covid-19, on imagine très bien transposer cette technologie dans le cadre de l’enseignement à distance. » - Thomas Nicol, Instituto d’O Passo.
En ayant chez soi les bracelets, chaque élève pourrait s’entraîner grâce à des vidéos mais continuer à se mesurer à ses camarades, également chez eux, en temps réel. L’enseignant pourrait, lui aussi, avoir accès aux données des mouvements pour voir si le groupe continue à être en rythme ensemble.
À terme, le projet prévoit plusieurs cas d'usage :
- Lors d’un cours collectif, les bracelets connectés pourront être utilisé à des fins pédagogiques et permettront au professeur de proposer des challenges collectifs ou de suivre la progression objective de chacun de ses élèves.
- En individuel, l’élève pourra l’utiliser comme un outil de mesure et de suivi de sa propre performance et son apprentissage musical. Le bracelet sera alors utilisé pour s’entraîner et ainsi s’améliorer.
- Lors de concerts, ce type de wearables pourra être utilisé comme un instrument virtuel. Lors de mouvements particuliers, des sons pourront être déclenchés comme par exemple, le bruit d’une batterie.
Les différentes étapes de la création du bracelet connecté
La première phase concerne la conception d’un algorithme de détection des battements des mains et des pieds. Pour cela, EVA effectuera des tests au Conservatoire de Besançon le 7 novembre prochain avec un groupe de volontaires. Des boîtiers seront positionnés sur les deux chevilles et une des deux mains de chaque participant afin de capter et d’enregistrer ses mouvements. Ces tests permettront aux chercheurs d’analyser les données afin de créer un algorithme de détection de plus en plus précis des moments où les personnes battent le rythme ou la pulsation. Il faudra ensuite appliquer la technologie IoT « 6TiSCH » que développe l’équipe du centre de recherche de Paris pour permettre d’agréger les données en temps réel, de manière évolutive et synchronisée.
La deuxième phase, prévue pour début 2021, concerne l’implémentation de la technologie dans un bracelet. La création de l’algorithme permettant aux capteurs d’être plus petits qu’un trombone, le dispositif connecté sera très léger. Les bracelets seront équipés d’une lumière afin que l’utilisateur puisse repérer d’un coup d’œil s’il est en rythme ou non par rapport à son groupe. À terme, la lumière pourra également être exploitée afin de créer des jeux lumineux, pour apporter un supplément de divertissement lors de concerts par exemple. L’objectif pour Thomas Watteyne ? « Avoir un produit utilisable dès l’été 2021 ! »
© Inria
Pour aller plus loin :