S’échapper du peloton grâce à la réalité étendue

Dans le cyclisme de compétition, on appelle cela l’échappée. C’est un moment clé où le coureur d’une équipe va tenter de s’éjecter du peloton en se glissant dans la roue d’un coéquipier qui démarre brusquement une attaque devant lui. Il va ainsi profiter de son appel d’air pour s’en aller chercher la victoire. Cette chorégraphie bien huilée repose sur l’effet de surprise. Elle exige une parfaite synchronisation entre les deux protagonistes. Le coureur doit guetter le démarrage de son coéquipier pour se lancer au plus vite derrière lui. Comment réussir cette manœuvre ? En détectant le plus tôt possible les signaux faibles qui annoncent le départ de l’action. Mais avec une contrainte supplémentaire : l’attaquant doit masquer son intention aux adversaires. Car il ne faut pas que ceux-ci puissent anticiper ce qui va se produire.

Pour aider le coureur à affûter son sens de l’observation et à mieux détecter ces signaux annonciateurs de l’attaque, des chercheurs du Centre Inria de l’Université de Rennes, en collaboration avec le laboratoire M2S de l’Université Rennes 2, élaborent actuellement un dispositif innovant de formation par réalité étendue (XR).

Spécialisée dans l’analyse et la synthèse du mouvement pour la simulation d’humains virtuels, l’équipe de recherche MimeTIC^[1] s’est forgé un nom dans les méthodes immersives au service de la santé, de l’ergonomie, mais aussi du sport. Dans le domaine du football, par exemple, les scientifiques ont conçu une simulation utilisée aujourd’hui par le Stade Rennais pour entraîner les gardiens de but à mieux suivre la situation de jeu avant un tir au but, ou optimiser le placement d’un mur en situation de coup franc.

Les informations transportées par les mouvements du corps

Les travaux qui débutent sur le cyclisme s’inscrivent dans le cadre de ShareSpace. Ce projet européen vise à doter les avatars des utilisateurs et les agents virtuels autonomes de capacités d’interaction sociale basées sur la communication sensorimotrice. Autrement dit : tous ces signifiants transportés par les mouvements du corps, les expressions faciales ou encore les gestes de la main.

Trois cas d’usages vont illustrer ces travaux. Le premier pour la rééducation à distance de patients souffrant de mal de dos. Le second dans l’univers artistique. Le troisième dans le cadre sportif avec une simulation d’échappée de peloton cycliste.

Le projet ShareSpace s’intéresse à l’interaction sociale dans ces espaces hybrides partagés, où vont donc évoluer "des incarnations de vrais humains, des humains complètement virtuels pilotés par intelligence artificielle (IA), mais aussi des représentations de vrais humains dont on a modifié le mouvement pour faciliter l’interaction avec les autres. On peut ainsi exagérer des caractéristiques du geste d’un participant, via son avatar, pour que ces caractéristiques soient plus visibles par les autres. Ces derniers peuvent alors mieux collaborer avec lui car ils comprennent ses actions et ses intentions." Dans certaines situations, l’information livrée par la gestuelle est bien disponible pour comprendre l’action d’un individu, mais pas perçue par les autres, ce qui altère la collaboration entre eux.

Amplifier les signaux faibles

C’est sur ce ressort que les scientifiques vont construire leur séquence d’entraînement pour le coureur cycliste. "Quand l’attaquant s’apprête à démarrer, il y a des signaux qui le montrent. Par exemple, le coureur va être obligé de changer légèrement de posture, de s’avancer un peu sur sa selle, de s’appuyer sur le guidon, etc. Mais le coéquipier qui le suit ne le perçoit pas forcément. Nous allons identifier et détecter automatiquement ces signes et les amplifier pour que le coureur s’habitue à lire cette information. Puis, nous diminuerons cette amplification au fur et à mesure de l’apprentissage pour qu’il monte en compétence petit à petit au cours de l’entrainement en réalité mixte."

Par ailleurs, en tête de peloton, se trouvera un humain virtuel autonome piloté par IA. "Comme dans la vraie vie, à un moment donné, il va donner des signes de fatigue. L’attaquant va devoir, lui aussi, repérer ces signes qui indiquent un moment propice pour déclencher son attaque."

© Inria / MimeTIC

Des expérimentations commencent actuellement à Rennes pour capturer les mouvements des cyclistes durant l’échappée. Objectif : identifier les variables sensorimotrices qui sont à l’œuvre. "Ces enregistrements vont permettre aussi de remonter dans le temps et de mesurer à partir de quel instant la gestuelle de l’attaquant est altérée avant même de lancer l’attaque. Donc, à partir de quand l’information est disponible, même si le coureur qui le suit, lui, ne la détecte peut-être pas encore."

Avec les autres partenaires du projet, les chercheurs rennais vont construire ensuite une mise en situation pour comprendre comment cette prise d’information sur l’attaquant s’effectue en réel. "Le coureur regardera une vidéo que l’on pourra interrompre à tout moment, tout en demandant au participant s’il pense que la suite est une attaque ou pas. Cela va nous permettre d’identifier à quel instant et à partir de quel signe le coureur comprend que l’attaque de son coéquipier devant lui a débuté. Il a peut-être vu son coéquipier commencer à se redresser sur sa selle. Mais juste avant, il a peut-être manqué le déplacement des mains sur le guidon. Ainsi, nous allons dresser une cartographie de l’information disponible et de ce que les cyclistes perçoivent vraiment."

Visiocasque et ergocycle

© Inria / Valentin Ramel

Pour les séquences d’entraînement, les scientifiques vont ensuite explorer deux approches. Dans la première, tout se déroule en réalité virtuelle. Un casque de réalité virtuelle sur les yeux, trois cyclistes coéquipiers pédalent sur un ergocycle. Tous les trois sont représentés par leur avatar et sont donc visibles pour tout le monde. Pour capter les mouvements du corps, les scientifiques prévoient d’utiliser le strict minimum de capteurs inertiels. "L’IA va permettre de reconstruire la posture complète de l’avatar avec très peu de données : les pieds, les mains, la tête." On rejoint ici un enjeu sous-jacent du projet : "pour que ce type d’applications puisse se démocratiser, il faut éviter de recourir à des dispositifs de capture trop onéreux »

© Inria / MimeTIC

Défi technique supplémentaire : "avec un vélo posé sur un home-trainer, on ne peut ni tourner, ni s’incliner comme on le ferait dans la réalité. Il nous faut donc introduire une métaphore qui permet aux participants en réalité virtuelle de commander la vitesse et la direction du vélo dans ces conditions contraignantes. Grâce à l’IA, nous allons alors transformer cette commande en mouvement cohérent de leurs avatars, tel qu’ils l’auraient fait eux-mêmes dans la réalité, pour la même vitesse et le même virage. "

En réalité augmentée sur une route de campagne

Dans une phase deux, les scientifiques veulent organiser cet entraînement en réalité augmentée. "Cette fois-ci, le coureur pédale sur un vrai vélo. Il roule tout seul sur une route de campagne. Il porte des lunettes de réalité augmentée et, en superposition, il voit d’autres cyclistes comme s’ils étaient là, formant le peloton autour de lui, alors qu’en fait ceux-ci pédalent sur leur home-trainer à la maison, ou sont des humains virtuels autonomes pilotés par IA. Cela va donc permettre à des partenaires distants de, malgré tout, s’entrainer ensemble. Là aussi, le coureur pourra jouer le rôle d’attaquant et permettre à ses coéquipiers distants de s’entrainer à capter les informations qui anticipent son attaque, cette fois avec ses vrais mouvements directement joués sur son avatar, sans avoir besoin de métaphore. "

Architecture cognitive basée sur de l'IA

Ce deuxième dispositif présente quelques défis. À commencer par le fait que les autres cyclistes doivent voir la route au même moment que le coureur. "Avec le DFKI et Ricoh, nous travaillons sur un système de caméras 360° embarquées sur le vélo. Le coureur fait un premier passage pour nous permettre de capturer un tunnel d’images à 360°. Chez eux, les cyclistes vont ensuite télécharger ces images afin de pouvoir évoluer également dans ce tunnel." Chacun devra percevoir le circuit en fonction de sa position à chaque instant. "Nos collègues du DFKI ont des résultats préliminaires là-dessus en environnement fermé. Maintenant, il faut réussir à les reproduire, dehors, sur une route."

La simulation est ensuite orchestrée par une architecture cognitive basée sur de l'IA et développée par le partenaire universitaire italien CRdC. Agissant comme une boîte noire, "cette brique détecte, par exemple, que des informations sont disponibles et décide de les amplifier ou pas. Elle prend en entrée les mouvements réels et donne en sortie les mouvements que l’avatar doit faire pour que ceux-ci soient plus facilement détectés." Cette IA fonctionne à partir des primitives sensorimotrices mise en évidence par MimeTIC, en collaboration avec les partenaires allemand (UKE) et français (Université de Montpellier), spécialistes en neurosciences. "Nous allons être capables de dire que les coureurs prennent leur décision sur tel signe, qu’ils perçoivent telle chose et ne voient pas telle autre."

Parmi les partenaires industriels du projet figure aussi Golaem. Cofondée par l’ancien chercheur Inria Stéphane Donikian en 2009, cette entreprise rennaise conçoit des logiciels d’animation permettant de programmer des personnages autonomes pour créer des figurants et des foules au cinéma. "Dans ShareSpace, Golaem nous fournit le pipeline graphique pour l’animation des humains virtuels. En particulier le retargeting. Cela consiste à adapter les mouvements qui doivent être effectués à la morphologie du personnage virtuel. Si le personnage est petit, par exemple, il faut quand même qu’il puisse toucher les pédales. Dans ce domaine, Golaem possède un moteur hyper efficace qui produit de l’animation de très haute qualité."

À qui s’adressera ce dispositif immersif ? "Plutôt aux centres de formation. Nous allons créer un comité consultatif pour associer les entraîneurs, les sportifs de haut niveau, la Fédération, la Ligue, etc." Le grand public pourra aussi essayer un premier démonstrateur durant les Jeux Olympiques de Paris 2024 puis ensuite pendant le Tour de France 2025.

^[1] MimeTIC, une équipe-projet Inria, ENS Rennes et Université de Rennes et Université de Rennes2. Elle fait partie des laboratoires M2S (Mouvement Sport Santé – EA1274) et Irisa (UMR CNRS 6074).

Je m'appelle Franck Multon. Je suis directeur de recherche chez Inria. Je suis le responsable de l'équipe MimeTIC à Rennes, qui regroupe des spécialistes d'analyse, et de synthèse du mouvement humain, avec différents grands domaines d'application. Premier domaine d'application dans la santé, un autre domaine dans l'ergonomie, et un autre grand domaine dans le sport, qui est actuellement très à la mode avec l'approche des J.O. Paris 2024. On a le plaisir de travailler dans le cadre du projet ShareSpace qui est un projet européen qui s'intéresse aux expériences sociales incarnées dans les espaces partagés hybrides, c'est-à -dire des espaces où vont se côtoyer des humains réels, des humains virtuels, via leurs avatars, et pouvant collaborer dans des tâches collectives de coordination, de synchronisation. 

Dans ce cadre d'expérience sociale incarnée, il y a trois cas d'usages qui ont été identifiés pour les Sharespaces : le premier cas d'usage c'est la rééducation de patients ayant des déficits moteurs, par du coaching avec par exemple du yoga, du fitness, etc. ; le deuxième cas d'usage c'est le domaine artistique, qui va vouloir s'emparer de cette relation qu'il peut y avoir entre des humains réels et virtuels et qui vont essayer d'en faire quelque chose d'un petit peu dérangeant ; et puis il y a le cas sportif, et donc MimeTIC est en charge de piloter le scénario sur le cadre sportif, avec un cas d'usage très particulier sur le cyclisme, et l'échappée, l'attaque, dans un peloton de cyclistes. Imaginez par exemple que vous êtes au Tour de France, il y a le peloton et puis votre partenaire va se retrouver à attaquer, à sortir du peloton, et vous vous devez détecter le plus tôt possible qu'il va attaquer pour pouvoir le suivre et bénéficier de son appel d'air.

Et donc l'objectif c'est de donner des outils en réalité virtuelle et en réalité augmentée qui vont vous permettre de vous préparer à cette situation et de vous rendre hyper efficace dans cette situation. Pour y arriver dans la vraie vie à cet entraînement, il faudrait mettre en jeu plusieurs cyclistes dans un peloton, les mobiliser, etc. L'idée du projet ShareSpace c'est chacun chez soi sur son home-trainer, trois quatre copains qui partagent un peloton avec des images virtuelles qui sont là  aussi pilotées par I.A. pour reproduire le comportement du peloton, et puis sur son home-trainer on va voir en réalité virtuelle les partenaires, on va voir les autres, et on va voir l'attaque se faire et on va voir comment interagir avec cette attaque pour en bénéficier le plus possible. 

Ce qui est très difficile dans cette situation d'échappée, c'est que celui qui va attaquer a tout intérêt à ce que les adversaires ne voient pas qu'il va attaquer, il va masquer au maximum son attaque le plus possible, et faire que personne ne voie qu'il va attaquer, mais en même temps, et c'est complètement opposé, il faut absolument que son partenaire, lui, détecte le plus possible. Et donc l'idée c'est de trouver comment masquer le plus aux autres son intention tout en permettant à  son partenaire lui de voir qu'il va y avoir cette attaque, et on va préparer le partenaire à détecter des signaux très faibles dans ce que va faire l'attaquant pour pouvoir anticiper son attaque. Les personnages pilotés par l'intelligence artificielle vont permettre au scénario de se jouer, par exemple avec quelqu'un qui est le leader du peloton qui va montrer des signes de fatigue et qui va donner l'envie à l'attaquant de dire "c'est maintenant que ça va se passer" sachant que, les adversaires, leur but c'est d’empêcher que cette attaque se fasse, et les adversaires sont pilotés par I.A. L'idée c'est de préparer ces outils-là  pour des publics de type moyen niveau, départemental, régional, international, etc. et ensuite de montrer ça au grand public à  l'occasion des Jeux Olympiques Paris 2024 lorsqu'il y aura des compétitions de cyclisme et les faire pratiquer pour partager un petit peu ce savoir-faire et cet outil.