Hector : la réalité augmentée au service des chirurgiens

 Je me présente, je m'appelle Hector

Je suis née au sein de l’équipe MIMESIS, qui travaille en étroite collaboration avec l'IHU (institut hospitalo-universitaire de chirurgie guidée par l’image) de Strasbourg, spécialisé dans le traitement des pathologies de l’appareil digestif. J'ai vocation à compléter les images préopératoires (ou modèles 3D virtuels générés à partir de ces reconstructions) déjà à la disposition des chirurgiens et des radiologues interventionnels – images qui les aident à planifier au mieux les interventions chirurgicales... Comment ? Je leur propose une technologie de réalité augmentée qui leur permet de visualiser, en cours d'opération, l'anatomie interne d'un organe comme s'il était transparent.

Mon objectif : fournir un rendu réaliste et en temps réel des mouvements et déformations de l'organe

Grâce à mon réseau de neurones, je combine des technologies de simulation numérique et d’intelligence artificielle pour apprendre à prédire les mouvements et déformations possibles de l’organe pendant une opération. J’ai même déjà été testée dans un contexte clinique avec nos partenaires au sein du service d'hépatologie de l'hôpital Paul-Brousse de Villejuif (Val-de-Marne) !

Pourquoi est-ce important ? « Pour le foie, sur lequel nous nous concentrons actuellement, cela devrait par exemple aider les chirurgiens à prélever certaines tumeurs en touchant le moins possible au réseau vasculaire adjacent, explique Stéphane Cotin, directeur de recherche de l'équipe-projet MIMESIS, spécialisée dans la modélisation et la simulation en temps réel pour la médecine (voir encadré). C'est essentiel pour que l’organe maintienne ses fonctions vitales et se régénère bien après l'opération. »

Mes spécificités technologiques

J'utilise parallèlement trois sources de données pour estimer, en temps réel et avec un maximum de précision, les déformations d'un organe : les images qui proviennent de la salle d'intervention ; le modèle en trois dimensions de l'organe, réalisé avant l'opération ; et les calculs de déformation. Ces derniers reposent sur des modèles-types de déformation, des méthodes numériques de calcul aidant à résoudre en très peu de temps des équations complexes, et une forme d'intelligence artificielle entraînée « à reproduire le comportement déformable d'un organe, indique Stéphane Cotin. Nous arrivons ainsi aujourd'hui à prédire de façon extrêmement rapide et avec une très bonne précision la façon dont se déforme l'organe. Nous sommes aussi capables d'afficher en temps réel les images actualisées, en superposition de celles de l'opération. »

Cette recherche pluridisciplinaire repose en partie sur la plate-forme de simulation SOFA* développée dans l’équipe MIMESIS et d’autres équipes Inria, et maintenue par un consortium afin d’en faire profiter la communauté scientifique.

Mon créateur et porteur de projet

À l'origine de ma création, il y a Stéphane Cotin qui a orienté toute sa carrière de chercheur sur la modélisation et la simulation dans le domaine médical. « J'ai passé une dizaine d'années à Boston aux États-Unis, dans un labo très connecté à un hôpital : mon intérêt pour les applications médicales de l’informatique date de cette époque. » À son retour en France, il se rapproche d’Inria à Lille, puis de l'IHU de Strasbourg, où « des chirurgiens s'intéressent à la possibilité d'utiliser des modèles 3D, construits à partir d'images médicales, au moment même de l'opération – et plus seulement en phase de diagnostic. » Cofondateur et aujourd'hui conseiller scientifique d'InSimo, un éditeur strasbourgeois de logiciels de simulation pour la formation chirurgicale, Stéphane Cotin pilote en outre l'équipe-projet MIMESIS, en charge d'Hector, et il demeure très investi dans l'innovation clinique.

Mes défis à venir

Il reste à travailler sur la précision mais également la robustesse d'Hector, en s’assurant que les prédictions du système sont fiables afin de mieux alerter les utilisateurs en cas de risque ou lorsque la qualité d'un modèle semble inadéquate, faute de données de qualité suffisante. Enfin, à l'instar de la robotique médicale, qui a fini par s'imposer dans tous les blocs opératoires, Hector pourrait à l'avenir conquérir de multiples segments de marché. Le logiciel a déjà fait la démonstration de son potentiel lors de chirurgies hépatiques. Et d'autres déclinaisons sont déjà à l'étude, par exemple en neurochirurgie.

En savoir plus

Les chercheurs et ingénieurs de cette équipe travaillent notamment sur la simulation médicale numérique dans les domaines de l’apprentissage du geste chirurgical et sur l’assistance peropératoire via des techniques de réalité augmentée.

L'équipe-projet MIMESIS

Page web de MIMESIS

*SOFA est une plate-forme logicielle open source pour la simulation multiphysique.