Machine learning

Industrie 4.0 : opérateur et robot sont-ils faits pour s’entendre ?

Date:
Mis à jour le 21/11/2022
Des robots industriels capables d’ajuster la force et la direction de leurs mouvements pour coopérer de manière fluide avec un opérateur : c’était le sujet du projet européen AnDy, mené de 2017 à 2021. Inria participait à l’aventure et a signé plusieurs innovations pour ce volet de l’industrie 4.0, notamment en matière de cobotique.
Assemblage de plusieurs photos illustrant le programme Andy
@Alexandre Maio

Cobotique : réduire la pénibilité des tâches

Les robots industriels sont présents depuis des décennies dans les usines. Mais jusqu’ici, ils effectuaient seuls des tâches simples et répétitives, dans un périmètre sécurisé dans lequel toute intrusion humaine déclenchait un arrêt automatique. « Avec AnDy, nous avons œuvré pour la génération suivante, celle de l’industrie 4.0 : des exosquelettes, des cobots et des robots humanoïdes. Ils sont portés par l’opérateur ou partagent son espace, et l’aident dans sa tâche, explique Serena Ivaldi, chargée de recherche dans l’équipe Larsen, équipe commune du centre Inria Nancy - Grand Est et du laboratoire Loria. L’enjeu est de réduire la pénibilité des postes de travail, grâce à une coopération la plus fluide et la plus sûre possible. »

Une innovation qui n’est pas une mince affaire. Car le cobot doit s’adapter à la dynamique du corps humain, reconnaître une intention à partir d’une amorce de mouvement, ne pas imposer à l’opérateur une posture anti-ergonomique. « On peut comparer leur interaction à celle de deux danseurs, illustre Francesco Nori, coordinateur du projet AnDy et directeur de l’activité robotique de Deepmind (groupe Google). La coopération n’est ni verbale, ni planifiée : elle est implicite et résulte d’une compréhension mutuelle qui permet de deviner le geste suivant. »

Une combinaison instrumentée pour reconnaître gestes et postures

Un tel objectif ne pouvait pas être atteint en quatre ans. En revanche, les chercheurs ont franchi plusieurs jalons importants pour le monde industriel. « En particulier, la mise au point d’une combinaison équipée de 17 capteurs qui permet de suivre les mouvements d’un opérateur, pour déterminer de manière automatique ses postures et ses gestes :  saisir, porter, déposer, visser, etc. » note Francesco Nori.

Cette combinaison instrumentée a servi à constituer une base de données déjà téléchargée plus de 10 000 fois (lire encadré). En cours de projet, AnDy a aussi donné naissance chez une jeune startup italienne, iFeel, à des chaussures dotées de capteurs qui mesurent les appuis au sol ; de quoi enrichir l’analyse automatisée des mouvements.

Évaluer automatiquement le risque ergonomique : une avancée pour l’industrie 4.0

Au-delà de ces innovations sur le matériel, AnDy a signé une avancée notable en automatisant l’évaluation du risque ergonomique propre à une tâche ou à un poste de travail. Un volet du projet auquel Inria a beaucoup contribué.

« Nous identifions les postures et les gestes de l’opérateur habillé de notre combinaison, décrit Serena Ivaldi, et nous mesurons les couples articulaires, au sens mécanique du terme : les genoux, les poignets, la ceinture lombaire sont-ils soumis à des efforts violents et répétés, aussi néfastes qu’une position anti-ergonomique ? » L’intensité des efforts est imagée sur un personnage virtuel créé par l’équipe : ses articulations voient leur couleur naviguer entre le vert et le rouge selon qu’elles sont ménagées ou trop sollicitées.

Cette évaluation 100% automatique s’avère plus rapide, plus riche et plus précise que la méthode traditionnelle : un ergonome qui observe, coche des cases et calcule un score. Elle servira à doser les mouvements des futurs cobots industriels appelés à interagir avec un opérateur, pour une assistance au geste optimale.

Une méthode déjà testée sur plusieurs exosquelettes

Les avancées d’AnDy ont servi avant même la fin du projet. Début 2020, au plus fort de la pandémie de Covid-19, Inria les a utilisées dans le cadre du projet ExoTurn pour sélectionner et tester des exosquelettes pouvant aider les soignants à retourner plusieurs fois par jour des patients en réanimation. « L’exosquelette passif d’assistance lombaire retenu dans ExoTurn soulage les muscles dorsaux en déplaçant les efforts sur d’autres parties du corps, explique Serena Ivaldi. Il fallait s’assurer qu’il ne créait pas de nouvelles zones d’inconfort ni des changements dans le geste médical. » Plus de 60 soignants de réanimation ont testé ce dispositif entre avril 2020 et mai 2021. 

Exoturn : des exosquelettes pour aider le personnel soignant en réanimation
© Inria / Photo J. Galet

De même, les chercheurs d’AnDy ont collaboré avec la firme allemande Ottobock pour évaluer et améliorer son exosquelette passif Paexo Shoulder. Celui-ci assiste les opérateurs qui accomplissent des tâches physiques exigeantes avec les bras levés, par exemple dans le bâtiment ou la réparation automobile.

Un cobot qui devine le prochain geste de l’opérateur

L’autre grande innovation d’Inria pour AnDy concerne la capacité du cobot à anticiper, c’est-à-dire à comprendre l’intention du geste humain pour amorcer son propre déplacement et rendre la coopération fluide. Grâce à la base de données AnDyDataset, l’équipe a pu entraîner des modèles de machine learning à reconnaître les activités d’un opérateur et à prédire avec justesse son mouvement suivant, à partir de l’observation du mouvement en cours. Ces modèles se sont avérés fiables et assez rapides pour un fonctionnement en temps réel.

Les chercheurs les ont validés sur une situation expérimentale particulière, la téléopération d’un robot humanoïde, après avoir paramétré un décalage d’une à deux secondes entre les instructions et leur exécution. « Même pour une tâche simple comme saisir un objet et le déplacer, ce décalage perturbe le téléopérateur. Grâce à nos modèles et à leur capacité d’anticipation, nous l’avons compensé. Le téléopérateur avait l’impression que sa commande et le geste du robot étaient synchronisés. »

iCub, robot humanoïde utilisé dans le cadre du projet AnDy.
© Inria / Photo F. Nussbaumer - Signatures

Sur sa lancée, l’équipe Inria du projet AnDy a également testé iCub, son petit robot humanoïde, sur des situations sans interaction humaine où la fluidité était décisive. iCub a marché en souplesse, ouvert des portes, s’est penché pour ramasser des objets au sol et a même esquissé seul quelques pas de danse ! La comparaison de Francesco Nori avec des danseurs n’est peut-être pas si éloignée de la réalité…

AnDyDataset, cinq heures de gestes industriels en libre accès

Inria a réalisé pendant le projet cinq heures d’enregistrements vidéo montrant treize personnes de taille et de morphologie variées qui exécutent des tâches typiques d’un environnement industriel. Toutes portaient une combinaison équipée de capteurs. Des logiciels d’analyse automatique ont reconnu les postures et les actions effectuées, avec un excellent taux de réussite.

Ces données constituent une base unique pour entraîner des modèles de machine learning à la reconnaissance d’activité, la prédiction des gestes et l’évaluation ergonomique de mouvements. Baptisée AnDyDataset, elle est en libre accès par téléchargement.