Projet NARPS : la robustesse de la méthode scientifique à l’épreuve des faits
Date:
Mis à jour le 18/12/2020
Quand 70 équipes scientifiques du monde entier étudient les mêmes données de neuro-imagerie et les mêmes hypothèses, elles n’arrivent pas forcément aux mêmes conclusions. C’est le principal enseignement du projet international NARPS*, récemment publié dans Nature, qui conclut à la nécessité de rendre les méthodes d’analyse plus transparentes. Deux chercheurs Inria, Camille Maumet et Bertrand Thirion, ont participé à cette expérimentation de science ouverte.
Pourquoi vous êtes-vous associé au projet NARPS ?
« L’article le plus rigoureux livre en définitive l’opinion du chercheur. »
Bertrand Thirion, Directeur de recherche, responsable de l’équipe Parietal
Camille Maumet, Inria Rennes – Bretagne-Atlantique : « Mon activité porte sur la variabilité analytique, c’est-à-dire la façon dont la chaîne de traitement d’un jeu de données – algorithmes, logiciels, machines, etc. – influe sur le résultat final. NARPS me donnait l’occasion d’apprécier l’importance de cette variabilité à une très vaste échelle. »
Bertrand Thirion, Inria Saclay – Île-de-France : « La neuro-imagerie est au cœur de l’activité de mon laboratoire ; nous développons nos propres logiciels et NARPS nous permettait de comparer leurs résultats avec ceux de dizaines d’équipes. Il y a eu des projets semblables par le passé, mais jamais d’une telle ampleur (voir encadré). C’était une occasion à saisir. »
Votre avis sur les conclusions de l’étude ?
« Dans une même étude, mieux vaut éviter de multiplier les chaînes de traitement de données : cela fragilise les résultats. »
Camille Maumet
Chargée de recherche, équipe Empenn
C.M. : « Nos résultats intermédiaires convergent plutôt, mais nos interprétations et nos résultats finaux divergent. Cela montre que nous devons améliorer certaines pratiques ; en particulier, le travail collaboratif peut nous aider à rendre notre démarche plus robuste. »
B.T. : « NARPS nous rappelle que l’article scientifique le plus rigoureux livre en définitive l’opinion du chercheur et non une vérité absolue. D’où la nécessité de publier aussi ses résultats intermédiaires, afin que d’autres puissent répliquer nos expériences. »
NARPS vous incite-t-il faire évoluer votre démarche de chercheur ?
Témoignage de Jeremy Hogeveen, chercheur à l’université du Nouveau-Mexique, participant au projet NARPS : « Nous pouvons tirer deux conclusions de cette étude. D'abord, nous devons décrire nos méthodes dans leurs moindres détails lorsque nous publions des articles, afin de pouvoir comprendre correctement les éventuelles incohérences entre résultats. Ensuite, pour faire progresser la recherche en neuro-imagerie, il est essentiel que nous-mêmes et nos collègues du monde entier commencions à adopter les meilleurs processus d'analyse disponibles, afin d’obtenir des résultats stables d’un laboratoire à l’autre. »
Lire la totalité du témoignageC.M. : « Je pratique de plus en plus la "preregistration", c’est-à-dire la définition de la méthode d’analyse avant de récupérer les données. On évite ainsi la tentation de multiplier les chaînes de traitement dans une même étude, ce qui fragilise les résultats. »
B.T. : « Mon laboratoire partage de plus en plus ses données, par exemple des images brutes du cerveau, avec cette difficulté qu’il faut préserver l’anonymat des sujets. Je voudrais aussi expérimenter les analyses croisées entre deux équipes. Chacune évaluerait les travaux de l’autre, ce qui limiterait fortement le risque de biais ou d’erreur liés à la complexité de nos méthodes statistiques. »
En savoir +
* La méthode NARPS : des paris et une capture par IRM de l’activité cérébrale
Les images IRM utilisées pour NARPS ont été réalisées sur 108 sujets volontaires. Ils recevaient à leur arrivée au laboratoire une somme d’argent modique et se voyaient proposer des paris assortis d’un gain et d’une perte de même montant, ou d’un gain deux fois plus élevé que la perte. À chaque décision (parier ou non), l’appareil d’IRM dans lequel ils étaient installés capturait leur activité cérébrale.
Les organisateurs de NARPS avaient délimité par ailleurs neuf zones cérébrales, et demandaient aux 70 équipes de juger si l’activité de chacune d’entre elles se modifiait en fonction des décisions prises. Les chercheurs ont obtenu des résultats intermédiaires assez convergents. En revanche, de 20 à 40 % des équipes arrivent à des conclusions significativement différentes du groupe pour l’activité de cinq zones cérébrales.
Research Teams Reach Different Results From Same Brain-Scan Data, The Scientist, 20/05/2020