Projet NARPS : la robustesse de la méthode scientifique à l’épreuve des faits

Camille Maumet, Inria Rennes – Bretagne-Atlantique : « Mon activité porte sur la variabilité analytique, c’est-à-dire la façon dont la chaîne de traitement d’un jeu de données – algorithmes, logiciels, machines, etc. – influe sur le résultat final. NARPS me donnait l’occasion d’apprécier l’importance de cette variabilité à une très vaste échelle. »

Bertrand Thirion, Inria Saclay – Île-de-France : « La neuro-imagerie est au cœur de l’activité de mon laboratoire ; nous développons nos propres logiciels et NARPS nous permettait de comparer leurs résultats avec ceux de dizaines d’équipes. Il y a eu des projets semblables par le passé, mais jamais d’une telle ampleur (voir encadré). C’était une occasion à saisir. » 

C.M. : « Nos résultats intermédiaires convergent plutôt, mais nos interprétations et nos résultats finaux divergent. Cela montre que nous devons améliorer certaines pratiques ; en particulier, le travail collaboratif peut nous aider à rendre notre démarche plus robuste. » 

B.T. : « NARPS nous rappelle que l’article scientifique le plus rigoureux livre en définitive l’opinion du chercheur et non une vérité absolue. D’où la nécessité de publier aussi ses résultats intermédiaires, afin que d’autres puissent répliquer nos expériences. » 

C.M. : « Je pratique de plus en plus la "preregistration", c’est-à-dire la définition de la méthode d’analyse avant de récupérer les données. On évite ainsi la tentation de multiplier les chaînes de traitement dans une même étude, ce qui fragilise les résultats. » 

B.T. : « Mon laboratoire partage de plus en plus ses données, par exemple des images brutes du cerveau, avec cette difficulté qu’il faut préserver l’anonymat des sujets. Je voudrais aussi expérimenter les analyses croisées entre deux équipes. Chacune évaluerait les travaux de l’autre, ce qui limiterait fortement le risque de biais ou d’erreur liés à la complexité de nos méthodes statistiques. »