Tout le monde le dit : c’est la crise ! L’expression « crise de la reproductibilité » en français possède son article Wikipédia depuis fin 2016 et l’équivalent en anglais (reproductibility crisis ou replication crisis) depuis début 2015. Une rapide recherche du terme reproducibility crisis dans les tendances Google montre que cette expression se popularise depuis la première moitié des années 2010.
Le journal Nature en a fait ces dernières années un de ses sujets éditoriaux récurrents. En particulier, une enquête sous forme de questionnaire de plusieurs centaines de scientifiques de tous domaines est publiée en 2016 et est depuis reprise par tous les articles évoquant le sujet : oui, il existe selon la majorité des scientifiques interrogés une incapacité à reproduire les expériences scientifiques publiées, et oui, il s’agit selon eux d’une crise, sous-entendant non seulement que l’affaire est grave, mais aussi qu’elle est nouvelle.
Voilà une crise dont l’institution scientifique, en quête de légitimité auprès des instances politiques (en sciences du climat) ou administratives (pour les essais cliniques) ou tout simplement du grand public (le glyphosate est-il toxique, oui ou non ?), se passerait bien.
Qu’est ce que la reproductibilité ?
Bien que la reproductibilité soit souvent considérée en principe comme la moindre des choses en science (sinon quelle confiance avoir dans des résultats scientifiques ?), en pratique, il en va tout autrement.
Du point de vue de l’histoire des sciences, la reproductibilité est une question complexe : la diversité des termes (verification, replicability, repeatability, checking, robustness…) et leur polysémie la caractérisent. Reproductibilité par qui (soi-même, un collègue, un concurrent, un relecteur, une instance de vérification) ? Pour quoi (pour valider, pour contredire, pour interpréter) ? Comment (même instrumentation, même protocole, même conclusion par d’autres moyens) ? Et d’ailleurs, qu’est-ce qui doit être pareil exactement (exactement les mêmes mesures, des patterns similaires, des conclusions compatibles à partir de résultats différents) ? Et quand a-t-on besoin d’être pareil (pour démontrer, pour infirmer ou contredire, pour généraliser) ?
D’une manière générale, la littérature en histoire des sciences montre que si la reproductibilité conduit à plus de fiabilité en science, c’en est un moyen parmi d’autres, pas toujours suffisant, pas toujours nécessaire.
Diversité des sciences
La reproductibilité est aussi vécue de manières différentes selon les domaines scientifiques. Les questions de reproductibilité ne se posent pas de la même manière selon les situations expérimentales : cherche-t-on à détecter le signal des ondes gravitationnelles dans le bruit des vibrations de quelques millimètres d’amplitude sur des bras métalliques de plusieurs kilomètres de long ? Cherche-t-on à rendre des populations de souris les plus significatives possibles mais suivent-elles le même régime alimentaire que dans l’animalerie d’un autre laboratoire ? La philosophe des sciences Sabina Leonelli propose plusieurs catégories d’activités scientifiques pour lesquelles reproductibilité n’a pas forcément le même sens ni la même importance.
Par exemple, certains domaines travaillent sur des objets d’études rares ou périssables. Quel sens a la reproductibilité en archéologie où l’activité consiste à trouver quelque chose de nouveau à chaque fouille ? Comment définir la reproductibilité dans certaines observations astronomiques d’évènements rarissimes ? La reproductibilité est donc multiforme et dépendante du contexte mais elle est aussi différente selon les domaines scientifiques. Différente sur comment elle est perçue et est mise en place mais aussi différente sur son importance en tant que norme scientifique.
En anthropologie par exemple, un des principes épistémiques à la base de sa fiabilité est la réflexivité plutôt que la reproductibilité : le questionnement du rapport entre le chercheur et son objet d’étude pour permettre une analyse pertinente de ses conditions et résultats de recherche. Il s’agit là d’ailleurs d’un principe épistémique dont bien des sciences pourraient s’inspirer (là où elles se contentent d’une parfois peu convaincante déclaration d’absence de conflits d’intérêts).
Pourquoi la crise ?
Et pourtant, la crise, elle, s’est installée quasi simultanément dans une grande variété de domaines scientifiques malgré cette diversité.
D’une part, il y a un lien, ou du moins une concomitance avec le mouvement de l’open access (accès ouvert). Les oligopoles des éditeurs scientifiques ont tendance à rendre la littérature scientifique inaccessible au commun des mortels (voire au commun des chercheurs) : un des chevaux de bataille de l’open access est la revendication de plus de transparence dans les sciences. Par extension, le mouvement de l’open science (science ouverte) exige que les expériences scientifiques puissent être reproductibles, dans le cadre de cette transparence. La reproductibilité est revendiquée comme le standard absolu, l’étalon qui permet la confiance dans l’activité scientifique, confiance de la part de la communauté des chercheurs eux-mêmes mais aussi pour les institutions scientifiques de financement, et les citoyens. Le lien entre publication, transparence et reproductibilité est particulièrement prégnant dans la critique de la relecture par les pairs qui accompagne le mouvement de l’open access.
Pourtant, l’analyse que nous venons de faire de la diversité des domaines scientifiques implique que l’exigence de reproductibilité (en tant que moyen d’obtenir la fiabilité) pose problème pour la vitalité de nombreux champs scientifiques pour lesquels cette exigence peut être sans objet, voire contre-productive. Il ne s’agit pas de nier que les meilleures pratiques de recherche possibles sont souhaitables.
Dans le domaine computationnel par exemple, un domaine présent dans de nombreuses sciences, l’interdépendance des librairies informatiques est un casse-tête pour la reproductibilité des programmes informatiques qui est l’objet de plus en plus d’attention. Mais la référence à l’exigence de reproductibilité comme s’il s’agissait d’une valeur universelle applicable partout de la même manière tient plus de la panique morale que d’une réflexion sur les sciences dans leur diversité.