Tout au long de l’année 2020, les résultats publiés par Didier Raoult et ses collègues ont été largement commentés dans la littérature scientifique ainsi que dans les médias grand public. Pourtant, un point semble avoir échappé à l’attention générale : le mésusage des citations scientifiques visant à appuyer les thèses défendues par le directeur de l’IHU Méditerranée Infection. Cela nous a incités à faire le point, de manière plus systématique, sur le mésusage des citations dans la littérature scientifique biomédicale.
Nos recherches indiquent qu’il s’agit d’un phénomène fréquent qui, dans certains cas, peut avoir de graves conséquences en santé publique. Nous avons également constaté que les études académiques évaluant l’usage des citations étaient peu nombreuses et mal connues. Nous présentons ici les grandes lignes de notre synthèse, en espérant attirer l’attention du public sur cet important problème.
Qu’entend-on par « mésusage des citations » ?
Les études académiques distinguent deux grandes formes de mésusage des citations : les biais de citations et les distorsions de citations. Même si ces deux formes de mésusage sont souvent combinées dans une même publication scientifique, il est préférable, par souci de clarté, de les décrire séparément.
Les biais de citation peuvent être de deux types. Le premier est lié à l’étude citée : celles qui rapportent un effet significatif sont plus souvent citées (+60 % en moyenne) que celles défendant une absence d’effet. Le deuxième biais dépend de l’article citant : il consiste, pour ses auteurs, à citer préférentiellement les travaux antérieurs en accord avec leur conclusion. Une compilation de 16 études analysant au total 15 828 citations a montré que ce biais en faveur des travaux favorables à la conclusion des auteurs atteint en moyenne +170 %.
Ces biais de citation expliquent la persistance dans la littérature biomédicale de dogmes non fondés. Par exemple, en 2003 le psychologue et neuroscientifique israélo-américain Avshalom Caspi et ses collaborateurs publièrent dans la très prestigieuse revue Science une étude concluant que les porteurs de la forme courte du gène codant pour le transporteur de la sérotonine sont plus vulnérables à la dépression s’ils sont exposés à des stress de vie. Cette conclusion a été contredite des 2006 par de nombreuses études ultérieures et trois méta-analyses publiées entre 2009 et 2017.
Pourtant, en 2019, 133 articles scientifiques ont encore cité la conclusion de Caspi et ses collaborateurs. Parmi eux, les deux tiers n’ont pas mentionné que cette vulnérabilité génétique était pour le moins controversée, et n’ont cité aucune des études la contredisant. On trouvera dans notre revue d’autres exemples de persistance de dogmes non fondés, comme le supposé effet protecteur de la vitamine E vis-à-vis des maladies cardio-vasculaires.
Read more: Petit guide pour bien lire les publications scientifiques
La seconde grande forme de mésusage des citations scientifiques est la distorsion de citations. Il s’agit d’un écart de sens entre le message délivré par l’étude antérieure citée et ce qu’en disent les auteurs citant cette référence. Les études académiques portant sur cette question distinguent entre les erreurs mineures qui n’altèrent pas le sens général de l’étude citée et les distorsions majeures qui sont clairement trompeuses pour le lecteur.
Globalement, les distorsions majeures sont loin d’être rares. Une vingtaine d’études et deux méta-analyses ont permis d’en évaluer la fréquence : dans la littérature biomédicale, environ 10 % des citations présentent des distorsions majeures. Le cas de l’hydroxycholoroquine en est un exemple récent.
Hydroxychloroquine et mésusage des citations scientifiques
Entre fin mars et fin avril 2020, le professeur Didier Raoult et ses collègues ont publié dans des revues à comité de lecture trois études concernant la Covid-19 et concluant à l’efficacité antivirale d’un traitement combinant un antibiotique avec l’hydroxychloroquine.
L’étude publiée fin mars comparait six patients ainsi traités à 16 témoins. Considérant avoir ainsi fait la preuve de l’efficacité de leur traitement, les auteurs jugèrent inutile et non-éthique d’inclure un groupe témoin dans leurs deux études ultérieures. Ce choix leur imposait donc de comparer leurs cohortes de patients traités avec des résultats obtenus grâce à des cohortes de patients non traités, publiés antérieurement par d’autres auteurs.
Dans une étude détaillée des citations avancées par Didier Raoult et ses collègues à l’appui de leur thèse, nous montrons que lesdites comparaisons n’étaient pas valables. En effet, à leur inclusion dans les cohortes, les patients marseillais présentaient des symptômes modérés alors que les patients des cohortes de comparaison avaient été hospitalisés en raison de la gravité de leur état. Didier Raoult et ses collègues ont donc fait usage de citations trompeuses, biaisant l’interprétation de leurs résultats en faveur de leur thèse.
Par exemple, la première des deux études sans groupe témoin publiée par Didier Raoult et collègues le 4 avril 2020 cite une étude chinoise publiée précédemment dans Lancet Infectious Disease qui, selon eux, fait le lien entre les prétendues propriétés antivirales de l’hydroxychloroquine et son intérêt thérapeutique. Il s’agit là d’un cas de distorsion de citation. En effet, l’étude chinoise, conduite chez des patients non traités à l’hydroxychloroquine, conclut : « Les patients ayant des symptômes modérés voient leur charge virale diminuer rapidement et 90 % d’entre eux deviennent négatifs au test PCR au bout de 10 jours. Par contre, les patients souffrant d’une forme sévère de l’infection sont encore positifs au bout de 10 jours. » Dans leur publication du 4 avril 2020, Didier Raoult et ses collègues se gardent bien de mentionner cette conclusion qui ruine l’interprétation de leurs résultats.
Le cas emblématique de la crise des opioïdes
Le cas le plus connu de mésusage des citations est celui qui est en partie à l’origine de la crise des opioïdes aux États-Unis.
Cette crise correspond à une explosion de décès par overdose d’opioïdes prescrits par un médecin pour soulager en ambulatoire des douleurs chroniques non cancéreuses. Elle a été déclenchée à partir de 1996 par la promotion très agressive d’opiacés antalgiques par l’industrie pharmaceutique. Les promoteurs de ce traitement ont fait valoir que, selon une étude publiée en 1980 dans le New England Journal of Medicine (la plus prestigieuse des revues médicales), le risque d’addiction aux opiacés est minime. En fait, cette note de cinq phrases rapportait que parmi 11 882 patients hospitalisés ayant reçus au moins une fois un opiacé, les auteurs n’avaient observé que quatre cas d’addiction.
Read more: Les États-Unis avant le Covid-19 : retour sur l'épidémie mortelle des opioïdes
Au 30 mars 2017, elle avait été citée par 608 articles scientifiques dont 439 adhéraient à sa conclusion et ne mentionnaient pas les nombreuses études ultérieures la contredisant. De plus, 491 articles citant cette note omettaient d’informer le lecteur qu’elle concernait des patients hospitalisés et que sa conclusion n’était donc pas transposable aux patients en ambulatoire souffrant de douleurs chroniques.
En 2007 les compagnies pharmaceutiques impliquées ont été condamnées à verser une amende de 634 millions de dollars pour promotion abusive de ces opiacés antalgiques et de nouvelles poursuites sont en cours. Cependant, malgré des mesures prises pour limiter la prescription médicale d’opiacés, les décès par overdose restent nombreux aux USA et ont encore augmenté pendant la crise de la Covid-19.
Le mésusage des citations est donc un phénomène fréquent qui, dans certains cas, peut avoir de graves conséquences en santé publique. Au moindre doute, nous encourageons les lecteurs d’articles scientifiques à vérifier, dans les articles sources, la véracité des citations. De plus, les scientifiques chargés par les revues scientifiques d’expertiser les manuscrits (en anglais, les « reviewers ») devraient être beaucoup plus attentifs au bon usage des citations.