Menu Close
Magazines. jackmac34/Pixabay

ta-analyses : de l’art de bien mélanger torchons et serviettes

Et si l'on osait une comparaison entre science et magie ? Il était un temps béni où, pour peu que l’on ait quelque sous et si l’on se posait une question, on allait voir l’oracle ou le sorcier. Il avait la réponse. Aujourd’hui, on demanderait d’abord au sorcier ou à l’oracle quels sont les conflits d’intérêts qu’ils peuvent avoir avec les uns ou les autres. On leur demanderait aussi d’inclure dans leur réponse les liens internet vers d'autres pratiques magiques qui appuieraient leurs conclusions. Est-ce que cela rendra la réponse plus fiable ? Peut-être… Ou peut-être pas.

Bibliographie. Shutterstock

Revenons à la pratique scientifique. Aussi bien menée soit elle, une étude n’est qu’un grain dans l’immense tas de sable de nos connaissances. Et des études, il y en a de plus en plus de publiées chaque jour. Alors pour une même question, il serait très surprenant que toutes les études publiées sur un sujet obtiennent le même résultat et fournissent au chercheur la même réponse. Le problème qui se pose est celui de la synthèse des connaissances scientifiques : comment s’y prendre de manière objective, fiable, et reproductible ? Pour cela, il y a un outil qui se développe très rapidement : les méta-analyses. Mais tiennent elles leurs promesses ? Voici quelques pistes pour vous aider à les lire et les évaluer.

Analyse d’analyses

Une méta-analyse est un travail statistique qui ne s’appuie ni sur des observations de terrain, ni sur des tests de laboratoires ou des tests cliniques. Comme l'indique le préfixe “méta”, elle s’appuie sur les données publiées dans la littérature scientifique après qu’elles ont été revues par les pairs, une étape sensée garantir la qualité du matériau de base. Une méta-analyse est donc une analyse d’analyses.

Un exemple : admettons que je m’interroge sur les effets de la diversité des arbres sur les dégâts causés par les insectes herbivores. En parcourant la littérature scientifique, je me rendrais compte que plusieurs travaux ont montré que les insectes causent plus de dégâts dans les monocultures que dans les forêts mélangées. Mais je trouverais aussi plusieurs articles montrant l’exact opposé. Ce serait très stimulant : l’absence de consensus pousse à aller plus loin pour comprendre pourquoi les résultats des différentes études diffèrent. Mais ce serait en revanche fâcheux s’il s’agissait d’utiliser ces résultats pour les traduire en recommandations pour le gestionnaire. Il y a quelques années, avec mes collègues, nous avons réalisé une méta-analyse sur ce sujet.

Travail scientifique en forêt, base de futures méta-analyses. Nasa

A la recherche d'une donnée quantitative

Comment avons nous procédé ? Nous avons d’abord élaboré une stratégie de recherche dans les bases de données bibliographiques pour récupérer un maximum d’articles ayant comparé des dégâts d’insectes dans des forêts mélangées (le traitement) et dans des monocultures (le contrôle). De manière à ce que notre travail puisse être reproduit par d'autres études de recherche, nous avons pris soins de noter scrupuleusement la manière dont nous avons travaillé pour réaliser cette recherche et les critères que nous avons utilisés pour inclure, ou pas, chaque article retrouvé dans l’analyse finale.

A partir de là, pour chaque étude, nous avons calculé le rapport des dégâts entre groupe témoin et groupe contrôle. C’est cette valeur, la taille de l’effet (en anglais effect size), qui est une donnée quantitative facilement moyennable entre études. C'est donc elle qui sera utilisée dans la méta-analyse à des fins de comparaison. Elle permet de répondre à deux questions essentielles :

  • Quelle est, en moyenne, la différence entre le groupe contrôle et le groupe traitement ?

  • Quelle est la variabilité des observations autour de cette moyenne ? Si elle est grande, alors il y a des chances que la moyenne générale soit peu informative en tant que telle. Tout le travail du chercheur consistera alors à modéliser - et comprendre - les différentes sources de variabilité.

Mélange de pommes et d'oranges…

Dans le monde anglo-saxon, on préfère mélanger les pommes et les oranges plutôt que les torchons et les serviettes… Et c’est vrai : une méta-analyse peut mélanger les pommes et les oranges, c'est-à-dire « comparer des études qui ont été faites dans des buts différents avec des méthodes différentes ». C’est tout l’intérêt, mais aussi la principale critique faite aux méta-analyses.

Il peut y avoir un intérêt à comparer les pommes et les oranges si, par exemple, elles peuvent être comparées biologiquement parlant. Dans le cas de notre méta-analyse, nous voulions une réponse globale à la question de l’effet du mélange d’espèces d’arbres sur les dégâts d’insectes, quelle que soit l’espèce d’arbre ou d’insecte considérée. Ce serait la même chose en recherche biomédicale où l’on voudrait connaître l’effet de la molécule X dans le traitement de la maladie Y, en moyenne, quels que soit l’âge, le sexe, la nationalité ou l’origine sociale des patients.

… pour faire une excellente salade de fruits

C’est le quel(s) que soi(en)t qui peut poser problème. L’effet du mélange d’espèces d’arbres est-il réellement le même quel que soit l’insecte considéré ? L’effet de la molécule X est-il le même, quel que soit le sexe du patient ? C'est tout l'objet que la question de la variabilité autour de la moyenne que j’évoquais plus haut. Dans le champ des méta-analyses, on parle d’hétérogénéité.

Pommes et oranges… Torchons et serviettes. PublicDomainPictures/Pixabay

Tout l’enjeu de la méta-analyse est de rendre compte le mieux possible de l’hétérogénéité entre les études. Par exemple, la grande hétérogénéité entre les résultats sur les pommes et les oranges peut s’expliquer non pas par la nature du fruit (pommes ou oranges) mais par une autre variable qui n’était pas prise en compte dans les études originales mais qu’il est possible d’explorer en comparant les études entre elles (par exemple, le climat, le niveau de fertilisation…). C’est d’ailleurs là que la méta-analyse prend tout son sens : elle permet de tester des hypothèses qui ne pouvaient pas être testées pour chaque étude prise individuellement.

Dans notre cas, alors que les études que nous avions rassemblées avaient rapporté des exemples ponctuels de dégâts par une espèce d’insecte, le fait de rassembler toutes les études nous a permis de montrer que la diversité des arbres réduit de manière efficace les dégâts causés par les insectes spécialistes, mais n’a pas d’effet sur les insectes généralistes.

Des pommes, des oranges, mais pas de bananes ?

Les conclusions d’une méta-analyse ne tiennent que si l’on peut garantir qu’il n’y a pas de « trous » dans les données collectées. Une méta-analyse ne s’appuie que sur les données publiées dans la littérature. Le problème est que tous les résultats obtenus dans les laboratoires ne sont pas toujours publiés. Les scientifiques peuvent renoncer à publier des « résultats négatifs » (par manque de temps, parce qu'ils ne vont pas dans le sens attendu, parce qu'aucune revue n'a voulu de leur article, …). Une méta-analyse peut alors souffrir d’un biais de publication si trop d'études négatives manquent. Heureusement, il existe des outils statistiques qui permettent d’estimer dans quelle mesure le biais de publication est susceptible de fausser les résultats de la méta-analyse ou d’en amoindrir la portée.

Guide de lecture

Au final, une méta-anayse, c’est comme n’importe quelle autre étude. Il y a certains critères pour en évaluer la qualité. Les lister serait trop technique, et d’autres l’ont fait très bien. Lisez-en une dans le détail et assurez vous qu’au minimum :

  • Vous retrouveriez les mêmes articles que les auteurs si vous utilisiez leurs critères de recherche et d’inclusion ;

  • Vous calculeriez les mêmes tailles d’effets (effect-sizes) ;

  • Vous compareriez les mêmes pommes avec les mêmes oranges ;

  • L’hétérogénéité entre les études est rapportée par les auteurs et correctement prise en compte ;

  • Vous faites la même lecture des résultats et les interprétez de la même manière que les auteurs.

Même si vous n’êtes pas complètement convaincus que tous ces critères sont présents, la méta-analyse que vous êtes en train de lire n’est pas à jeter pour autant. L'un des intérêts de ce type d’étude réside dans le fait qu’elle permet de faire un bilan de ce qu’il manque dans la littérature. Où les études ont elles été faites ? Sur quels systèmes d’étude ? Avec quelles méthodes… Bref, est-ce que l’on connaît aussi bien les pommes que les oranges, ou les torchons que les serviettes ? En ce sens, elles peuvent stimuler la recherche future en faisant un bilan sur ce que l’on sait, et en indiquant là où il faudrait creuser un peu plus.

Want to write?

Write an article and join a growing community of more than 180,900 academics and researchers from 4,919 institutions.

Register now