Trois manières de devenir un consommateur de science averti

Crème hydratante ? Shutterstock

Vous aimez consulter les plus récentes études pour prendre des décisions éclairées ? Vous ne savez pas comment critiquer – ou simplement évaluer – celles qui vous intéressent ?

Mon rôle en tant que professeur de méthodes de recherche est de transformer mes élèves en consommateurs de science averti qui pourront effectuer des choix éclairés dans notre société démocratique.

À une époque où il est difficile de distinguer les vraies des fausses nouvelles, ou même les vraies des fausses études, il est primordial de s’outiller pour mieux comprendre les informations découlant de la science.

Voici, en termes simples, trois éléments à considérer pour faire des choix éclairés sur la base des recherches scientifiques.

Les mesures sont-elles valides ?

Vous vous apprêtez à acheter une crème anti-âge parce que vous avez lu sur l’étiquette « éprouvée en clinique pour réduire les signes du vieillissement ». Vous faites quelques recherches et trouvez l’étude clinique en question dans le site Web du fabricant. Vous y découvrez que les participants ont rempli un questionnaire sur l’apparence de leurs rides chaque jour pendant une semaine ; que la semaine suivante, ils ont appliqué la crème chaque soir ; et que la troisième semaine, ils ont arrêté de le faire et ont de nouveau rempli le questionnaire chaque jour.

En moyenne, les avis étaient plus positifs au cours de la troisième semaine que pendant la première.

Pour consommer cette étude avec un œil critique, vous devez d’abord vous demander si les mesures utilisées pour évaluer l’efficacité du traitement sont valides. Ont-elles véritablement mesuré ce qu’elles devaient mesurer ?

Dans notre exemple, il est assez évident qu’une auto-évaluation de l’apparence de la peau n’est pas une mesure valide. Une telle évaluation subjective est biaisée parce qu’elle peut traduire l’humeur ou encore l’estime de soi du participant un jour donné. Mesurer la profondeur et le nombre de rides sur une région donnée de la peau aurait été une mesure plus objective.

Une bonne étude de recherche ne comporte que des tests considérés valides. Soyez-en averti : la publication doit faire mention de la validité du test utilisé.

Les contrôles ont-ils été adéquats ?

Poursuivons avec l’exemple de la crème anti-âge pour illustrer l’importance des contrôles : pour ce deuxième élément, vous devez vous demander si la crème est la véritable responsable du changement observé entre la première et la troisième semaine.

Y a-t-il une explication alternative ? Par exemple, les participants auraient pu appliquer la crème lors d’une semaine particulièrement humide, ce qui aurait pu améliorer l’apparence de leur peau. Ou encore, les participants auraient pu mieux s’alimenter cette semaine-là parce que les aliments sains étaient en promotion à l’épicerie. Ces explications alternatives sèment le doute quant à l’efficacité de la crème pour améliorer l’apparence de la peau.

Si vous pouvez trouver une ou plusieurs autres explications, vous ne pouvez pas avoir la certitude que le traitement a véritablement entraîné l’amélioration observée. Les chercheurs gèrent ces autres possibilités en recourant à des groupes de contrôle. Dans notre exemple, ils auraient pu ajouter un groupe de participants qui auraient eu à appliquer une crème sans agents anti-vieillissement. Ainsi, si l’apparence des rides change au sein du groupe traité, mais pas au sein du groupe de contrôle, la probabilité que la crème soit efficace est plus élevée.

Le message à retenir ? Avant d’acheter un nouveau produit sur la base de résultats de recherches, essayez de trouver d’autres explications pour l’obtention de ces résultats. Si vous pouvez trouver au moins une autre explication possible, vous devriez avoir une confiance limitée dans son efficacité, et ce, jusqu’à ce que des études plus rigoureuses, avec des groupes de contrôles, soient publiées.

L’échantillon est-il représentatif ?

La qualité, ou la représentativité de l’échantillon, est plus importante que la quantité. L’échantillon est de bonne qualité lorsque les personnes évaluées dans le cadre de l’étude représentent vraiment la population cible. Shutterstock

Je sens souvent une pointe de frustration lorsque j’entends des critiques basées uniquement sur la taille de l’échantillon d’une étude.

Or, tout n’est pas qu’une question de taille : la qualité aussi est importante.

Ainsi, les sondeurs semblent avoir de plus en plus de difficultés, en Occident, à prédire les résultats des élections, comme ceux du 1er octobre au Québec.

Les élections présidentielles de 2016 aux États-Unis sont un exemple classique.

Pourquoi les sondages se sont-ils tous trompés au sujet de Trump ? Les prévisions ont probablement été erronées parce que les personnes sondées ne représentaient pas celles qui sont allées voter et non parce que le nombre de personnes sondées était insuffisant.

La qualité, ou la représentativité de l’échantillon, est plus importante que la quantité. L’échantillon est de bonne qualité lorsque les personnes évaluées dans le cadre de l’étude représentent vraiment la population cible.

Je ne dis pas que la taille de l’échantillon n’a aucune importance. Elle en a puisqu’un large échantillon a plus de chance d’être représentatif. La taille a aussi de l’importance au niveau de la puissance statistique – une question qui peut faire l’objet d’un article complet. Dans tous les cas, si une étude est publiée dans une revue scientifique renommée, les experts qui ont examiné l’étude avant sa publication ont probablement envisagé la puissance statistique. Il ne s’agit donc pas d’un facteur important pour le consommateur de recherche averti.

Reprenons l’exemple de la crème anti-âge : vous devriez vous demander si vous et les participants à l’étude possédez des caractéristiques semblables, par exemple l’âge, l’état de santé ou l’origine ethnique. Si c’est le cas, il y a de bonnes chances que les résultats de l’étude s’appliquent aussi à vous.

L’essentiel du message ?

Vous pouvez bénéficier de la recherche, mais pour éviter de vous laisser berner par l’aura de la science, il faut garder un œil critique. Questionner si les chercheurs ont utilisé un échantillon, des mesures et des contrôles adéquats.

Si ce n’est pas le cas, vous devriez peut-être vous abstenir d’acheter cette crème anti-âge dispendieuse, même si elle est « éprouvée en clinique pour réduire les signes du vieillissement ».

Voici un texte classique sur le sujet

This article was originally published in French