Bien des débats agitent l’interprétation que l’on peut faire des sondages d’intention de vote et leur fiabilité. Que ce soit la méthode de collecte – par Internet, par téléphone ou en face à face ; en auto-administration ou via un enquêteur ; en recevant des incitations matérielles à répondre ou pas, etc. –, la prise en compte ou non du degré de certitudes des répondants pour leurs choix, ou encore l’existence de phénomènes de sous-déclaration de la part d’enquêtés qui auraient une gêne à exprimer la réalité d’un choix qu’ils sauraient être mal vu dans la société.
Tous ces critères se croisent pour animer le débat : les sondeurs par exemple, ne voient pas pourquoi des sondés en auto-administration d’un questionnaire en ligne se sentiraient gênés à avouer leur vote pour le Front national. Les détracteurs des sondages considèrent, de leur côté, que l’incitation matérielle à participer peut conduire des gens faiblement politisés à répondre et donc accroître artificiellement le score de certains candidats et concomitamment le taux de ceux qui se déclarent peu sûrs de leurs choix. Mais nous ne souhaitons pas ici rouvrir ces débats.
L’enjeu est plutôt de réfléchir à la question des « intervalles de confiance », terminologie de la statistique qui est traduite pour le grand public par l’expression « marges d’erreur ». Expression impropre car elle laisse à penser qu’il s’agit d’une erreur de calcul, alors qu’il s’agit juste d’insister sur l’existence d’incertitudes. La question est de comprendre ce que le raisonnement et l’exposition médiatique des résultats d’un sondage d’intention de vote changent si on donne à voir le score obtenu (situé au beau milieu des intervalles de confiance) ou si on expose la totalité du spectre des scores possibles, naguère vulgarisé sous l’appellation de « fourchettes ».
Après avoir rappelé ce que sont ces marges d’erreur, tels que les instituts les décrivent eux-mêmes, nous souhaitons pointer la difficulté de s’y retrouver pour les calculer puisque ni les instituts ni les médias ne trouvent utiles et pertinents d’exposer leurs résultats ainsi. Mais surtout, une fois les calculs (approximatifs) faits, il s’agira de prendre au sérieux les résultats d’intention de vote obtenus pour montrer à la fois que la perception qu’on peut avoir des intentions de vote change beaucoup d’une présentation à l’autre, et aussi que les résultats comparés de quatre sondages récents laissent voir une photo bien peu cohérente de l’électorat.
D’où d’ailleurs l’exploitation différenciée des sondages dans chaque équipe, puisqu’il s’en trouve toujours un pour être interprété au mieux de leur intérêt. Ce qui conduit finalement à s’interroger sur l’utilité sociale de ce foisonnement de sondages dont on perçoit bien qu’ils jouent un rôle dans la détermination de certaines intentions électorales : fuite des intentions d’un candidat vers un autre, par exemple des sympathisants PS vers Mélenchon au détriment de Hamon perçu de plus en plus comme un vote inutile.
Comprendre les intervalles de confiance ou marges d’erreur
Les instituts, dans leurs rapports complets, indiquent clairement les aspects méthodologiques selon une logique de relative transparence voulue par le législateur et la Commission nationale des sondages. Si les médias n’en font pas souvent mention au moment de la parution, il est aisé toutefois de retrouver des indications sur les marges d’erreur et la façon dont elles se calculent.
Contentons-nous donc de laisser la parole à divers instituts, en commençant par l’IFOP :
« La théorie statistique permet de mesurer l’incertitude à attacher à chaque résultat d’une enquête. Cette incertitude s’exprime par un intervalle de confiance situé de part et d’autre de la valeur observée et dans lequel la vraie valeur a une probabilité déterminée de se trouver. Cette incertitude, communément appelée « marge d’erreur », varie en fonction de la taille de l’échantillon et du pourcentage observé. »
Opinionway insiste également clairement sur la prudence à avoir face au score trouvé, par cette alerte mise en gras :
« Tout sondage ou enquête d’opinion est affecté de marges d’erreur. »
Et Ipsos précise bien, de son côté, que la détermination des marges d’erreur est une approximation par rapport aux lois statistiques qui les calculent pour un tirage au sort aléatoire, ce qui n’est pas le cas des sondages d’intention de vote dont la population est composée selon une méthode par quotas afin de respecter certains éléments de représentativité sociologique :
« L’amplitude de cet intervalle dépend du niveau de confiance, de la valeur observée et de la taille de l’échantillon. Le calcul n’est justifié que pour les sondages aléatoires. Il ne peut pas être déterminé dans le cas de sondages par quotas mais on considère qu’il est proche de celui des sondages aléatoires. »
Chaque institut fait suivre cette mise en garde d’un tableau de calcul croisant les deux variables décisives : le score obtenu et le nombre de personnes ayant répondu. Avec soulagement, on constate que les tableaux sont bien identiques. Ils indiquent tous que si, par exemple, dans un échantillon de 1000 répondants, on obtient un score de 20 %, alors la marge d’erreur est de + ou -2. La certitude (à 95 %) est donc que le résultat se trouve entre 18 et 22 %. Il existe donc une vraie chance que lorsqu’on affiche comme résultat 20 %, ce soit en réalité 18 ou 22 % qui sortira en extrapolant à l’ensemble de la population représentée par cet échantillon de 1000 personnes.
La difficulté de transformer le score publié en intervalles de confiance
Il faut signaler une difficulté à calculer soi-même l’amplitude du score possible. En effet, tous les tableaux publiés par les instituts fonctionnent selon une logique de croisement par étapes successives exprimées en chiffres ronds de type 10 % ; 20 % ; 30 % etc. pour les intentions de vote, et pour les échantillons de population : 500 ; 1000 ; 1500, etc. Alors quand vous êtes confrontés à un score de 23,5 % pour un échantillon de 1400, le casse-tête commence.
Tant bien que mal, nous avons recalculé les marges d’erreur, complétant le tableau croisé en quelque sorte. Une petite marge d’approximation persiste, mais elle n’est pas dirimante pour notre démonstration d’ensemble. Voici donc les résultats pour les quatre principaux candidats. Benoît Hamon étant politiquement condamné à disparaître à la cinquième place au mieux, il n’est plus utile de comparer ses scores.
De l’utilité de raisonner avec les intervalles de confiance
Rappelons qu’entre chaque intervalle de confiance, il existe une possibilité que chacune des valeurs soit le score extrapolé à toute la population. Dans un intervalle compris entre 8 et 12, on peut donc obtenir au final 8, 9, 10, 11 ou 12, avec bien sûr les décimales y afférant. Dès lors opter pour une présentation déployant la totalité des scores possibles peut faire sens. Cela permet de prendre conscience de l’existence de cas possibles, que la présentation simple des scores bruts obtenus exclut en apparence. Comme on le voit dans la présentation ci-dessous, le déploiement des intervalles fait advenir visuellement des situations de croisement de potentialités qui inversent l’ordre du scrutin.
On voit que dans deux sondages sur quatre des situations de bascule de l’ordre des candidats n’est plus impossible. Pour le dire avec plus de prudence encore : la probabilité que des candidats qui semblent irrémédiablement en retard arrivent quand même à dépasser celui placé devant eux, est non nulle.
Dans le BVA POP 2017 du 8 avril, il existe une vraie potentialité pour une configuration où le score de Macron et/ou Le Pen au plus bas de l’intervalle soit inférieur au score de Fillon et/ou Mélenchon au plus haut de l’intervalle. Ici, en terme de probabilité statistique, un duel au second tour Mélenchon/Fillon, n’est pas totalement impossible. On conviendra que donner cette information statistique est tout sauf neutre.
C’est bien le sens des alertes lancées dans la presse deux ou trois jours avant le 21 avril 2002, au sujet de la possibilité que le score de Jean-Marie Le Pen dépasse celui de Lionel Jospin. Mais il était trop tard, les représentations mentales diffusées par plus de six mois de sondages prévoyant inexorablement un duel Chirac – Jospin, étaient figées et avaient conduit certains électeurs socialistes potentiels à s’autoriser une dispersion vers des candidatures connexes.
Notons toutefois que les deux sondages qui permettent de visualiser un potentiel chevauchement des scores entre candidats apparemment distants, sont aussi les deux où les marges d’erreur sont les plus fortes. Et inversement, le sondage Ipsos-Cevipof qui, du fait du plus grand nombre de participants, a la marge d’erreur la plus faible, est celui qui montre une situation très contrastée, avec deux candidats détachés (Macron et Le Pen) ne risquant aucun chevauchement avec les candidats classés 3e ou 4e.
Une visualisation des résultats qui peut changer nos perceptions
En fonction de la visualisation des données et du recours ou non aux intervalles de confiance, la perception des potentialités de résultats électoraux n’est donc pas du tout la même. Ici, dans le sondage OpinionWay du 7 avril, la présentation classique des résultats en ne prenant en compte que la moyenne du score obtenu, comme le font ordinairement les médias, ne laisse apparaître aucune incertitude particulière. Deux candidats sont en tête, et même bien en tête.
Si dans une logique de dynamiques de campagne, des croisements de courbes restent possibles, l’un des candidats montant pendant que l’autre descend (ce qui arriva à Lionel Jospin face à Jean-Marie Le Pen, en 2002), le plan fixe arrêté sur ces valeurs ne donne pas lieu à doute : il y a deux qualifiés, et deux éliminés.
Mais la perception est toute différente si on décompose le score d’intention de vote de chaque candidat, en déployant leurs intervalles de confiance respectifs. Comme on le voit dans le second graphique, un double croisement est possible : Mélenchon possède une petite chance de doubler Fillon, ce dernier passant alors de la 3e place à la 4e, mais Fillon possède dans le même sondage, une petite chance de passer devant Macron, donc de la 3e place à la seconde, la plus décisive, celle qui qualifie pour le second tour.
On voit là que la valeur informative de ce sondage reste faible puisque le jeu de simulations auxquels il donne prise avec les marges d’erreur fait que François Fillon qui a de fortes probabilités de finir 3e, possède néanmoins une chance d’être 2e ou… 4e.
Des sondages qui apportent beaucoup de confusion
Est-il possible de repérer quelques régularités au milieu de ces sondages dont les résultats sont partiellement divergents ? Pas vraiment. Il suffit de se polariser sur les valeurs extrêmes obtenues par chacun des quatre candidats, pour s’en convaincre.
Un candidat peut obtenir son pire score ou son meilleur dans des enquêtes où l’intervalle de confiance est maximal ou au contraire minimal, voire obtenir les mêmes extrémités dans deux configurations de marges d’erreur totalement opposées. Ainsi Jean‑Luc Mélenchon obtient son plus bas score (14,2) dans deux sondages : celui où l’intervalle de confiance est le deuxième plus large (1,8) ou bien le moins élevé de tous (0,8). Marine Le Pen et Emmanuel Macron obtiennent leur plus bas score (20,69) là où l’intervalle de confiance est le plus large (2,31), donc là où la donnée est la plus suspicieuse.
Ajoutons pour conclure que la présidentielle de 2017 est sans aucun doute celle qui présente la plus grande incertitude. Le nombre des électeurs indécis reste encore fort à 15 jours du scrutin. La détermination du vote va sans doute encore tarder à se faire chez un nombre non négligeable d’électeurs qui font tourner des scénarios où alternent l’abstention, aller voter blanc, ou voter pour un candidat ou un autre.
Dans un tel climat de confusion, une seule conclusion s’impose comme une évidence : ne pas déterminer son geste électoral en faveur d’un des quatre favoris en fonction de sondages qui laisseraient croire à un scénario inéluctable.