Les sondages n’ont plus la cote depuis quelque temps. Ils sont constamment remis en cause, notamment du fait de la distorsion qui peut exister entre ce qu’ils mesurent et ce qui se passe dans la réalité. Cela a notamment été le cas lors de l’élection de Donald Trump au détriment d’Hillary Clinton. Autant la confiance dans les sondages était forte jusqu’au jour J, conduisant la candidate démocrate à envisager faire son discours de winner sur une « scène » spectaculaire représentant la cartographie des États-Unis, autant la déception a été forte, poussant nombre de personnes à les remettre en cause. À commencer par Donald Trump lui-même, suivi de nombreux ténors politiques américains et d’une partie de la population qui leur impute toute l’incompréhension que l’on peut avoir de ce qui se passe.
Cela s’est poursuivi lors du premier tour de l’élection des primaires de la droite et du centre en France, le 20 novembre 2016. Non seulement François Fillon est arrivé très largement en tête, mais il a battu à plates coutures Alain Juppé, le candidat longtemps annoncé en tête des suffrages et, bien sûr, Nicolas Sarkozy, éliminé pour le second tour.
L’instant T
La surprise du 20 novembre a été en partie expliquée par Brice Teinturier, le directeur général d’Ipsos : selon lui, dans les dernières enquêtes menées, Ipsos avait bien senti la tendance (de montée en puissance de François Fillon), sans pouvoir la quantifier précisément – ce qui est normal tant l’évolution est allée vite. Les sondages ont reflété l’état de l’opinion à un moment donné, mais ils n’ont pas pu prévoir l’ampleur que cela allait prendre.
Le même Brice Teinturier avait préalablement répondu à une question de L’Opinion lui demandant si la primaire pouvait tourner au référendum pour ou contre Nicolas Sarkozy : « C’est un processus plus ouvert et plus complexe qu’un simple pour ou contre Nicolas Sarkozy. » Analyse qu’il a tempérée rapidement : « La fluidité est donc beaucoup plus grande entre les candidats car l’électeur n’a pas le sentiment de « trahir » en passant par exemple de Juppé à Fillon ou de Le Maire à Sarkozy. Les évolutions peuvent donc être très rapides et fortes. » Ce qui relève davantage de l’intelligence politique, que de l’utilisation d’un simple outil de mesure.
L’analyse, l’interprétation et la mesure anticipée de la chose politique (et de toute chose) sont extrêmement complexes et soumises aux desiderata des individus à un instant T. On peut tout expliquer, avec des votes cachés, avec le rejet d’une personnalité, mais une explication d’un phénomène sociétal ou autre, se fait – par définition – a posteriori.
L’évaluation d’une intention
Est-ce le rôle des sondages que de prévoir ? La réponse est clairement non. Si certains attribuent des vertus prévisionnelles (miraculeuses) aux enquêtes, ce n’est malheureusement pas le cas. Les études quantitatives n’ont pour but que d’évaluer une opinion, une intention, une action à un moment donné. Que ce soit en marketing ou en politique, c’est cette notion de temporalité qu’il faut garder présente à l’esprit. Quand on procède à un lancement de produit, il est fréquent de faire des enquêtes d’intentions d’achats. Et, tout analyste sait qu’il existe un « gap » considérable entre l’intention et l’acte d’achat.
Quand on évalue des élections, les enquêtes s’appuient sur des intentions de vote. Et les dernières nous montrent l’écart important qu’il peut y avoir entre ce que les gens disent (parfois avec toute la bonne foi qui est la leur) et ce qu’ils glissent dans l’urne. C’est un abus de langage de dire que les sondages peuvent prédire un comportement. Cela ne serait possible que « toutes choses égales par ailleurs », c’est-à-dire si l’opinion n’évoluait pas et si l’environnement de l’individu restait également figé.
Or l’environnement peut évoluer et remettre en cause ou, au contraire, fortifier une intention. On peut dire qu’on a l’intention d’acheter tel produit et ne pas le faire parce qu’un autre produit disposant d’un avantage concurrentiel supérieur est sorti entre-temps, ou parce qu’on n’a plus les moyens… On peut avoir l’intention de voter pour untel et ne pas le faire parce qu’une parole malencontreuse a été dite, parce qu’un débat a eu lieu, parce que des actions spectaculaires ont modifié les opinions. Cette mutation, parfois très rapide de l’environnement, que ne peuvent saisir les sondages, peut constituer une première explication à la baisse de confiance que les individus leur accordent.
Rendons donc à César ce qui lui appartient, et aux économistes et aux médiums leurs capacités de prévision !
Les limites de l’extrapolation
Comme le précise le dicton populaire, « il n’y a que les imbéciles qui ne changent pas d’avis », ne faisons pas dire aux sondages ce qu’ils ne peuvent pas dire (prévoir). Cette limite s’explique de plusieurs manières. Tout d’abord du fait des techniques de sondage.
Sans rentrer dans des détails rébarbatifs, un sondage s’appuie sur une population représentative (de la population étudiée) et consiste à n’enquêter que sur cette partie de la population et à étendre les résultats observés réellement, à l’ensemble de la population concernée. On parle alors d’extrapolation. Et on se doute bien que le fait de passer d’une observation réelle sur un faible nombre d’individus à une généralisation sur une population beaucoup plus importante génère un certain nombre de difficultés.
D’une part, l’estimation est enfermée dans une fourchette de résultats caractérisée par la marge d’erreur que l’on accepte de commettre et qui dépend de la taille absolue de l’échantillon. Plus l’échantillon est grand, plus cette marge d’erreur est étroite et plus les résultats sont précis. Celle-ci se détermine a priori – en fonction de contraintes de coûts, d’attente quant aux résultats et de confiance à leur accorder –, et peut se recalculer une fois l’enquête menée. Elle est donc connue et maîtrisable.
Un risque de résultats hors norme
D’autre part, il faut tenir compte de la probabilité que les résultats observés et extrapolés soit correcte. Cette probabilité peut être calculée pour différents niveaux de confiance (90 %, 95,4 %, 99,7 %), mais généralement on la calcule pour un niveau de confiance de 95,4 %. Cela représente un intervalle de valeurs qui a X % (niveau de confiance) de chances de contenir la vraie valeur du paramètre estimé.
C’est donc une visualisation de l’incertitude de l’estimation. En effet, si on raisonne a contrario, on peut dire qu’il y a un risque de (1 – le niveau de confiance) que l’intervalle ne contienne pas la vraie valeur du paramètre étudié… Donc que les résultats soient atypiques.
Littéralement, on devrait donc dire qu’« il y a X % de chances (niveau de confiance) que les résultats + ou – la marge d’erreur, contiennent la vraie valeur du paramètre… Et donc 1-X % qu’ils ne la contiennent pas ».
Le risque de résultats hors norme fait donc partie des notions de sondage et d’extrapolation. Les enquêtes sont des outils qui permettent de réduire l’incertitude – ce qui est déjà beaucoup – mais jamais de l’éliminer totalement. C’est peut-être là, la seconde raison de la perte de confiance de la population à leur égard.