Aucun entrepreneur ou manager peut se vanter de ne s’être jamais trompé. L’échec fait partie du cours normal de la vie des entreprises et des organisations en général. Qu’il s’agisse d’innovation en termes de produit, de communication, de prix, de distribution, ou même de procédures logistiques, le taux d’échec importe moins que le risque associé à ces échecs. Autrement dit, mieux vaut se tromper de nombreuses fois à petites échelles que de se tromper sur une décision d’envergure qui entrainera des dépenses déterminantes pour le futur de l’entreprise.
Parce qu’un échec peut coûter cher (argent, temps, réputation…), les entreprises peuvent se montrer réticentes à innover ou alors se contentent-elles de se réfugier dans des améliorations assez marginales de produits existants. L’enjeu est donc d’échouer rapidement et à moindre coût : « fail fast, fail cheap » comme on dit outre-Atlantique.
L’échec accéléré est une philosophie qui consiste à tester ses idées dans le cadre d’un processus itératif pour déterminer si elles ont ou non du potentiel. Cette approche permet de lancer à grande échelle les idées qui ont donné des résultats encourageants lors des tests et de retravailler (voire abandonner) les idées qui ne produisent pas les résultats attendus. On réduit ainsi le coût et le temps dédiés aux idées qui ne sont pas susceptibles de réussir.
Prendre la peine de tester ses idées avant d’engager des ressources potentiellement importantes n’est pas incompatible avec l’esprit entrepreneurial et la prise de risque, au contraire. Considérons un dirigeant d’entreprise d’expérience qui décide de pénétrer un marché international dont il pressent assez bien les évolutions. Certes, il n’aurait peut-être pas besoin de tests pour valider cette stratégie. Néanmoins, ceux-ci pourraient trouver leur utilité pour répondre à la question du « comment » mettre cette stratégie en œuvre (comment communiquer auprès du marché local par exemple) : si le but peut paraître clair, la façon de l’atteindre ne l’est pas forcément.
Trois principes pour mener un bon test
Le test A/B est une méthodologie utilisée dans divers domaines, notamment dans le domaine du marketing numérique et du développement de produits. Cette technique consiste à comparer deux versions ou plus d’une page Web, d’une application ou d’un produit pour déterminer laquelle est la plus performante sur des objectifs spécifiques tels que le taux de clics, le nombre de téléchargements ou d’achats.
En présentant différentes versions à des groupes d’utilisateurs distincts et en mesurant méticuleusement le comportement qui en résulte, les tests A/B dévoilent des informations sur ce qui fonctionne et ce qui ne fonctionne pas auprès du public ciblé. Ce processus permet aux organisations d’optimiser leurs produits, services ou contenus à partir de preuves empiriques plutôt que de se fier à l’intuition des managers.
L’exercice repose sur trois principes essentiels. Premièrement, il requiert un échantillon représentatif des clients ou des utilisateurs de l’organisation. Deuxièmement, les individus faisant partie de l’échantillon (autrement appelés les « participants ») doivent être assignés aléatoirement entre les différentes versions qui sont comparées dans le cadre du test A/B, une étape généralement automatisée à l’aide d’un logiciel comme Google Optimize, Abode Target ou Meta for Business.
Chaque lundi, que vous soyez dirigeants en quête de stratégies ou salariés qui s'interrogent sur les choix de leur hiérarchie, recevez dans votre boîte mail les clés de la recherche pour la vie professionnelle et les conseils de nos experts dans notre newsletter thématique « Entreprise(s) ».
Il ne faudrait pas qu’une éventuelle différence observée dans les réponses soit due à la façon dont a été constitué l’échantillon. Par exemple, prenons le cas d’un site Web utilisant un fond vert dans le pays A et un fond bleu dans le pays B. Si l’on observe davantage de clics dans un pays plutôt que dans l’autre, on ne peut pas être certains que la différence est attribuable au changement de couleur ou au pays dans lequel vivent les participants.
Troisièmement, un test A/B ne doit compter qu’un changement entre versions à la fois, au risque de ne pas être en mesure d’identifier précisément la cause d’une différence entre les versions. Soumettre une comparaison entre deux versions où varient à la fois le texte et la couleur et observer une préférence marquée pour l’une ne permet pas de tirer de conclusion : est-ce dû au texte ou à la couleur ? On ne peut isoler pas la cause des préférences.
Une méthode en quatre étapes
Dans le cadre de nos travaux, nous avons développé une méthode permettant de conduire des expérimentations terrains (c’est-à-dire en conditions réelles, à la différence d’expérimentations en laboratoire où les conditions sont artificielles) à partir d’applications mobiles. Nous illustrons la procédure ici à l’aide d’un test A/B dont le but est d’établir quel format publicitaire est le plus efficace dans un jeu mobile entre la bannière (la publicité apparaît en bas ou en haut de l’écran) et l’interstitielle (la publicité couvre tout l’écran avant d’être fermée par l’utilisateur, généralement après un délai de cinq secondes).
Parce que les publicités bannières restent discrètes, elles ne dérangent pas vraiment les utilisateurs. Dans le même temps, elles sont peu susceptibles de générer des clics, alors qu’il s’agit d’une source importante de revenus pour les développeurs qui comptent sur la publicité pour monétiser leur app. Les publicités interstitielles, à l’inverse sont susceptibles d’agacer les utilisateurs. Mais précisément parce qu’elles sont très visibles, les chances que les utilisateurs cliquent dessus sont plus importantes. La question pour un développeur de jeux mobiles est donc de savoir s’il vaut mieux utiliser des publicités bannières ou interstitielles.
Pour répondre à cette question, nous avons lancé un test A/B en suivant les étapes suivantes :
- Identifier les éléments à tester et le nombre de versions
Nous avons ici deux versions du même jeu mobile qui varie selon le format publicitaire. Une version A où les utilisateurs sont confrontés à des publicités bannières à l’écran d’accueil et une version B où les utilisateurs sont confrontés à des publicités interstitielles après avoir perdu et avant de retourner à l’écran d’accueil. La variable manipulée est ici le format publicitaire.
- Identifier les comportements à observer
Nous avons choisi de comparer les deux formats sur trois mesures : le taux de clics publicitaires, le revenu publicitaire et l’engagement des utilisateurs mesuré par le nombre de parties jouées.
- Échantillonner et collecter les données
Cette étape qui semble technique est en vérité automatisée par des outils en ligne dont l’usage ne requiert pas une expertise technique avancée.
- Analyser et interpréter les données
De même, l’analyse des données peut être automatisée. Il faut néanmoins être en mesure de faire sens des résultats affichés à l’écran.
Ici, la ligne grise obtenue avec Google Optimize représente le format bannière (« Baseline »), et la ligne bleue le format interstitiel (« Variant A »). Les régions ombrées représentent les intervalles de confiance : il y a 95 % de chances que la véritable valeur d’une métrique (celle que l’on observerait en sondant toute la population) se situe dans la région ombrée. Moins les régions ombrées se chevauchent, plus on peut avoir confiance dans les résultats indiquant ici que le format interstitiel est plus performant que le format bannière.
La partie gauche du tableau porte sur les données observées alors que la partie droite fournit des statistiques sur les données modélisées à partir des données observées. On lit qu’il y a plus de 99,9 % de chance que le format interstitiel génère plus de revenus publicitaires que le format bannière à l’échelle de l’ensemble des utilisateurs. La différence entre les deux versions est estimée à plus de 1000 %.
Notre article donne davantage d’explications sur l’exploitation des statistiques calculées automatiquement par Google Optimize et fournit une procédure pour les calculer soi-même.
Les tests A/B sont particulièrement intéressants pour les entreprises du numérique en raison des dépenses limitées liées au changement d’un élément du service (changer le format publicitaire d’une app ne requiert que du code). Il devient donc possible de mener de nombreux tests en parallèle sur des échantillons différents et de maximiser la satisfaction des utilisateurs en testant continuellement des changements sur des aspects différents du service.
Dans ce cas, le coût réel de l’expérimentation est le coût d’opportunité qui consiste à fournir un service sous-optimal aux clients. Mais ne pas expérimenter signifie risquer de continuer à fournir un service qui ne satisfait pas autant les clients qu’une version alternative le ferait.