Arrêter le test trop tôt (biais du coup d'œil)
L'erreur
La plus grosse erreur : regarder les résultats après une semaine alors que le test était prévu pour deux.
Pourquoi c'est une erreur
Une semaine donne quatre cents conversions par variante. Deux semaines en donnent huit cents. Avec quatre cents, le bruit aléatoire est plus fort. Vous voyez des écarts qui disparaissent avec plus de données.
Exemple : la première semaine, la variante affiche neuf pour cent de conversion. Le contrôle, huit pour cent. Un point d'avance semble réel. Vous jetez un œil et vous vous réjouissez. Deuxième semaine : la variante retombe à huit virgule cinq pour cent. Le contrôle reste à huit pour cent. Un demi-point d'avance. C'est toujours statistiquement significatif, mais bien plus petit que ce que montrait la première semaine.
Si vous vous étiez arrêté à la première semaine, vous auriez surestimé le bénéfice de la variante de cinquante pour cent.
Comment l'éviter
Fixez la durée avant de démarrer le test. Deux semaines, c'est le standard. Notez-la. Ne regardez pas en cours de route. Mettez un rappel dans votre calendrier pour la date de fin.
Tester plusieurs changements à la fois
L'erreur
Vous changez le titre. Vous changez la couleur du bouton. Vous changez le texte du bouton. Vous changez les champs du formulaire. Quatre changements en même temps.
Pourquoi c'est une erreur
La variante convertit à douze pour cent. Le contrôle à dix pour cent. Deux points d'avance. Vous déployez les quatre changements.
Un mois plus tard, la conversion tombe à neuf pour cent. Quelque chose s'est cassé. Mais quoi ? Le titre ? Le bouton ? Le formulaire ? Vous avez changé quatre choses et vous ne savez pas laquelle a fait du tort. Impossible de savoir quel changement était bénéfique et lequel était nuisible.
Comment l'éviter
Un seul changement à la fois. Changez uniquement le titre. Testez-le. Déployez-le s'il gagne. Testez ensuite la couleur du bouton. Puis le formulaire. Une variable à la fois.
Erreurs de suivi et tests défaillants
L'erreur
Le test tourne pendant deux semaines. Les résultats montrent la variante gagnante de cinq pour cent. Vous déployez. Un mois plus tard, vous découvrez que le suivi était cassé. Le pixel de conversion ne s'est pas déclenché pour quatre-vingt-dix pour cent des visiteurs.
Pourquoi c'est une erreur
Les résultats ne valent rien. Le déploiement reposait sur de mauvaises données. Vous avez mobilisé des ressources techniques pour mettre en place quelque chose qui s'appuyait sur des résultats invalides.
Comment l'éviter
Vérifiez la configuration du test par sondage. Parcourez un scénario simple à la main. L'événement se déclenche-t-il ? Consultez les journaux de suivi. Vérifiez que le pixel se déclenche bien. Contrôlez le suivi avant de déclarer un gagnant.
Taille d'échantillon insuffisante
L'erreur
Vous lancez un test avec seulement cinq cents conversions au total. Deux cent cinquante par variante. Avec un échantillon aussi petit, le bruit aléatoire est énorme. Des écarts de cinq pour cent sont courants. Des écarts de dix pour cent n'ont rien de surprenant.
Vous voyez la variante cinq pour cent au-dessus du contrôle. Pas de significativité statistique. Vous déclarez le test non concluant.
Pourquoi c'est une erreur
Votre test manquait de puissance dès le départ. Vous auriez dû savoir qu'il fallait deux semaines, pas une. Les tests sous-dimensionnés font perdre du temps et donnent des résultats non concluants.
Comment l'éviter
Calculez la taille d'échantillon avant de commencer. De combien de conversions avez-vous besoin ? Combien de temps le test mettra-t-il à les atteindre ? Si le test dure trois mois, pensez plutôt à tester autre chose, avec des résultats plus rapides.
Ne pas tenir compte des facteurs externes
L'erreur
Vous lancez le test du mardi au jeudi. Les résultats du lundi datent d'avant le test. Ceux du vendredi, d'après le test. Vous comparez le vendredi au lundi.
Mais le trafic du vendredi n'est pas celui du lundi. Le vendredi, c'est de la navigation décontractée de fin de semaine. Le lundi, de la navigation de travail en semaine. Des audiences différentes. Des taux de conversion différents. Vous attribuez l'écart au test alors qu'il vient en réalité de la composition du trafic.
Pourquoi c'est une erreur
Vous avez déployé un changement à cause d'une différence de composition du trafic, pas à cause de l'efficacité de la variante. Quand une nouvelle composition de trafic arrive, les résultats ne tiennent plus.
Comment l'éviter
Faites durer le test assez longtemps pour équilibrer la composition du trafic. Deux semaines couvrent les jours de semaine et les week-ends. Une semaine peut être biaisée.
Changer d'hypothèse en cours de test
L'erreur
Vous démarrez le test avec cette hypothèse : un formulaire plus court augmente les envois.
À mi-parcours, le support vous remonte de nouvelles données. Les clients veulent plus d'options de champs. Vous changez d'hypothèse : plus de champs pourraient finalement aider. Vous avez maintenant un test conçu pour une hypothèse, analysé comme s'il en testait une autre.
Pourquoi c'est une erreur
Cela brouille les résultats. Vous ne savez plus quelle hypothèse le test vérifiait vraiment. Vous risquez de déployer sur la base d'une interprétation confuse.
Comment l'éviter
Écrivez l'hypothèse avant de démarrer le test. Tenez-vous-y. Si vous recevez de nouvelles informations et voulez tester une autre hypothèse, terminez d'abord le test en cours. Lancez ensuite un nouveau test.
Ne pas déployer les gagnants
L'erreur
Le test se termine. La variante gagne. Vous dites « on le déploiera plus tard ». Plus tard n'arrive jamais. Le test n'a créé aucune valeur. Vous avez perdu du temps.
Pourquoi c'est une erreur
Un gagnant ne crée de la valeur que s'il est déployé. Un programme de test ne produit un effet cumulé que si vous déployez régulièrement les gagnants. Un seul gagnant laissé de côté casse l'élan et la confiance de l'équipe dans les tests.
Comment l'éviter
Engagez-vous à déployer avant de lancer le test. Si la variante gagne, déployez-la dans la semaine. Si le contrôle gagne, revenez en arrière tout de suite. Ne laissez pas les gagnants dormir.
Ne pas segmenter les résultats
L'erreur
Les résultats globaux montrent que la variante gagne. Vous déployez partout.
Mais la segmentation montre ceci : sur ordinateur, la variante gagne. Sur mobile, la variante perd. À l'international, la variante n'a aucun effet. Le déploiement global pénalise les visiteurs mobiles et internationaux.
Pourquoi c'est une erreur
Vous avez optimisé pour la moyenne globale, mais vous avez pénalisé certains segments. Le trafic mobile peut croître plus vite que celui des ordinateurs. En déployant la variante, vous avez pénalisé le segment de croissance de demain.
Comment l'éviter
Vérifiez toujours les résultats par segment avant de déclarer un gagnant global. Le gagnant n'est peut-être pas universel. Déployez pour les segments où il gagne. Passez votre tour pour ceux où il ne gagne pas.
Confondre gagnant et sens de la causalité
L'erreur
Le test montre que la variante bat le contrôle. Vous en déduisez que la variante est meilleure. Mais si c'était le contrôle qui était tout simplement cassé ? Le bouton du contrôle ne fonctionne pas. Tout le monde est perdu. Le bouton de la variante fonctionne très bien. La variante gagne parce que le contrôle est cassé, pas parce qu'elle est meilleure en soi.
Pourquoi c'est une erreur
Vous en tirez la mauvaise leçon. Vous pensez que le style du bouton gagne, alors que vous avez surtout appris qu'« un bouton qui marche bat un bouton cassé ». Les conséquences pour vos prochains tests ne sont pas les mêmes.
Comment l'éviter
Comprenez pourquoi la variante a gagné. Est-ce parce qu'elle est meilleure, ou parce que le contrôle est moins bon ? Les conséquences diffèrent.
Répéter le même test en espérant un autre résultat
L'erreur
Premier test : la variante perd face au contrôle. Vous réessayez avec une légère variation. Deuxième test : même résultat. Le contrôle gagne encore. Vous réessayez. Troisième test : même schéma. Le contrôle continue de gagner.
Vous testez la même chose en boucle et vous obtenez le même résultat.
Pourquoi c'est une erreur
Vous gaspillez votre budget de test sur une approche qui ne fonctionne pas. Mieux vaut changer d'approche que de continuer à tester la même stratégie perdante.
Comment l'éviter
Arrêtez de tester la même chose. Il faut une autre stratégie. L'approche actuelle ne marche pas. Passez à une variante différente.
Ne pas documenter les résultats et ce qu'on a appris
L'erreur
Le test se termine. Les résultats désignent un gagnant. Vous déployez. Puis vous oubliez.
Six mois plus tard, un nouveau collègue demande : « qu'avons-nous appris sur les titres ? » Vous n'avez aucune documentation. Vous repartez de zéro.
Pourquoi c'est une erreur
Vous perdez la connaissance collective. Chaque test devrait vous apprendre quelque chose. Sans documentation, le savoir disparaît quand les membres de l'équipe partent.
Comment l'éviter
Documentez chaque test. L'hypothèse. Les résultats. Ce que vous avez appris. Partagez avec l'équipe. Construisez la connaissance collective.
Questions fréquentes
Si je consulte les résultats du test une fois par semaine, est-ce du coup d'œil ?
Non, si vous vous engagez sur deux semaines et ne changez pas de comportement selon les résultats de la première semaine. Vous surveillez, mais vous n'arrêtez pas plus tôt. Consulter, c'est bien. S'arrêter plus tôt, c'est jeter un œil. Exemple : la première semaine, la variante est à neuf pour cent, le contrôle à huit pour cent. La variante a l'air de gagner. Ne déployez pas encore. Tenez les deux semaines complètes. La deuxième semaine peut montrer la variante à huit virgule huit pour cent, le contrôle à huit pour cent. Un écart plus petit apparaît. Si vous vous étiez arrêté à la première semaine, vous auriez surestimé le bénéfice de cinquante pour cent. Fixez la durée, consultez chaque semaine si vous voulez, mais n'agissez pas sur des résultats préliminaires. Avec le créateur de site web de WEMASY, vous pouvez le mettre en place directement sur votre site.
Puis-je tester deux choses semblables en même temps (des titres différents testés dans des régions différentes) ?
Oui, si les régions sont vraiment séparées et que vous ne les comparez pas. Testez le titre A contre le B sur le trafic américain. Testez le titre C contre le D sur le trafic européen. Ce sont des tests distincts. Les tests en parallèle ne posent pas de problème. Mais ne comparez pas A et C d'une région à l'autre, car la composition est différente. Les audiences régionales convertissent à des taux différents. Les États-Unis peuvent avoir une base de douze pour cent. L'Europe, une base de huit pour cent. Le titre A gagne aux États-Unis. Le titre C gagne en Europe. Vous ne pouvez pas conclure que le titre A est meilleur partout, car les bases diffèrent. Testez en parallèle, mais analysez séparément.
Si les résultats ne montrent pas de différence significative, dois-je supposer que les variantes sont identiques ?
Non. Considérez que la différence est incertaine. Elles peuvent être identiques. Elles peuvent aussi être différentes, mais il aurait fallu plus de données pour le détecter. Exemple : le contrôle a cinq cents conversions. La variante en a cinq cent cinq. Un pour cent d'écart. Quatre-vingt-huit pour cent de confiance. Pas significatif. Vous ne pouvez pas conclure qu'elles sont identiques. Vous pouvez seulement conclure que la différence est incertaine. Vos options : prolonger le test pour avoir plus de données. Ou, si la variante est plus facile à mettre en place que le contrôle, passer à la variante, car au pire elles sont identiques et au mieux la variante est meilleure. Si le contrôle est plus simple, gardez le contrôle.
Et si mon test donne un résultat significatif mais que mon intuition me dit que c'est faux ?
Faites confiance aux statistiques, pas à l'intuition. Les calculs sont plus fiables que l'intuition. Si les statistiques disent que le résultat est réel (quatre-vingt-quinze pour cent de confiance), il l'est probablement. Votre intuition peut se tromper. Elle repose sur une expérience limitée. Les statistiques reposent sur des milliers de visiteurs. Déployez sur la base des statistiques. Exemple : vous pensez que le bouton rouge fonctionne mieux que le bleu. Le test montre que le bouton bleu gagne nettement. Votre intuition était fausse. Déployez le bouton bleu. Faire confiance à votre intuition et ignorer les données du test aurait fait déployer le bouton rouge, au détriment de la conversion.
Puis-je additionner plusieurs petits résultats non significatifs pour en faire un gros résultat significatif ?
Non. Chaque test est indépendant. Vous ne pouvez pas combiner des tests non concluants en un résultat concluant. Le premier test montre quatre-vingt-cinq pour cent de confiance que la variante gagne. Le second montre quatre-vingts pour cent de confiance pour la même variante. Ensemble, quatre-vingt-quinze pour cent de confiance ? Non. Les statistiques ne fonctionnent pas comme cela. Chaque test est indépendant. Les combiner n'a aucun sens statistique. Lancez dès le départ un test correctement dimensionné et suffisamment puissant. Soit vous avez la significativité, soit vous ne l'avez pas.
Si le test montre un résultat fort pour un segment mais faible pour l'ensemble, que dois-je déployer ?
Déployez pour le segment seulement si le résultat fort est statistiquement significatif pour ce segment. Si le segment est petit (dix pour cent du trafic), le seuil de significativité est plus difficile à atteindre. Il peut s'agir d'un faux positif sur le segment. Vérifiez la significativité du segment lui-même, pas seulement celle de l'ensemble. Exemple : le test global montre la variante à neuf pour cent, le contrôle à huit virgule neuf pour cent. À peine significatif. Mais le segment ordinateur montre la variante à dix pour cent, le contrôle à huit pour cent. Deux points d'avance sur ordinateur. Fort et significatif pour ordinateur. Le segment mobile montre la variante à huit pour cent, le contrôle à huit pour cent. Aucune différence. Déployez pour ordinateur seulement. Ne déployez pas pour mobile. Chaque segment a sa propre variante optimale.