Étape un : rédigez une hypothèse précise
Une hypothèse vague échoue
Pas de ça : changer le paiement améliore la conversion.
Une hypothèse précise gagne
Mieux : nous pensons que passer d'un paiement en cinq étapes à un formulaire sur une seule page fera progresser les achats finalisés d'au moins trois pour cent, car les clients abandonnent quand le formulaire paraît long.
Une hypothèse doit dire : ce que vous changez, pourquoi vous pensez que cela aidera, quel indicateur doit progresser et de combien.
Une hypothèse vague donne des résultats vagues. Une hypothèse précise se teste.
Étape deux : fixez la taille d'échantillon avant de commencer
Le calcul compte
De combien de visiteurs avez-vous besoin pour voir une vraie différence ?
La règle : il faut au minimum cinq cents conversions par variante. Donc mille au total si vous testez deux versions.
Calculez la durée de votre test
Si votre taux de conversion est de deux pour cent et que vous recevez deux mille visiteurs par mois, cela fait quarante conversions par mois. Atteindre cinq cents conversions prend douze mois. Le test ne se terminera pas à temps.
Si votre taux de conversion est de dix pour cent et que vous recevez cinq mille visiteurs par mois, cela fait cinq cents conversions par mois. Atteindre mille conversions prend deux mois. Le test se termine vite.
Connaissez votre calendrier dès le départ
Les sites à faible taux de conversion ont besoin de tests plus longs. Les sites à fort taux de conversion terminent plus vite.
Utilisez un calculateur de taille d'échantillon. Saisissez votre taux de conversion et votre trafic. Il vous indique la durée du test.
Si le test dure plus de trois mois, posez-vous la question : le changement vaut-il trois mois d'attente ? Ou vaut-il mieux tester autre chose qui se termine plus vite ?
Étape trois : choisissez la répartition du trafic
Cinquante-cinquante, c'est la norme
Envoyez cinquante pour cent du trafic vers la version de contrôle et cinquante pour cent vers la variante.
Une répartition prudente ralentit les résultats
Certains répartissent quatre-vingt-dix et dix : quatre-vingt-dix pour cent vers l'actuelle version qui fonctionne, dix pour cent vers la nouvelle dont ils ne sont pas sûrs. C'est prudent, mais le test en devient plus lent.
Cinquante-cinquante est la norme. C'est le plus rapide.
Étape quatre : fixez la durée du test avant de le lancer
Engagez-vous sur un calendrier
Une semaine au minimum. Deux semaines en général. Un mois pour les sites à très fort trafic.
Ne décidez pas de la durée pendant le test. Décidez avant. Notez-la. Tenez-la.
Jeter un œil trop tôt gâche les tests
Jeter un œil trop tôt gâche les tests. Vous regardez les résultats après une semaine. La variante semble gagner. Vous arrêtez le test. Vous la mettez en place. Plus tard, vous vous rendez compte que les résultats n'étaient pas réels. Vous avez déployé quelque chose qui ne fonctionnait pas vraiment.
Allez au bout de la durée prévue.
Étape cinq : faites la modification de la variante
Un seul changement
Un seul changement. Pas plusieurs.
Si vous testez la simplification du paiement, simplifiez le formulaire. Ne changez pas en même temps la couleur, le texte ou la mise en page. Une variable à la fois.
Rendez-le visible
Le changement doit se voir. Les visiteurs doivent remarquer la différence. S'il est si discret que personne ne le voit, le test ne fonctionnera pas.
Étape six : configurez le test dans l'outil
Choisissez votre plateforme
Utilisez une plateforme de test. . . .
Installez et configurez
Connectez l'outil à votre site. Installez le code de suivi. En général, c'est une ligne de code ou l'installation d'un plugin.
Créez les versions et les indicateurs
Créez la version de contrôle. C'est la version actuelle.
Créez la variante. Mettez en place votre changement.
Réglez la répartition du trafic. Cinquante pour cent chacune.
Réglez la durée. Deux semaines, ou la durée que vous avez fixée.
Définissez l'indicateur de réussite. Que mesurez-vous ? La finalisation du paiement. L'envoi d'un formulaire. Le défilement de la page.
Étape sept : laissez tourner sans regarder
Résistez à l'envie
C'est difficile. Résistez à l'envie de consulter les résultats.
Les résultats après quelques jours ne signifient rien. Avec un petit échantillon, le hasard pèse énormément. Vous verrez des résultats qui disparaîtront plus tard.
Programmez un rappel dans votre agenda
Consultez les résultats exactement à la date de fin. Pas avant.
Programmez un rappel pour la date de fin du test. Regardez à ce moment-là.
Étape huit : analysez correctement les résultats
Cherchez la signification statistique
Le test est terminé. Vous regardez les résultats. La variante a converti à onze pour cent. Le contrôle à dix pour cent. La variante est meilleure. N'est-ce pas ?
Mais l'écart était-il statistiquement significatif ? Est-ce réel ou dû à la chance ?
Cherchez l'intervalle de confiance ou la valeur p. Il faut un niveau de confiance supérieur à quatre-vingt-quinze pour cent, ou une valeur p inférieure à zéro virgule zéro cinq.
Ce que signifie la signification statistique
Si la signification statistique dit oui, le résultat est réel. Mettez la variante en place.
Si la signification statistique dit non, le résultat n'est pas clair. Ce peut être la chance. Ce peut être réel, mais il fallait plus de temps. Prolongez le test ou essayez un autre changement.
Étape neuf : mettez en place et documentez
Si la variante gagne
Si la variante gagne, mettez-la en place définitivement.
Documentez ce que vous avez appris : pourquoi vous pensiez que cela marcherait, ce qui s'est passé, ce que vous testerez ensuite.
Construisez un guide de bonnes pratiques. Avec le temps, des tendances apparaissent. Vous apprenez ce qui marche pour votre audience.
Si le contrôle gagne
Si le contrôle gagne, annulez le changement.
Documentez pourquoi le contrôle a gagné. Peut-être que votre hypothèse était fausse. Peut-être que le changement n'était pas assez visible. Peut-être que votre audience n'a pas aimé le changement.
Un test perdu est quand même un apprentissage.
Erreurs courantes lors d'un premier test
Arrêter le test trop tôt
Après une semaine, vous perdez patience. Vous arrêtez. Les résultats ne sont pas encore fiables.
Tester plusieurs changements
Vous avez changé le formulaire, le bouton et le texte. Le formulaire gagne, mais était-ce le formulaire ou le bouton ? Maintenant, vous ne le savez pas.
Aucune exigence de signification
La variante est meilleure d'un pour cent. Ce peut être la chance. Vous la déployez. Plus tard, l'écart ne tient pas.
Tester sur tout le monde
Le changement vous inquiète. Vous testez sur quatre-vingt-dix pour cent de version actuelle et dix pour cent de nouvelle. Le test n'en finit pas.
Ne pas s'engager à déployer
Le test se termine. La variante gagne. Vous dites : nous la déploierons plus tard. Vous ne le faites jamais. Le test n'a créé aucune valeur.
Ce qui distingue les gagnants des autres
Pas des tests plus malins
Pas des tests plus malins. Des tests réguliers.
Le schéma gagnant
Les entreprises qui gagnent lancent un test. Les résultats arrivent. Elles déploient tout de suite. Elles lancent le test suivant.
Elles s'engagent dans un programme de tests. Pas des tests isolés. Des tests continus, mois après mois.
Elles construisent un savoir interne. Après cinquante tests, elles connaissent leur audience. Elles savent ce qui marche et ce qui ne marche pas. Elles avancent plus vite que leurs concurrents.
Une croissance qui se cumule
Testez une fois, rien ne se passe. Testez cinquante fois, tout change.
Questions fréquentes
Et si je découvre en cours de route que le test est cassé, par exemple que le suivi ne fonctionne plus ? Dois-je recommencer ?
Oui. Un test cassé ne sert à rien. Recommencez à zéro. Si le suivi est cassé, vous n'avez pas de vraies données. C'est pour cela qu'il faut consulter le test de temps en temps (sans obsession, mais au moins une fois). Repérez vite les pannes. Avec le créateur de site web de WEMASY, vous pouvez le mettre en place directement sur votre site.
Puis-je modifier mon hypothèse de test pendant qu'il tourne, si de nouvelles informations arrivent ?
Non. Rédigez l'hypothèse avant le début du test. Tenez-vous-y. Si elle vous paraît fausse en cours de route, notez-le. Mais terminez le test avec l'hypothèse de départ. Lancez plus tard un nouveau test avec la nouvelle hypothèse.
Si la variante est clairement moins bonne, puis-je arrêter le test plus tôt ?
Seulement si elle casse quelque chose. Si la variante provoque des erreurs, arrêtez. Sinon, non. Même si elle perd largement, allez au bout de la durée prévue. Comprenez pourquoi elle a perdu. Servez-vous de cet enseignement.
Que faire si la signification statistique dit non, mais que je pense que le résultat est réel ?
Refaites le test. Même changement. Mais avec une durée plus longue ou plus de trafic. Si le résultat est réel, il réapparaîtra. Sinon, votre intuition avait tort et le calcul avait raison.
Comment savoir quelle variante est le contrôle et laquelle est la variante testée dans les résultats ?
Votre outil de test les étiquette. Assurez-vous de savoir laquelle est laquelle avant de commencer. Faites une capture d'écran. Le contrôle est la version A. La variante est la version B. Quand les résultats arrivent, reportez-vous à vos notes.
Dois-je dire à ma responsable que je lance des tests, ou seulement lui montrer les résultats ?
Dites-le-lui. Elle comprendra que les tests prennent du temps. Fixez les attentes : le test dure deux semaines. Si la variante gagne, nous la déploierons. Sinon, nous essaierons autre chose. La transparence évite la surprise quand vous ne déployez pas le changement qu'elle attendait.