La différence entre un projet de test et une culture du test
Projet de test
On lance quelques tests. On regarde ce qui marche. On passe à autre chose. Le test est un outil que l'on sort en cas de besoin. Puis on s'arrête.
Culture du test
On teste en continu. Les gagnants nourrissent le test suivant. Les enseignements s'accumulent. Année après année, le test produit un effet cumulatif.
Chaque changement est testé. Chaque décision s'appuie sur des données. Le test est la façon de décider, pas un projet que l'on mène de temps en temps.
Les entreprises qui ont une culture du test devancent celles qui n'en ont pas. Pas de beaucoup à chaque test. Mais sur des années, l'effet cumulé devient un énorme avantage.
Obtenir l'adhésion de la direction
Le problème
La plupart des programmes de test échouent parce que la direction ne comprend pas le test ou ne s'y engage pas.
Ce que la direction entend
Quand vous proposez un programme de test, la direction entend : cela va prendre du temps et coûter de l'argent.
Ce que la direction doit entendre
Montrez l'argent. Lancez un test. Prouvez que cela fonctionne. Calculez l'impact sur le chiffre d'affaires. Ce test a amélioré la conversion de deux pour cent. Cela rapporte cinquante mille dollars de chiffre d'affaires annuel en plus. L'outil de test coûte douze mille. Bénéfice net : trente-huit mille.
La direction voit alors le test comme un investissement, pas comme un coût.
Construire la feuille de route des tests
Ne lancez pas de tests au hasard
Planifiez une feuille de route des tests. Elle repère les zones à fort impact. Les formulaires. Les titres. Les offres. Le paiement. Chaque zone reçoit un niveau de priorité.
Classez par impact
La feuille de route ordonne les tests. Les éléments à fort impact d'abord. Ceux à impact moyen ensuite. Ceux à faible impact plus tard.
L'engagement des équipes
La feuille de route engage les équipes. Les designers savent qu'ils testent des designs de bouton. Le produit sait qu'il teste l'offre. Tout le monde sait ce qui arrive.
Créez une feuille de route trimestrielle. Mettez-la à jour chaque mois selon les résultats. Une planification trimestrielle garde l'équipe concentrée.
Désigner un responsable
Le problème
Le test échoue quand personne n'en est responsable. Le marketing dit que c'est au produit. Le produit dit que c'est à l'ingénierie. Les tests n'ont jamais lieu.
La solution
Désignez un responsable des tests. Ce peut être un responsable croissance. Ce peut être un responsable produit. Une seule personne est responsable du programme de test.
Le responsable des tests fixe la feuille de route. Lance les tests. Documente les résultats. Partage les enseignements. Coordonne les équipes. Sans responsable, les tests s'enlisent.
Former les équipes à la pensée statistique
Le problème
La plupart des gens n'ont pas de formation en statistiques. Ils regardent des chiffres et décident à l'instinct.
La variante est à neuf pour cent. Le contrôle est à huit virgule huit pour cent. On dirait que la variante a gagné. Un non-statisticien pense qu'elle est meilleure.
Le statisticien vérifie le niveau de confiance. Quatre-vingt-deux pour cent. En dessous du seuil de quatre-vingt-quinze pour cent. Non significatif. La différence peut être due au hasard.
La solution
Former les équipes aux statistiques de base évite de mauvaises décisions. Sujets de formation : ce qu'est la signification statistique. Pourquoi quatre-vingt-quinze pour cent compte. Comment lire les intervalles de confiance. Ce que signifie la taille d'échantillon.
Un bon programme de test forme l'équipe aux statistiques.
Créer un apprentissage partagé et une documentation
Pourquoi la documentation compte
Chaque test apprend quelque chose. L'enseignement disparaît s'il n'est pas documenté.
Comment documenter
Créez un référentiel de tests. Chaque test a sa page. L'hypothèse. Les résultats. L'enseignement.
Après cinquante tests, vous avez cinquante pages d'enseignements. Un nouveau collègue lit ces cinquante pages et comprend ce qui marche pour votre public.
Une bonne documentation : l'hypothèse, les résultats, l'enseignement, ce qu'il faut tester ensuite.
Une mauvaise documentation : le test un a gagné, le test deux a perdu. Aucun enseignement.
Intégrer le test au processus
Un test facultatif échoue
Si le test est facultatif, il s'arrête dès que l'on est occupé. Les équipes le passent après les projets urgents.
Un test obligatoire dure
Rendez le test obligatoire. Chaque changement passe par le processus de test. Un changement sans test n'est pas approuvé.
Cela demande de changer le processus. Mais cela garantit que les tests ont lieu de façon régulière.
Exemple de processus
Un : proposer le changement avec une hypothèse. Deux : obtenir l'accord pour tester. Trois : lancer le test pendant deux semaines. Quatre : résultats validés par le responsable des tests. Cinq : si le résultat est significatif, mettre en place. Six : documenter l'enseignement. Sept : concevoir le test suivant.
Fêter et communiquer les victoires
Le problème
Le programme de test meurt si les victoires restent silencieuses.
La solution
Fêtez les victoires. Partagez les résultats. Montrez l'impact. Un e-mail mensuel : « Notre programme de test a amélioré la conversion de sept pour cent ce trimestre. Voici cinq tests qui ont fait bouger les choses. Merci aux équipes qui les ont menés. »
Fêter crée de l'élan. Crée une culture. Crée la conviction que le test fonctionne.
Gérer les enjeux de pouvoir autour du test
Le conflit
Quelqu'un propose un changement. Le test montre que ce n'est pas une bonne idée. La personne qui l'a proposé est frustrée. Le test crée du conflit quand les résultats contredisent les hypothèses.
La solution
Présentez le test comme un outil d'apprentissage. Pas comme un moyen de donner tort aux gens. Présentez-le ainsi : « testons et apprenons ensemble ».
Quand un test montre qu'une personne s'est trompée, dites : « nous avons appris quelque chose ». Présentez-le comme une victoire, pas comme une défaite. Les gens se braquent si le test est perçu comme une menace. Ils le soutiennent s'il est perçu comme un apprentissage.
Gérer la cadence des tests
Approche agressive
Lancer dix tests par mois. Terminer chaque test en une semaine. Apprentissage rapide. Plus de risque de faux positifs. Taux d'erreur plus élevé.
Approche prudente
Lancer trois tests par mois. Terminer chaque test en deux à trois semaines. Apprentissage plus lent. Taux d'erreur plus faible. Plus sûr.
Approche équilibrée
La plupart des entreprises devraient viser l'équilibre. Cinq à six tests par mois. Deux semaines de durée. Un taux d'erreur raisonnable. Une vitesse d'apprentissage raisonnable. Ne sacrifiez pas la qualité à la vitesse. Un test de grande qualité vaut mieux que dix tests de mauvaise qualité.
Comprendre les rendements décroissants
Le schéma
Les vingt premiers tests font bouger les choses. Chaque test améliore quelque chose. La feuille de route regorge d'opportunités à fort impact.
Les tests de vingt à quarante font moins bouger les choses. Vous apprenez encore, mais les améliorations sont plus petites. Il y a moins d'opportunités évidentes.
À partir du quarantième test : les opportunités sont petites. Les améliorations sont minimes. C'est normal.
La solution
N'interprétez pas les rendements décroissants comme un échec du test. Voyez-y de la maturité. Quand vous entrez dans cette phase, changez de cap. Au lieu de tester partout, testez dans de nouveaux domaines. De nouveaux produits. De nouveaux segments. De nouveaux marchés.
Faire durer le programme de test
Le risque
Le programme de test tourne bien pendant six mois. Puis il ralentit. Les gens sont occupés. Le test passe au second plan. Le programme s'éteint.
Comment durer
Un programme durable demande un engagement continu. Demande des ressources. Demande un responsable. Prévoyez un budget pour les outils de test. Prévoyez un budget pour la personne qui teste. Intégrez le test aux objectifs annuels.
Si le test est une priorité annuelle, il a lieu. S'il est un bonus, il s'arrête.
Questions fréquentes
Comment convaincre les collègues sceptiques que le test fonctionne ?
Montrez-leur un test. Lancez un test simple sur un élément très fréquenté. Obtenez les résultats. Montrez l'amélioration gagnante. Montrez l'impact sur le chiffre d'affaires. Un seul test réussi convertit les sceptiques. Les résultats parlent plus fort que les mots. Exemple : lancez un test de couleur de bouton. Montrez les résultats : le bouton bleu convertit à neuf pour cent, le bouton rouge à huit virgule cinq pour cent. Huit pour cent d'amélioration. Calculez l'impact : si le site reçoit dix mille visiteurs par mois et que deux pour cent convertissent, cela fait deux cents conversions par mois. Huit pour cent d'amélioration, ce sont seize conversions de plus par mois. Si le panier moyen est de cent dollars, cela fait seize cents dollars de chiffre d'affaires mensuel en plus. Dix-neuf mille dollars par an. Montrez cela au collègue sceptique. Le scepticisme disparaît quand l'argent entre en jeu. Avec le créateur de site web de WEMASY, vous pouvez mettre cela en place directement sur votre site web.
Si nous sommes occupés par des projets, faut-il repousser les tests ?
Non. Le test doit faire partie de la livraison du projet. Chaque changement du projet est testé avant sa mise en place. Le test ne fait pas perdre de temps s'il est intégré au processus. Il évite de mettre en place des choses qui ne marchent pas. Exemple : vous sortez un nouveau parcours de paiement. Sans test : mise en place, lancement, vous découvrez que quatre-vingt-dix pour cent des visiteurs sont perdus par le nouveau parcours, retour en arrière, correction, nouveau lancement. Trois semaines au total. Avec test : vous testez le nouveau parcours pendant une semaine avant le lancement, vous découvrez les problèmes, vous corrigez, vous lancez un parcours en confiance. Deux semaines au total. Le test fait gagner du temps en évitant les mauvais lancements. Intégrez le test au calendrier dès le départ, pas après coup.
À quelle fréquence faut-il revoir d'anciens résultats de test ?
Revoyez-les quand les conditions changent. Nouvelle saison. Nouveau concurrent. Changement majeur dans l'entreprise. Sinon, chaque résultat reste valable pour sa période. Inutile de retester sans cesse. Exemple : vous avez testé une offre en janvier. La garantie satisfait ou remboursé bat dix pour cent de remise. Vous avez mis en place la garantie. En juillet, un concurrent lance sa propre garantie. Votre avantage disparaît. Faut-il retester l'offre ? Peut-être. Le mouvement du concurrent a changé le marché. Votre gagnant n'est peut-être plus pertinent. Revues saisonnières : testez des offres pendant la saison du Black Friday. Les résultats peuvent être différents en juillet, quand le comportement d'achat n'est plus le même. Retestez les offres en juillet. Les résultats guident la stratégie propre à juillet.
Faut-il tester pour le visiteur moyen ou pour un segment précis ?
Commencez par le visiteur moyen. Obtenez une base de référence. Ensuite, passez aux segments. Si vous optimisez uniquement pour un segment, la performance globale en souffre. Exemple : vous testez une optimisation sur mobile seulement, parce que le trafic mobile est le plus important. La base de référence sur ordinateur est de dix pour cent. Sur mobile, elle est de sept pour cent. Vous optimisez pour le mobile et le mobile gagne huit pour cent d'amélioration. Mais la base sur ordinateur tombe à neuf pour cent, car les changements ne marchent pas sur ordinateur. Vous avez gagné sur mobile mais perdu sur ordinateur. Au total, vous avez perdu du terrain. Testez d'abord largement pour comprendre l'impact général. Testez ensuite les segments pour optimiser segment par segment.
Comment garder l'élan si les tests perdent sans arrêt ?
Les tests perdants vous apprennent ce qui ne marche pas. Ce sont des données précieuses. Les tests gagnants viendront. Continuez à tester. Appuyez-vous sur ce que les échecs vous ont appris. Exemple : vous testez cinq titres. Trois perdent face au titre actuel. Deux gagnent. Les gagnants vous disent ce qui marche. Les perdants vous disent ce à quoi votre public ne réagit pas. Vous savez maintenant que le message « urgent » perd (les gens n'aiment pas la pression). Vous savez que le message « bénéfice précis » gagne (les gens aiment la clarté). Le test suivant s'appuie sur cet enseignement. Testez des bénéfices encore plus précis. Les tests se cumulent. Les tests perdants ne sont pas des échecs. Ce sont des points de données.
Si les tests montrent que toute notre approche est mauvaise, que faire ?
Fêtez-le. Vous avez appris quelque chose de précieux. Changez maintenant de direction. Mieux vaut l'apprendre grâce aux tests que par une perte de chiffre d'affaires silencieuse. Exemple : vous pensez que votre public cible veut un produit haut de gamme. Le test montre que le public préfère l'option économique. Votre positionnement haut de gamme était faux. Moment de fête : vous venez d'apprendre quelque chose qui vous aurait coûté de l'argent pendant des années si vous n'aviez pas testé. Ajustez maintenant votre stratégie. Passez à un message économique. Testez le nouveau positionnement. Mieux vaut le découvrir à cinquante mille dollars de perte de chiffre d'affaires qu'à cinq millions de dollars.