Vous avez un titre sur votre page produit. Vous pensez qu'un autre titre pourrait mieux convertir. Vous pourriez deviner. Ou vous pourriez montrer l'ancien titre à la moitié de vos visiteurs et le nouveau à l'autre moitié, mesurer le taux de conversion de chacun et laisser les données dire lequel est meilleur. C'est cela, l'analyse des tests A/B.
Les tests A/B utilisent les données pour comparer des variantes et trouver la gagnante. Cet article explique comment fonctionnent les tests A/B, ce que signifie la significativité statistique, pourquoi la taille de l'échantillon compte, les erreurs courantes et comment choisir les variantes qui valent la peine d'être testées.
Un test A/B (aussi appelé test fractionné) compare deux versions d'un élément pour voir laquelle performe le mieux. Version A (contrôle) : votre titre actuel. Version B (variante) : un autre titre. Vous répartissez votre trafic 50/50, mesurez quel titre convertit le plus et désignez un gagnant.
Le test A/B répond à : ce changement est-il vraiment meilleur ou la différence est-elle due à la chance ? Sans test, vous vous fiez à votre intuition. Avec le test, vous vous fiez aux données.
Ce qu'est un test A/B et ce à quoi il répond
Un test A/B compare deux versions et mesure laquelle performe le mieux sur une mesure précise. Taux de clic. Taux de conversion. Temps passé sur la page. Chiffre d'affaires par visiteur. Vous menez le test jusqu'à avoir assez de données pour décider.
Un test A/B répond à : la différence entre ces versions est-elle réelle ou aléatoire ? Ce changement vaut-il la peine d'être fait ou dois-je essayer autre chose ? La réponse vient des données, pas d'une opinion.
Comment fonctionne la significativité statistique
Vous testez deux titres. Le titre A convertit à 10 % (100 sur 1 000). Le titre B convertit à 10,5 % (105 sur 1 000). Le titre B est meilleur. Mais la différence est-elle réelle ou simplement une variation aléatoire ?
La significativité statistique répond à : s'il n'y avait aucune différence entre ces titres, quelle serait la probabilité de voir une différence aussi grande par pur hasard ? Si la probabilité est très faible (moins de 5 %), la différence est statistiquement significative. Vous pouvez lui faire confiance.
Si la probabilité est élevée (plus de 5 %), la différence peut être due au hasard. Vous ne devriez pas agir dessus.
La plupart des tests exigent 95 % de confiance, c'est-à-dire seulement 5 % de chances que la différence soit aléatoire. Certains tests exigent 99 % de confiance (1 % seulement de hasard).
Pourquoi la taille de l'échantillon compte dans les tests
Vous testez le titre B sur 20 personnes et obtenez 20 % de conversion (4 conversions). Le titre A a obtenu 10 % (2 conversions). Le titre B est meilleur, non ? Peut-être. Ou peut-être que c'est de la chance, avec un échantillon aussi petit.
Testez les mêmes titres sur 10 000 personnes. Le titre A obtient 1 000 conversions sur 10 000 (10 %). Le titre B en obtient 950 sur 10 000 (9,5 %). Maintenant, le titre A est meilleur. Avec un échantillon plus grand, le hasard se lisse et les vrais schémas apparaissent.
Des échantillons plus grands vous donnent plus de confiance dans le résultat. Les petits échantillons sont bruités et peu fiables.
Erreurs courantes dans les tests A/B
Arrêter le test trop tôt : vous voyez une variante gagner après deux jours. Vous déclarez la victoire et l'activez. Mais après deux semaines, le schéma s'inverse et l'originale l'emporte. Les premières données étaient de la variation aléatoire. Laissez le test durer assez longtemps (au moins deux semaines, idéalement quatre).
Mener trop de tests à la fois : vous testez le titre, la couleur du bouton et la longueur du formulaire en même temps. Une variante gagne, mais vous ne savez pas quel élément l'a causé. Testez une seule chose à la fois.
Tester des changements insignifiants : vous testez une couleur de bouton (bleu contre bleu légèrement plus foncé). Le test demande 100 000 visiteurs pour montrer une différence statistiquement significative. Testez des changements qui comptent (un titre contre une autre proposition de valeur, pas du bleu contre du bleu un peu moins bleu).
Ignorer la saisonnalité : vous menez un test de novembre à janvier. Votre variante gagne. Mais janvier est une saison plus calme. Quand vous le menez toute l'année, elle perd. Menez toujours les tests sur plusieurs saisons.
Confondre corrélation et causalité : la variante B gagne. Vous supposez que le changement a causé la victoire. Mais vous avez aussi lancé une campagne marketing pendant le test. C'est la campagne, pas la variante, qui a causé la victoire. Tenez compte des facteurs externes.
Comment choisir quoi tester
Testez des changements à fort impact potentiel. De petits changements peuvent ne rien faire bouger, même s'ils gagnent. Un changement de couleur de bouton peut augmenter la conversion de 0,5 %. Un changement de titre peut l'augmenter de 5 %. Testez d'abord les changements plus importants.
Testez des changements alignés sur votre hypothèse. Si votre hypothèse est « un formulaire de commande confus provoque des abandons », testez un formulaire plus simple. Ne testez pas des couleurs et des positions de bouton au hasard.
Testez les changements un par un. Si vous changez le titre, le texte du bouton et les champs du formulaire en même temps, vous ne pouvez pas dire lequel a provoqué l'amélioration.
Comment lire les résultats d'un test A/B
Le résultat indique : la variante A avait un taux de conversion de 10 %. La variante B avait un taux de conversion de 11 %. B est 10 % meilleure (amélioration relative). Le niveau de confiance est de 95 %, avec une valeur p de 0,03.
Ce que cela signifie : la variante B est meilleure. Nous sommes sûrs à 95 % que cette différence est réelle et non due à la chance.
Si le niveau de confiance est de 85 % (valeur p de 0,15), le résultat n'est pas statistiquement significatif. Vous ne devez pas désigner de gagnant ; il faut plus de données.
Quand continuer à tester et quand s'arrêter
Continuez à tester si : le résultat n'est pas statistiquement significatif et que vous n'avez pas atteint votre objectif de taille d'échantillon, ou si vous avez appris quelque chose d'inattendu et voulez creuser.
Arrêtez de tester si : vous avez atteint la significativité statistique et pouvez désigner un gagnant, ou si le test dure depuis quatre semaines ou plus sans que les résultats tendent vers la significativité. À ce stade, les variantes se valent probablement.
Questions fréquentes
De combien de visiteurs ai-je besoin pour un test A/B valide ?
Cela dépend de votre taux de conversion de départ et de l'ampleur du changement que vous voulez détecter. Pour un petit site avec 100 visiteurs par jour, il faudra peut-être deux semaines pour atteindre la significativité statistique. Pour un grand site avec 10 000 visiteurs par jour, deux jours suffiront peut-être. Utilisez un calculateur de taille d'échantillon (la plupart des outils de tests A/B en ont un intégré). Le créateur de site web de WEMASY vous permet de le mettre en place directement sur votre site.
Que signifie une valeur p de 0,05 ?
Cela signifie qu'il y a 5 % de chances que la différence observée soit due au hasard. Un niveau de confiance de 95 %. La plupart des gens utilisent 0,05 comme seuil : si la valeur p est inférieure à 0,05, le résultat est statistiquement significatif.
Puis-je consulter les résultats pendant un test et l'arrêter plus tôt si une variante gagne ?
Non. Cela s'appelle « jeter un œil » et mène à de mauvaises conclusions. Si vous arrêtez tôt quand une variante est en tête, vous risquez de passer à côté du vrai gagnant. Laissez toujours le test durer le temps prévu.
Et si mon test montre une très forte amélioration mais une faible significativité statistique ?
Cela signifie généralement que votre échantillon est trop petit. Vous avez un signal prometteur mais pas assez de données pour le confirmer. Prolongez le test ou attirez plus de trafic.
Dois-je tester un élément ou plusieurs à la fois ?
Testez un élément à la fois (les tests multivariés sont complexes et rarement rentables, sauf avec un très fort trafic). Tester une seule chose vous dit ce qui a causé le changement.
Combien de tests A/B dois-je mener en même temps ?
En général un seul à la fois, surtout si vous débutez. Une fois que vous avez de l'expérience et un fort trafic, vous pouvez mener plusieurs tests sur des pages différentes en même temps. Ne menez pas deux tests sur la même page en même temps.