L'attribution indique quel canal reçoit le crédit d'une conversion. Mais le canal provoque-t-il vraiment la conversion, ou aurait-elle eu lieu de toute façon ? Le test d'incrémentalité répond à cette question par des expériences : exposez certains utilisateurs au canal (groupe test), n'y exposez pas les autres (groupe témoin), puis mesurez l'écart de taux de conversion. Cet écart est l'impact incrémental réel. Ce chapitre présente les tests d'incrémentalité et dit quand les utiliser.
Attribution et incrémentalité
Attribution : parmi les personnes qui ont converti, quel canal les a touchées en dernier ? Simple à mesurer, mais ne prouve pas la causalité.
Incrémentalité : si nous supprimons entièrement ce canal, combien de chiffre d'affaires perdrions-nous ? Cela prouve la causalité et mesure l'impact réel.
Exemple : 100 personnes ont converti. Au dernier clic, Google Ads reçoit le crédit de 60 d'entre elles. Mais le test d'incrémentalité montre que sans Google Ads, 50 de ces 60 auraient quand même converti (par d'autres canaux). L'incrémentalité réelle de Google Ads = 10 conversions, pas 60.
Les types de tests d'incrémentalité
Test géographique
Diffusez des annonces dans certaines zones (test), pas dans d'autres (témoin). Comparez les taux de conversion. Exemple : diffusez Google Ads à San Francisco (test), pas à Berkeley (témoin). Si San Francisco a un meilleur taux de conversion, les annonces sont incrémentales.
Avantage : simple, rapide. Inconvénient : les différences entre zones peuvent fausser les résultats (San Francisco est plus riche, ce qui tire le taux de conversion vers le haut).
Groupes de contrôle (holdout)
Diffusez les annonces à tout le monde sauf à 10 % tirés au hasard (témoin). Comparez les taux de conversion : utilisateurs exposés aux annonces contre utilisateurs du groupe de contrôle. L'écart est l'incrémentalité.
Avantage : précis, neutralise les facteurs parasites. Inconvénient : demande un gros budget (nous ne ciblons pas 10 % de notre audience pour mesurer l'impact).
Test dans le temps
Diffusez les annonces sur certaines périodes (test), pas sur d'autres (témoin). Exemple : diffusez la recherche payante du lundi au jeudi, pas du vendredi au dimanche. Comparez les taux de conversion. Si lundi-jeudi est meilleur, les annonces sont incrémentales.
Avantage : simple. Inconvénient : l'effet du jour de la semaine fausse la comparaison (le week-end, la conversion est naturellement plus basse).
Mener un test d'incrémentalité
Étape 1 : définissez l'hypothèse. « Google Ads produit des conversions incrémentales au-delà du niveau de base. »
Étape 2 : choisissez le type de test. Les groupes de contrôle sont les plus précis ; prenez-les si le budget le permet.
Étape 3 : dimensionnez votre test. Il faut un échantillon assez grand pour détecter l'écart. Si la conversion de base est de 5 % et que vous voulez détecter une hausse de 2 %, il faut environ 10 000 personnes par groupe. Consultez un statisticien ou utilisez un calculateur de puissance.
Étape 4 : lancez le test pendant 2 à 4 semaines. Les tests plus longs réduisent la variance due aux fluctuations quotidiennes.
Étape 5 : analysez les résultats. L'écart est-il statistiquement significatif ? (p < 0.05). Si oui, vous avez prouvé l'incrémentalité.
Les difficultés des tests d'incrémentalité
Coût : les groupes de contrôle signifient perdre du chiffre d'affaires volontairement (nous ne ciblons pas 10 % de notre audience). Cela ne vaut la peine que pour les canaux à forte dépense, où l'information a de la valeur.
Cannibalisation : si l'utilisateur ne voit pas votre annonce, il peut passer par la recherche organique ou le trafic direct. L'incrémentalité en tient compte (c'est inclus dans le comportement du groupe témoin).
Effets à long terme : les annonces peuvent avoir un effet de notoriété qui apparaît quelques jours ou semaines plus tard. La plupart des tests sont à court terme ; ils passent à côté des impacts à long terme.
Comment décider de lancer ou non un test d'incrémentalité ?
L'incrémentalité coûte cher (le groupe de contrôle fait perdre de l'argent). Faites des tests pour : les canaux à forte dépense (Google Ads, Facebook Ads), là où l'attribution est floue, quand vous prenez de grandes décisions de budget. Ne testez pas : les petits canaux, ni là où l'attribution est claire. Budget : 10 k$ à 50 k$ et plus par test. Réservez-le aux questions qui pèsent le plus.
Quelle taille d'échantillon faut-il pour un test d'incrémentalité ?
Cela dépend du taux de conversion de base et de la hausse à détecter. Règle simple : 5 000 à 10 000 personnes par groupe (témoin et test). Si la base est de 5 % et que vous voulez détecter une hausse de 2 % (nouveau taux de 7 %), il faut environ 10 000 personnes par groupe. Utilisez un calculateur de puissance (cherchez « calculateur de puissance statistique ») pour obtenir le chiffre exact de votre cas.
Combien de temps faut-il faire durer un test d'incrémentalité ?
2 à 4 semaines au minimum (pour lisser les variations quotidiennes). 4 à 8 semaines, c'est mieux (cela capte les schémas hebdomadaires). Tests plus longs = coût plus élevé mais résultats plus fiables. Si votre cycle de vente est de 30 jours, faites durer le test 30 jours ou plus pour couvrir tout le cycle.
Puis-je utiliser le test d'incrémentalité pour mesurer les interactions entre canaux (comment un canal aide un autre) ?
Oui, mais c'est plus complexe. Conception du test : (1) témoin (aucun canal), (2) test A (canal A seul), (3) test B (canal B seul), (4) test A+B (les deux canaux). Comparez les résultats. Si A+B > A + B, il y a synergie. Cela demande des échantillons plus grands et une analyse plus complexe.
Quelle est la différence entre un groupe de contrôle (holdout) et un groupe témoin dans un test ?
Holdout : une partie de votre base clients qui ne voit pas le canal (volontairement). Groupe témoin : dans une expérience, le groupe qui ne reçoit pas le traitement (pour comparer). Même principe, vocabulaire différent. Le holdout est continu (un groupe de contrôle permanent) ; le groupe témoin vaut pour la durée d'un test précis.
Comment présenter les résultats d'un test d'incrémentalité à la direction ?
Montrez : la conversion de base (5 %), la conversion du groupe test (6 %), la hausse (1 point de pourcentage, soit 20 % d'augmentation relative). Montrez l'intervalle de confiance : la hausse est de 0,5 à 1,5 point de pourcentage (nous sommes confiants sur cette fourchette). Conséquence budgétaire : si l'incrémentalité est inférieure de 20 % à ce que l'attribution annonçait, recalculez le ROI. Cela justifie le coût du test par de meilleures décisions.