Marketing
Test A/B : combien de visiteurs faut-il ? Tableau par taux de conversion et effet visé
Le nombre de visiteurs nécessaires par variante pour un test A/B selon le taux de conversion et la hausse visée, la formule, la durée du test et les erreurs qui le faussent.
Par TooleemPublié Faits vérifiés
En bref
Pour un test A/B classique (seuil de 5 %, puissance de 80 %), il faut d’autant plus de visiteurs que le taux de conversion est bas et que l’effet cherché est petit. Avec un taux de 3 % et une hausse visée de 20 % (de 3 % à 3,6 %), il faut 13 914 visiteurs par variante, soit environ 27 800 au total. Pour détecter seulement +10 %, il en faut 53 211 par variante, presque quatre fois plus. Le tableau ci-dessous donne la taille pour des taux de 1 % à 20 % et des effets de +5 % à +50 %.
Faire le calcul
Calculateur de significativité A/B
Une fois le test terminé, vérifiez si l’écart entre vos deux variantes est significatif, avec la valeur p et l’intervalle de confiance.
Sur cette page
Le tableau : visiteurs nécessaires par variante
Faites glisser sur le côté pour voir toutes les colonnes.
| Taux actuel | +5 % | +10 % | +20 % | +30 % | +50 % |
|---|---|---|---|---|---|
| 1 % | 637 010 | 163 095 | 42 693 | 19 827 | 7 750 |
| 2 % | 315 206 | 80 682 | 21 109 | 9 798 | 3 826 |
| 3 % | 207 938 | 53 211 | 13 914 | 6 455 | 2 518 |
| 5 % | 122 124 | 31 234 | 8 158 | 3 780 | 1 471 |
| 10 % | 57 763 | 14 751 | 3 841 | 1 774 | 686 |
| 20 % | 25 583 | 6 510 | 1 683 | 772 | 294 |
Deux règles se lisent dans le tableau. Diviser par deux l’effet cherché multiplie à peu près par quatre l’échantillon. Et à effet relatif égal, un taux deux fois plus bas demande environ deux fois plus de visiteurs.
La formule utilisée
n = (1,96 × √(2 p̄ (1 − p̄)) + 0,84 × √(p₁(1 − p₁) + p₂(1 − p₂)))² ÷ (p₂ − p₁)²
- p₁ : taux de conversion actuel ; p₂ : taux visé ; p̄ : leur moyenne.
- 1,96 correspond à un seuil de 5 % en test bilatéral (risque de conclure à tort à une différence).
- 0,84 correspond à une puissance de 80 % (chance de détecter l’effet s’il existe vraiment). Pour 90 %, on remplace par 1,28 : à 3 % et +20 %, il faut alors 18 626 visiteurs par variante au lieu de 13 914.
Exemple chiffré
Exemple : combien de jours ?
Une boutique reçoit 1 000 visiteurs par jour sur la page testée et convertit à 3 %. Pour détecter +20 %, il faut 2 × 13 914 = 27 828 visiteurs, soit environ 28 jours. En pratique, on arrondit à des semaines entières (ici quatre semaines) pour couvrir chaque jour de la semaine autant de fois.
Les erreurs qui faussent un test
- Arrêter dès que c’est significatif. Regarder les résultats tous les jours et s’arrêter au premier p < 0,05 augmente fortement le risque de faux positif. Fixez la taille avant de commencer et attendez-la.
- Viser un effet irréaliste. Choisir +50 % pour obtenir un petit échantillon ne sert à rien si votre changement apporte +5 % : le test conclura « pas de différence » à tort.
- Tester plusieurs variantes avec le même seuil. Avec quatre variantes contre le témoin, la probabilité qu’au moins une paraisse gagnante par hasard dépasse nettement 5 % : environ 19 % si les quatre comparaisons étaient indépendantes (1 − 0,95⁴).
- Changer la répartition du trafic en cours de route. Gardez la même répartition (souvent 50/50) du début à la fin.
À noter
Si le trafic ne suffit pas
Testez un changement plus ambitieux (qui peut produire un effet plus grand), mesurez une étape plus fréquente que l’achat (ajout au panier, clic sur le bouton), ou acceptez un test plus long. Un test sous-dimensionné ne prouve ni que la variante marche, ni qu’elle ne marche pas.
Faire le calcul
Calculateur de significativité A/B
Une fois le test terminé, vérifiez si l’écart entre vos deux variantes est significatif, avec la valeur p et l’intervalle de confiance.