Calculateur de significativité A/B
Tester si l’écart de taux de conversion entre deux variantes A et B est statistiquement significatif, avec un test z de deux proportions, la valeur p et l’intervalle de confiance.
Variante A (contrôle)
Variante B (challenger)
Saisissez les deux variantes pour tester l’écart
Saisissez les visites et les conversions de A et de B. Le calculateur réalise un test z de deux proportions et affiche la valeur p, l’intervalle de confiance et le détail du calcul.
Tout se calcule dans le navigateur. Les données ne sont ni envoyées ni enregistrées.
Essayer un autre outil
Une sélection pour compléter cet outilCe calculateur indique si l’écart de taux de conversion entre deux variantes d’une page, d’un courriel ou d’une annonce est statistiquement significatif, ou s’il peut s’expliquer par le hasard. On saisit les visites et les conversions de la variante A, la version actuelle, et de la variante B. L’outil réalise un test z de deux proportions et affiche la valeur p, l’intervalle de confiance de l’écart au niveau choisi (90, 95 ou 99 %) et le détail du calcul, avec des alertes quand l’échantillon est trop petit.
Comment utiliser cet outil
- 01Saisir les deux variantesVisites et conversions de A (contrôle) et de B (challenger).
- 02Choisir le niveau et le type de test95 % et bilatéral conviennent dans la plupart des cas ; décidez-en avant de regarder les résultats.
- 03Lire le résultatSignificatif ou non, avec la valeur p, l’intervalle de confiance et le détail du calcul.
Dans quels cas est-ce utile ?
- Optimisation de pagesComparer deux versions d’une page de vente ou d’inscription.
- CourrielsTester deux objets ou deux appels à l’action.
- PublicitéDépartager deux visuels ou deux accroches.
Exemples
- Un écart significatifA : 4 820 visites et 241 conversions (5,00 %) ; B : 4 790 visites et 302 conversions (6,30 %). L’écart de 1,3 point est significatif à 95 %.
- Un écart trop faibleA : 500 visites et 25 conversions ; B : 500 visites et 30 conversions. L’écart d’un point reste dans le domaine du hasard.
- Un très petit échantillonAvec moins de 100 visites par variante, l’outil prévient que le résultat est fragile.
Conseils pour un meilleur résultat
- Fixer la durée avant le testArrêter un test dès que le résultat paraît significatif augmente fortement le risque de faux positif : fixez la taille d’échantillon à l’avance.
- Une semaine complète au minimumLe comportement varie selon le jour : faites durer le test au moins une semaine entière.
- Un seul changement à la foisSi B change plusieurs éléments, vous saurez qu’il fait mieux, mais pas pourquoi.
Le test z de deux proportions
Sous l’hypothèse nulle de taux égaux, l’outil calcule un taux commun et l’erreur type correspondante, puis z = (taux B − taux A) ÷ erreur type. La valeur p est la probabilité d’observer un écart au moins aussi grand si les taux étaient réellement égaux.
Valeur p et intervalle de confiance
Avec un niveau de confiance de 95 %, l’écart est jugé significatif si la valeur p est inférieure à 0,05. L’intervalle de confiance, calculé avec l’erreur type non commune, donne la fourchette plausible de l’écart réel en points de pourcentage.
Les limites
Le test suppose des échantillons assez grands : moins de 5 conversions ou non-conversions attendues rendent l’approximation normale peu fiable. Il ne dit rien de l’intérêt économique d’un écart, ni des biais de mesure.
Questions fréquentes
Comment savoir si un test A/B est significatif ?
Saisissez les visites et conversions des deux variantes : l’outil indique si la valeur p est sous le seuil du niveau de confiance choisi.
Que signifie une valeur p de 0,03 ?
Qu’un écart au moins aussi grand aurait 3 % de chances d’apparaître si les deux variantes étaient en réalité équivalentes.
Bilatéral ou unilatéral ?
Le test bilatéral, plus prudent, est le choix habituel ; l’unilatéral ne se justifie que s’il est décidé avant le test.
Combien de visites faut-il ?
Cela dépend du taux de départ et de l’écart attendu : plus l’écart recherché est petit, plus il faut de visites.
Significatif veut-il dire important ?
Non : un écart peut être significatif mais trop petit pour justifier un changement.
Mes données sont-elles enregistrées ?
Non. Les résultats de vos deux variantes restent dans votre navigateur.