Qu'est-ce qu'un calculateur de significativité de test A/B ?
Cet outil vous indique si l'écart entre deux variantes d'un test A/B est statistiquement significatif, ou s'il pourrait simplement résulter du hasard. Il s'appuie sur un test Z de comparaison de deux proportions, la méthode de référence pour comparer les taux de conversion entre une version témoin (A) et une variante (B).
Comment l'utiliser
Saisissez le nombre de conversions et le nombre total de visiteurs pour chaque variante. Le calculateur affiche le score Z, la p-value bilatérale et le niveau de confiance. Un niveau de confiance d'au moins 95 % (p-value ≤ 0,05) correspond au seuil habituellement retenu pour désigner une variante gagnante.
La formule expliquée
On calcule d'abord la proportion combinée : \(\hat{p} = \frac{x_1 + x_2}{n_1 + n_2}\). L'erreur type vaut \(\sqrt{\hat{p}(1-\hat{p})\left(\frac{1}{n_1}+\frac{1}{n_2}\right)}\). Le score Z correspond à l'écart entre les deux taux observés divisé par cette erreur type :
$$Z = \frac{\hat{p}_1 - \hat{p}_2}{\sqrt{\bar{p}\,(1-\bar{p})\left(\dfrac{1}{n_1}+\dfrac{1}{n_2}\right)}}$$
$$\text{où}\quad \left\{ \begin{aligned} \hat{p}_1 &= \dfrac{\text{Conversions A}}{\text{Visiteurs A}} \\ \hat{p}_2 &= \dfrac{\text{Conversions B}}{\text{Visiteurs B}} \\ \bar{p} &= \dfrac{\text{Conv. A} + \text{Conv. B}}{\text{Visiteurs A} + \text{Visiteurs B}} \end{aligned} \right.$$
La p-value se déduit de la loi normale centrée réduite (test bilatéral), et le niveau de confiance est égal à \((1 - \text{p-value}) \times 100\,\%\).
Exemple chiffré
Variante A : 120 conversions sur 1 000 (12 %). Variante B : 150 sur 1 000 (15 %). Proportion combinée \(\hat{p} = 270/2000 = 0{,}135\). \(\text{SE} = \sqrt{0{,}135 \times 0{,}865 \times (0{,}001 + 0{,}001)} \approx 0{,}01528\). \(z = (0{,}12 - 0{,}15) / 0{,}01528 \approx -1{,}963\). La p-value bilatérale est d'environ 0,0496, soit un niveau de confiance proche de 95 % — un résultat tout juste significatif.
FAQ
Quel niveau de confiance viser ? 95 % est la norme du secteur, ce qui revient à accepter 5 % de risque que le résultat soit un faux positif.
La taille de l'échantillon a-t-elle de l'importance ? Oui. De petits échantillons produisent des p-values élevées même lorsqu'un écart réel existe ; laissez tourner vos tests jusqu'à ce que chaque variante dispose d'un nombre suffisant de visiteurs.
Pourquoi un test bilatéral ? Un test bilatéral détecte un écart dans les deux sens (B meilleure ou moins bonne que A), ce qui constitue le choix par défaut le plus prudent.
