Taille d’échantillon et puissance d’un test A/B

Taille d’échantillon et puissance d’un test A/B

Émergent AI Skill PRO

Entrez le calcul

Formule

n=(z1−α/s2p‾(1−p‾)+z1−βp1(1−p1)+p2(1−p2))2(p2−p1)2n=\frac{\left(z_{1-{\alpha}/s}\sqrt{2\bar p(1-\bar p)}+z_{{1-\beta}}\sqrt{{p_1}(1-p_1)+p_2(1-p_2)}\right)^2}{\left({p_2-p_1}\right)^2}
Statistiques d'utilisation

Publicité

Résultats

Valeurs d’exemple : remplacez-les par vos propres chiffres.

Visiteurs nécessaires par variante
31 234
Visiteurs au total, toutes variantes
62 468
Durée du test (jours)
32
Taux de la variante à détecter
5,5%
Taille de l’effet
0,5 pp · 10%
Valeur exacte de la formule par variante 31 233,44
Avec correction de continuité (Fleiss–Tytun–Ury) 31 633
Comparaisons avec le contrôle 1
α utilisé par comparaison 0,05
Valeur critique z pour α 1,9600
z pour la puissance 0,8416

N’arrêtez pas le test dès qu’il semble significatif.

Ces chiffres supposent un test à horizon fixe : vous fixez la taille d’échantillon à l’avance et n’analysez qu’une fois, à la fin.

Vérifier un test bilatéral à 5 % après chacun de 5 lots égaux et s’arrêter au premier p < 0,05 porte le taux réel de faux positifs à environ 14 % ; avec 10 vérifications, environ 19 %, avec 20, environ 25 %.

Pour suivre le test en continu, utilisez un plan séquentiel, comme les bornes d’O'Brien–Fleming avec dépense d’alpha, ou un mSPRT toujours valide.

Signaler une erreur sur cette page

Ce que fait ce calculateur

Il répond aux trois questions de toute expérience sur un taux de conversion. Planifier un test indique combien de visiteurs chaque variante doit recevoir pour détecter la hausse visée, et combien de jours cela prend avec votre trafic. Échantillon fixé fait l’inverse : pour les visiteurs dont vous disposez, il donne la puissance pour détecter votre effet et le plus petit effet détectable à la puissance cible. Analyser les résultats prend les conversions et visiteurs de A et B et renvoie la hausse observée, la valeur p du test z de deux proportions avec son intervalle de confiance, et la probabilité bayésienne que B batte A, le tout calculé exactement, sans simulation aléatoire.

La page s’ouvre avec des valeurs d’exemple : taux actuel de 5 %, MDE relatif de 10 %, α = 5 % bilatéral et puissance de 80 %. Remplacez-les par vos chiffres.

Formule de la taille d’échantillon

Pour deux groupes de même taille, de taux de conversion \( p_1 \) (contrôle) et \( p_2 \) (variante), le nombre de visiteurs nécessaire par groupe est

$$ n = \frac{\left( z_{1-\alpha/s}\sqrt{2\bar p(1-\bar p)} + z_{1-\beta}\sqrt{p_1(1-p_1)+p_2(1-p_2)} \right)^2}{(p_2-p_1)^2}, \qquad \bar p = \frac{p_1+p_2}{2} $$

avec \( s = 2 \) pour un test bilatéral et \( s = 1 \) pour un test unilatéral, \( z \) étant un quantile de la loi normale centrée réduite. C’est l’équation 4.14 de Fleiss, Levin et Paik, Statistical Methods for Rates and Proportions (3e éd., 2003) : l’écart-type sous l’hypothèse nulle utilise le taux commun \( \bar p \), celui sous l’alternative chaque taux séparément. C’est la même approximation normale que le test z groupé que vous ferez à la fin : plan et analyse concordent. Le résultat est arrondi à l’entier supérieur.

Le tableau donne aussi la taille avec la correction de continuité de Fleiss, Tytun et Ury (1980), \( n_{cc} = \frac{n}{4}\left(1+\sqrt{1+\frac{4}{n\,|p_2-p_1|} }\right)^2 \). Les tables des manuels impriment souvent ce chiffre, plus grand et plus prudent.

Deux courbes normales qui se chevauchent, montrant le seuil de signification alpha, l’erreur de type II bêta, la puissance 1−β et l’écart entre p1 et p2
La taille d’échantillon est choisie pour que la valeur critique limite les faux positifs à α tout en détectant l’effet réel p2 − p1 avec une probabilité de 1 − β.

Exemples vérifiables

Fleiss, Levin et Paik, page 74 : \( p_1 = 0{,}60 \), \( p_2 = 0{,}70 \), α = 1 % bilatéral, puissance de 95 %. La formule donne 807,07, soit 808 par groupe, et 827 avec la correction de continuité, le chiffre du livre. À 75 % de puissance, elle donne 479,6 (480) et 499,4 avec correction : le livre imprime 499, le calculateur arrondit à 500. Pour le reproduire ici, choisissez l’effet absolu avec un taux actuel de 60 et un effet de 10.

Ryan (2013), validé dans le manuel NCSS PASS : α = 5 % unilatéral, puissance de 80 %, 55 % contre 65 % → 295,7, soit 296 par groupe.

Exemple par défaut : un taux de 5 % et une hausse relative de 10 % reviennent à distinguer 5,5 % de 5 %. Avec α = 5 % bilatéral et une puissance de 80 %, il faut 31 234 visiteurs par variante, 62 468 au total, soit 32 jours à 2 000 visiteurs par jour.

MDE relatif ou absolu

Un effet relatif de 10 % sur une base de 5 % signifie 5,5 % (\( p_2 = p_1(1+\text{MDE}) \)). Un effet absolu d’un point de pourcentage signifie 6 % (\( p_2 = p_1 + \text{MDE} \)). Diviser l’effet par deux multiplie l’échantillon par quatre environ, car \( n \) varie comme \( 1/(p_2-p_1)^2 \). Les taux faibles coûtent cher : la même hausse relative sur un taux de 1 % exige environ cinq fois plus de visiteurs que sur un taux de 5 %.

Publicité
Courbe montrant que la taille d’échantillon requise chute fortement à mesure que l’effet minimal détectable augmente
Diviser par deux l’effet minimal détectable multiplie environ par quatre le nombre de visiteurs nécessaires par variante, car n varie en 1/(p2 − p1)².

Plusieurs variantes et correction de Bonferroni

Avec \( k \) variantes contrôle compris, chacune des \( k-1 \) challengers est comparée au contrôle et tous les groupes reçoivent le même \( n \) : le total vaut \( k \cdot n \). Chaque comparaison supplémentaire est une chance de plus de désigner un faux gagnant. La correction de Bonferroni (Dunn, 1961) teste chaque comparaison à \( \alpha/(k-1) \), ce qui maintient la probabilité d’au moins un faux positif à \( \alpha \) au plus. Elle est prudente et augmente \( n \) pour chaque groupe.

Puissance et MDE pour un échantillon fixé

En résolvant la même équation pour la puissance :

$$ 1-\beta = \Phi\!\left( \frac{|p_2-p_1|\sqrt{n} - z_{1-\alpha/s}\sqrt{2\bar p(1-\bar p)} }{\sqrt{p_1(1-p_1)+p_2(1-p_2)} } \right) $$

Le calculateur l’évalue pour votre effet, puis cherche la plus petite hausse qui atteint la puissance cible. Utilisez ce mode quand le trafic est imposé, par exemple une campagne qui dure deux semaines quoi qu’il arrive : si la hausse détectable dépasse de loin tout changement réaliste, le test vous apprendra peu.

Lire les résultats : valeur p et intervalle de confiance

Avec \( x_A \) conversions sur \( n_A \) visiteurs et \( x_B \) sur \( n_B \), la statistique z groupée vaut \( z = (\hat p_B-\hat p_A)/\sqrt{\hat p(1-\hat p)(1/n_A+1/n_B)} \) avec \( \hat p = (x_A+x_B)/(n_A+n_B) \). La valeur p bilatérale est \( 2(1-\Phi(|z|)) \) ; la valeur p unilatérale, pour l’hypothèse que B est meilleur, est \( 1-\Phi(z) \). L’intervalle de confiance de l’écart utilise l’erreur type non groupée : \( (\hat p_B-\hat p_A) \pm z_{1-\alpha/2}\sqrt{\hat p_A(1-\hat p_A)/n_A+\hat p_B(1-\hat p_B)/n_B} \). Exemple : 500 sur 10 000 contre 560 sur 10 000 donne z = 1,894 et p = 0,0583 ; la hausse observée de 12 % n’est donc pas significative à 5 %, et l’intervalle à 95 % de B − A va de −0,02 à +1,22 point de pourcentage.

Probabilité bayésienne que B batte A

Avec un a priori uniforme Beta(1, 1), la loi a posteriori d’un taux de conversion après \( x \) conversions sur \( n \) visiteurs est Beta(\( 1+x \), \( 1+n-x \)) (Gelman et al., Bayesian Data Analysis, 3e éd., chapitre 2). Comme ces paramètres sont entiers, la probabilité que le taux de B soit supérieur s’écrit comme une somme finie exacte :

$$ P(p_B>p_A) = \sum_{i=0}^{\alpha_B-1} \frac{B(\alpha_A+i,\ \beta_A+\beta_B)}{(\beta_B+i)\,B(1+i,\ \beta_B)\,B(\alpha_A,\ \beta_A)} $$

avec \( \alpha = 1+x \), \( \beta = 1+n-x \) et \( B \) la fonction bêta, selon la démonstration d’Evan Miller. Le calculateur l’évalue en échelle logarithmique : aucun tirage aléatoire, le même résultat à chaque fois. La perte attendue si l’on déploie B, \( E[\max(p_A-p_B, 0)] \), découle de la même somme avec des paramètres décalés : c’est la part de conversion que l’on s’attend à perdre si B est en réalité moins bon. Dans l’exemple ci-dessus, P(B > A) = 97,08 % et la perte attendue si l’on déploie B est de 0,0036 point de pourcentage. « 97 % de chances d’être meilleur » et « non significatif à 5 % » répondent à des questions différentes ; aucune des deux n’autorise à arrêter le test plus tôt.

Pourquoi regarder en cours de route fausse un test à horizon fixe

La taille d’échantillon ci-dessus suppose un seul regard sur les données, à la fin. Si vous vérifiez après chaque lot et vous arrêtez au premier p < 0,05, chaque regard ajoute une chance de faux positif. Armitage, McPherson et Rowe (1969) ont été les premiers à mesurer cet effet. Voici les valeurs que nous avons calculées par intégration numérique exacte de la loi normale jointe des statistiques de test, pour un test bilatéral à 5 % avec des regards équidistants et sans différence réelle :

Nombre de regards sur les données Probabilité d’un faux gagnant
1 5,0 %
2 8,3 %
3 10,7 %
5 14,2 %
10 19,3 %
20 24,8 %

Si vous devez suivre un test en cours, utilisez un plan conçu pour cela. Les bornes séquentielles par groupes, comme celles d’O'Brien et Fleming (1979), dépensent très peu de α aux premiers regards et maintiennent le taux global de faux positifs à α. La dépense d’alpha de Lan et DeMets (1983) permet de regarder à des moments non fixés d’avance. L’inférence toujours valide fondée sur le test séquentiel du rapport de vraisemblance de mélange (mSPRT ; Johari, Koomen, Pekelis et Walsh) fournit des valeurs p consultables à tout moment. En contrepartie, tous exigent un échantillon maximal plus grand qu’un test à horizon fixe.

Publicité
Évolution de la p-valeur dans le temps, qui passe plusieurs fois sous le seuil de signification avant la fin prévue du test
Consulter les résultats encore et encore avant d’atteindre l’échantillon prévu donne à la p-valeur, bruitée, de nombreuses occasions de passer sous α : les faux positifs augmentent.

Hypothèses et limites

Les formules supposent des visiteurs indépendants, un taux de conversion stable pendant le test et une répartition aléatoire équitable. Faites tourner le test sur des semaines entières pour couvrir les effets du jour de la semaine, vérifiez que la répartition du trafic correspond au plan et comptez chaque visiteur une seule fois. Pour de très petits échantillons ou des taux proches de 0 % ou de 100 %, l’approximation normale est grossière ; un test exact est alors plus sûr.

Voir aussi

Votre test est terminé ? Le calculateur de significativité A/B vérifie si l’écart entre deux taux de conversion est statistiquement significatif, avec le score Z et la p-value.

Vous lancez un sondage ou une enquête ? Le calculateur de taille d’échantillon indique combien de réponses il vous faut pour un niveau de confiance et une marge d’erreur donnés.

Sources et références

Dernière mise à jour:

Les plus populaires dans Mathématiques et statistiques

Voir toutes les calculatrices de Mathématiques et statistiques