Détermination de la taille de l'échantillon en toute sécurité pour les tests A / B

Je suis un ingénieur logiciel qui cherche à construire un outil de test A / B. Je n'ai pas une solide expérience en statistiques, mais j'ai fait pas mal de lecture au cours des derniers jours.

Je suis la méthodologie décrite ici et résumerai les points pertinents ci-dessous.

L'outil permettra aux concepteurs et aux experts de domaine de configurer un site Web pour répartir le trafic reçu à une URL spécifique entre deux ou plusieurs URL. Par exemple, le trafic arrivant sur http://example.com/hello1 peut être réparti entre http://example.com/hello1 et http://example.com/hello2 . Le trafic serait réparti également entre les URL cibles et les performances des processus marketing à chacune des URL cibles seront comparées.

Dans cette expérience, la taille de l'échantillon Ncorrespondra aux visiteurs. Le test mesurera les «conversions», un terme décrivant quand un visiteur s'engage dans une action spécifique dans un processus de marketing. Les conversions sont exprimées en pourcentages et un taux de conversion plus élevé est souhaitable. Cela fait du test une comparaison de proportions indépendantes. L'outil doit pouvoir être facilement utilisé pour produire des tests avec des résultats sûrs. Il Nest important de sélectionner une valeur appropriée pour .

Dans l'article lié ci-dessus, une analyse de puissance de deux proportions indépendantes est utilisée pour trouver N. Cette méthode nécessite de connaître à l'avance le taux de conversion du contrôle et de spécifier l'amélioration de conversion souhaitée. Il spécifie également un niveau de signification de 95% et une puissance statistique de 80%.

Des questions:

1. Est-ce cette méthode de détermination du Nson? Dans l'affirmative, quelle est la manière la plus sûre de déterminer le taux de conversion du contrôle avant de commencer le test?
2. Existe-t-il des moyens solides de déterminer Nqui n'exigent pas que l'on connaisse à l'avance les taux de conversion du contrôle?
3. La méthodologie de l' article lié est-elle solide? Sinon, existe-t-il des méthodes accessibles et facilement digestibles auxquelles vous pourriez me lier?

La méthode la plus courante pour effectuer ce type de test consiste à utiliser des intervalles de confiance de proportion binomiale (voir http://bit.ly/fa2K7B )

Vous ne pourrez jamais connaître le "vrai" taux de conversion des deux chemins, mais cela vous donnera la possibilité de dire quelque chose à l'effet "Avec une confiance de 99%, A est plus efficace à convertir que B".

Par exemple: Supposons que vous avez effectué 1000 essais sur le chemin A. Sur ces 1000 essais, 121 ont été des conversions réussies (taux de conversion de 0,121) et nous aimerions un intervalle de confiance de 99% autour de ce résultat 0,121. Le score z pour les intervalles de confiance à 99% est de 2,576 (il suffit de le rechercher dans un tableau), donc selon la formule: Donc, avec une confiance de 99%, nous pouvons dire que , où est le "vrai" taux de conversion du processus A. 0,094≤ p ≤0,148

Si nous construisons un intervalle similaire pour le processus B, nous pouvons comparer les intervalles. Si les intervalles ne se chevauchent pas, nous pouvons dire avec une confiance de 98% que l'un est meilleur que l'autre. (N'oubliez pas que nous ne sommes sûrs qu'à 99% de chaque intervalle, donc notre confiance globale à propos de la comparaison est de 0,99 * 0,99)

Si les intervalles se chevauchent, nous devons exécuter plus d'essais, ou décider qu'ils sont trop similaires dans les performances pour les distinguer, ce qui nous amène à la partie délicate - déterminer , le nombre d'essais. Je ne connais pas d'autres méthodes, mais avec cette méthode, vous ne pourrez pas déterminer à l'avance à moins d'avoir une estimation précise des performances de A et B à l'avance. Sinon, vous devrez simplement effectuer des essais jusqu'à ce que vous obteniez des échantillons afin que les intervalles se séparent.$N$$N$

Bonne chance à vous. (Je suis enraciné pour le processus B, soit dit en passant).

À mon humble avis, dans la mesure où il va, le poste va dans la bonne direction. Toutefois:

• La méthode proposée fait implicitement deux hypothèses: le taux de conversion de référence et la quantité attendue de changement. La taille de l'échantillon dépend beaucoup de la qualité avec laquelle vous répondez à ces hypothèses. Je vous recommande de calculer les tailles d'échantillon requises pour plusieurs combinaisons de p1 et p2 que vous jugez réalistes. Cela vous donnera une idée de la fiabilité réelle du calcul de la taille de l'échantillon.

  > power.prop.test (p1=0.1, p2 = 0.1*1.1, sig.level=0.05, power=0.8)
  
       Two-sample comparison of proportions power calculation 
  
                n = 14750.79
               p1 = 0.1
               p2 = 0.11
        sig.level = 0.05
            power = 0.8
      alternative = two.sided
  
   NOTE: n is number in *each* group 
  
  > power.prop.test (p1=0.09, p2 = 0.09*1.1, sig.level=0.05, power=0.8)
  
       Two-sample comparison of proportions power calculation 
  
                n = 16582.2
               p1 = 0.09
               p2 = 0.099
        sig.level = 0.05
            power = 0.8
      alternative = two.sided
  
   NOTE: n is number in *each* group 
  

  Donc, si le taux de conversion réel est de 9% au lieu de 10%, vous avez besoin de 2000 autres cas pour chaque scénario pour détecter le taux de conversion de 10% plus que de référence du nouveau formulaire.

Une fois le test terminé, vous pouvez calculer les intervalles de confiance pour les proportions en fonction de vos observations réelles.

• $n$
  $n$sig.level

Au lieu de calculer des intervalles qui se chevauchent, vous calculez le score Z. Ceci est algorithmiquement plus facile à implémenter et vous obtiendrez des bibliothèques statistiques pour vous aider.

Jetez un œil: https://onlinecourses.science.psu.edu/stat200/node/53