Test A / B en Python ou R [fermé]

8

Tests A / B:

http://20bits.com/articles/statistical-analysis-and-ab-testing/

http://elem.com/~btilly/effective-ab-testing/

Je ne suis pas trop familier avec les tests A / B, mais je me demandais s'il y avait des packages / bibliothèques spécifiques dans R ou Python qui pourraient être utilisés pour effectuer des tests A / B.

r python ab-test ATMathew
la source
Les tests A / B concernent principalement les plans d'expériences. Pour la question de tester une table de contingence, oui R ont de nombreux packages disponibles.
Henry
1
C'est juste une conception factorielle simple. Si vous recherchez des ressources sur la réalisation d'analyses statistiques en Python ou R, vous pourrez déterminer quelles fonctions dans quelles bibliothèques sont nécessaires. Je vois dans les commentaires de l'article 20bits 'prop.test ()' dans R peut être ce que vous cherchez.
Andy W

Réponses:

12

Bien sûr, pour python et R, il existe quelques packages / bibliothèques intéressants et utilisables.

Tout d'abord, pour python, je recommande fortement de lire cette réponse StackOverflow dirigée vers une question sur les tests A / B en Python / Django. Il s'agit d'une thèse de maîtrise d'une page sur le sujet.

Akoha est un package assez récent (un peu plus d'un an) destiné à AB Testing à Django. Je n'ai pas utilisé ce paquet mais c'est apparemment le paquet Django le plus utilisé de ce type (basé sur le nombre de téléchargements). Il est disponible sur bitbucket .

Django-AB est l'autre package Django que je connais et le seul que j'ai utilisé.

Comme vous vous en doutez, les packages prennent en charge un framework Web, chacun fournit un micro-framework pour installer, configurer, conduire et enregistrer les résultats des tests AB. Comme vous vous en doutez , ils fonctionnent tous les deux en commutant dynamiquement le modèle ( django) (page squelette html) référencé dans le fichier views.py .

Pour R, je recommande fortement le paquet agricolae , rédigé et maintenu par une université au Pérou. disponible sur CRAN. Cela fait partie de la distribution principale. (Voir aussi agridat , qui comprend des ensembles de données très utiles provenant de tests AB et multivariés terminés).

Pour autant que je sache, et j'ai fait référence à plusieurs reprises à la documentation agricole, les applications Web ou les sites Web ne sont jamais mentionnés comme sujet de test / d'analyse. À partir du nom du package, vous pouvez dire que le domaine est l'agriculture, mais l'analogie avec les tests sur le Web est presque parfaite. Ce package complète bien les deux packages Django car agricolae est orienté vers le début (conception du test et établissement du critère de réussite / terminaison) et vers la fin (analyse des résultats) du workflow AB Test.

doug
la source
2

Selon l'approche que vous souhaitez adopter sur le sujet, ce qui suit propose deux alternatives. Le premier est le test traditionnel du chi carré pour les tests fractionnés et le second est une approche bayésienne du test fractionné. Selon les exigences de vos parties prenantes organisationnelles pour l'analyse, vous pouvez aussi bien faire les deux si vous avez les données.

Test Chi-Squared (traditionnel) Test A / B avec Python: http://okomestudio.net/biboroku/?p=2375

Tests bayésiens A / B avec Python: http://www.bayesianwitch.com/blog/2014/bayesian_ab_test.html

Andrew Owens
la source