Comment puis-je calculer la marge d'erreur dans un résultat NPS (Net Promoter Score)?

Je vais laisser Wikipedia expliquer comment le NPS est calculé:

Le Net Promoter Score est obtenu en posant aux clients une seule question sur une échelle de 0 à 10, où 10 est «extrêmement probable» et 0 est «peu probable»: «Quelle est la probabilité que vous recommandiez notre entreprise à un ami ou collègue? " Sur la base de leurs réponses, les clients sont classés dans l'un des trois groupes suivants: promoteurs (9 à 10), passifs (7 à 8) et détracteurs (0 à 6). Le pourcentage de détracteurs est ensuite soustrait du pourcentage de promoteurs pour obtenir un score net de promoteur (NPS). Le NPS peut être aussi bas que -100 (tout le monde est un détracteur) ou aussi élevé que +100 (tout le monde est un promoteur).

Nous menons cette enquête périodiquement depuis plusieurs années. Nous recevons plusieurs centaines de réponses à chaque fois. Le score obtenu a varié de 20 à 30 points au cours du temps. J'essaie de déterminer quels mouvements de partition sont importants, le cas échéant.

Si cela s'avère tout simplement trop difficile, je suis également intéressé à essayer de déterminer la marge d'erreur sur les bases du calcul. Quelle est la marge d'erreur de chaque "bucket" (promoteur, passif, détracteur)? Peut-être même, quelle est la marge d'erreur si je regarde la moyenne des scores, en réduisant les données à un seul numéro par cycle d'enquête? Cela me mènerait-il quelque part?

Toutes les idées ici sont utiles. Sauf "n'utilisez pas NPS". Cette décision est hors de ma capacité de changer!

hypothesis-testing statistical-significance standard-error multinomial nps Dan Dunn
la source

Réponses:

Supposons que la population, à partir de laquelle nous supposons que vous échantillonnez au hasard, contient les proportions de promoteurs, de passifs et de détracteurs, avec . Pour modéliser le NPS, imaginez remplir un grand chapeau avec un grand nombre de billets (un pour chaque membre de votre population) étiquetés pour les promoteurs, pour les passifs et pour les détracteurs, dans les proportions données, puis dessin d'entre eux au hasard. le $p_1$ $p_0$ $p_{-1}$ $p_1+p_0+p_{-1}=1$ $+1$ $0$ $-1$ $n$ l'échantillon NPS est la valeur moyenne des tickets qui ont été tirés. Le vrai NPS est calculé comme la valeur moyenne de tous les tickets dans le chapeau: c'est la valeur attendue (ou attente ) du chapeau.

Un bon estimateur du vrai NPS est l'échantillon NPS. L'échantillon NPS a également une attente. Il peut être considéré comme la moyenne de tous les NPS d'échantillon possibles. Cette attente arrive à égaler le vrai NPS. L' erreur standard de l'échantillon NPS est une mesure de la façon dont les échantillons NPS varient généralement entre un échantillon aléatoire et un autre. Heureusement, nous n'avons pas à calculer tous les échantillons possibles pour trouver le SE: il peut être trouvé plus simplement en calculant l'écart type des tickets dans le chapeau et en le divisant par . (Un petit ajustement peut être fait lorsque l'échantillon est une proportion appréciable de la population, mais ce n'est probablement pas nécessaire ici.) $\sqrt{n}$

Par exemple, considérons une population de promoteurs, passives, et détracteurs. Le vrai NPS est $p_1=1/2$ $p_0=1/3$ $p_{-1}=1/6$

NPS = 1 \times 1 / 2 + 0 \times 1 / 3 + - 1 \times 1 / 6 = 1 / 3.

$\mbox{NPS} = 1\times 1/2 + 0\times 1/3 + -1\times 1/6 = 1/3.$

La variance est donc

\begin{aligned} Var(NPS) & = (1 - NPS)^{2} \times p_{1} + (0 - NPS)^{2} \times p_{0} + (- 1 - NPS)^{2} \times p_{- 1} \\ = (1 - 1 / 3)^{2} \times 1 / 2 + (0 - 1 / 3)^{2} \times 1 / 3 + (- 1 - 1 / 3)^{2} \times 1 / 6 \\ = 5 / 9. \end{aligned}

$\eqalign{ \mbox{Var(NPS)} &= (1-\mbox{NPS})^2\times p_1 + (0-\mbox{NPS})^2\times p_0 + (-1-\mbox{NPS})^2\times p_{-1}\\ &=(1-1/3)^2\times 1/2 + (0-1/3)^2\times 1/3 + (-1-1/3)^2\times 1/6 \\ &= 5/9. }$

L' écart type est la racine carrée de cela, à peu près égal à $0.75.$

Dans un échantillon de, disons, , vous attendez donc d'observer un NPS autour de % avec une erreur standard de $324$ $1/3 = 33$ environ $0.75/\sqrt{324}=$ %. $4.1$

En fait, vous ne connaissez pas l'écart type des tickets dans le chapeau, vous pouvez donc l'estimer en utilisant plutôt l'écart type de votre échantillon. Divisée par la racine carrée de la taille de l'échantillon, elle estime l'erreur standard du NPS: cette estimation est la marge d'erreur (MoE).

À condition d'observer un nombre important de chaque type de client (généralement, environ 5 ou plus de chacun le feront), la distribution de l'échantillon NPS sera proche de la normale. Cela implique que vous pouvez interpréter le MoE de la manière habituelle. En particulier, environ 2/3 du temps, l'échantillon NPS se situera dans un MoE du vrai NPS et environ 19/20 du temps (95%) l'échantillon NPS se trouvera dans deux MoE du vrai NPS. Dans l'exemple, si la marge d'erreur était réellement de 4,1%, nous serions confiants à 95% que le résultat de l'enquête (l'échantillon NPS) se situe à 8,2% de la population NPS.

Chaque enquête aura sa propre marge d'erreur. Pour comparer deux de ces résultats, vous devez tenir compte de la possibilité d'erreur dans chacun d'eux. Lorsque les tailles d'enquête sont à peu près les mêmes, l'erreur type de leur différence peut être trouvée par un théorème de Pythagore: prendre la racine carrée de la somme de leurs carrés. Par exemple, si une année, le MoE est de 4,1% et une autre année, le MoE est de 3,5%, alors environ une marge d'erreur autour de = 5,4% pour la différence entre ces deux résultats. Dans ce cas, vous pouvez conclure avec une confiance de 95% que leNPS delapopulation achangé d'une enquête à l'autre à condition que la différence dans les deux résultats de l'enquête soit de 10,8% ou plus. $\sqrt{3.5^2+4.1^2}$

Lorsque vous comparez de nombreux résultats d'enquête dans le temps, des méthodes plus sophistiquées peuvent vous aider, car vous devez faire face à de nombreuses marges d'erreur distinctes. Lorsque les marges d'erreur sont toutes assez similaires, une règle empirique grossière consiste à considérer un changement de trois MoE ou plus comme «significatif». Dans cet exemple, si les MdE oscillent autour de 4%, un changement d'environ 12% ou plus sur une période de plusieurs enquêtes devrait attirer votre attention et de plus petits changements pourraient valablement être rejetés comme erreur d'enquête. Quoi qu'il en soit, l'analyse et les règles empiriques fournies ici fournissent généralement un bon début lorsque l'on réfléchit à la signification des différences entre les enquêtes.

$0$ $0$ $1/\sqrt{n}$ $n$

whuber
la source

Ce fut une réponse fantastique. Je l'apprécie énormément.

Dan Dunn

La «marge d'erreur» n'est-elle pas communément interprétée comme l'intervalle de confiance à 95% pour une statistique tirée d'un échantillon? soit environ 1,96 l'erreur-type d'échantillonnage (ou écart-type) de cette statistique. Vous utilisez la marge d'erreur comme synonyme de «écart-type de la statistique» ou «erreur standard».

Peter Ellis

Merci @whuber. J'essaie de ne jamais discuter de la terminologie tant qu'elle est clairement définie (le principe Humpty Dumpty), et je pense que le cheval a respecté une convention cohérente sur celle-ci. La seule preuve dont je dispose est une réponse à ma propre question sur stats.stackexchange.com/questions/21139/… , qui note correctement que la marge d'erreur est communément (pas universellement) citée en pourcentage de l'estimation.

Peter Ellis

@Charles, je pense que whuber fait une variance de base d'une variable aléatoire discrète. Voir stat.yale.edu/Courses/1997-98/101/rvmnvar.htm

B_Miner

V a r = p_{1} + p_{- 1} - N P S^{2}

$Var = p_1 + p_{-1} - NPS^2$

Vous pouvez également utiliser l'estimateur de variance pour les variables continues. En fait, je le préférerais à l'estimateur de variance pour la variable discrète aléatoire, car il existe une correction bien connue pour calculer la variance de l'échantillon: https://en.wikipedia.org/wiki/Unbias_estimation_of_standard_deviation Comme d'autres l'ont noté, la solution Whubers est basé sur des formules de population. Cependant, puisque vous menez une enquête, je suis presque sûr que vous avez tiré un échantillon, donc je recommanderais d'utiliser l'estimateur sans biais (en divisant la somme des carrés par n-1, pas seulement par n). Bien sûr, pour les échantillons de grande taille, la différence entre l'estimateur biaisé et l'estimateur non biaisé est pratiquement inexistante.

Je recommanderais également d'utiliser une procédure de test t, si vous avez des échantillons de taille moyenne, au lieu d'utiliser l'approche z-score: https://en.wikipedia.org/wiki/Student 's_t-test

@whuber: puisque d'autres l'ont aussi demandé: comment calculer l'estimateur d'échantillonnage sans biais pour la variance / sd pour votre approche de variable discrète aléatoire? J'ai essayé de le trouver par moi-même, mais sans succès. Merci.

deschen
la source

Vous pouvez potentiellement utiliser le bootstrap pour simplifier vos calculs. Dans R, le code serait:

library(bootstrap)

NPS=function(x){
  if(sum(!x%%1==0)>0){stop("Non-integers found in the scores.")}
  if(sum(x>10|x<0)>0){stop("Scores not on scale of 0 to 10.")}
  sum(ifelse(x<7,-1,ifelse(x>8,1,0)))/length(x)*100
}

NPSconfInt=function(x,confidence=.9,iterations=10000){
  quantile(bootstrap(x,iterations,NPS)$thetastar,c((1-confidence)/2, 1-(1-confidence)/2))
}


npsData=c(1,5,6,8,9,7,0,10,7,8,
          6,5,7,8,2,8,10,9,8,7,0,10)    # Supply NPS data
hist(npsData,breaks=11)                 # Histogram of NPS responses

NPS(npsData)            # Calculate NPS (evaluates to -14)
NPSconfInt(npsData,.7)  # 70% confidence interval (evaluates to approx. -32 to 5)

k-zar
la source

Pourriez-vous développer votre réponse en expliquant au début quelle est l'approche - suffisamment en détail pour que quelqu'un qui ne comprend pas du tout votre code R puisse toujours suivre ce que vous essayez de dire - et avec un peu de chance, essayer de le mettre en œuvre dans leur langue préférée?

Glen_b -Reinstate Monica