Estimation de la probabilité de réussite, compte tenu d'une population de référence

Supposons que vous ayez la situation suivante:

Vous avez observé au fil du temps 1000 joueurs de bowling, qui ont chacun joué un nombre relativement faible de matchs (disons 1 à 20). Vous avez noté le pourcentage de frappes pour chacun de ces joueurs sur le nombre de parties jouées par chacun de ces joueurs.

Un nouveau joueur de bowling arrive et joue 10 matchs et obtient 3 frappes.

La distribution du nombre de frappes pour n'importe quel joueur est supposée être binomiale.

Je veux estimer la "vraie" probabilité de réussite de ce joueur.

Veuillez prendre note des éléments suivants:

1. Ce n'est pas une situation réelle ou un problème scolaire, juste un problème d'auto-réflexion.
2. Je suis un étudiant avec un peu plus d'éducation aux statistiques qu'un cours de Stats 101. Je connais un peu l'inférence comme l'estimation du maximum de vraisemblance ... Alors n'hésitez pas à me dire les zones de statistiques que je devrais lire.
3. Mon problème peut manquer d'informations, ou s'il serait avantageux, par exemple, que la répartition des probabilités de succès soit approximativement normale, veuillez me le dire.

Merci beaucoup

Il s'agit d'un excellent exemple pour illustrer la différence entre les approches fréquentiste et bayésienne de l'inférence.

Ma première réponse fréquentiste simpliste: si vous avez déjà supposé que la distribution des frappes est binomiale, vous n'avez pas besoin de savoir quoi que ce soit sur les 1000 autres joueurs (à part peut-être que vous pourriez les utiliser pour vérifier votre hypothèse binomiale).

Une fois que l'hypothèse binomiale est claire, votre estimation est très simple: 3/10. La variance de cette estimation est la valeur habituelle p (1-p) / n = 0,021.

Fondamentalement, les 1000 autres joueurs ne sont pas pertinents, sauf si vous pensez qu'il y a quelque chose d'intéressant et de non binomial dans la distribution des grèves (par exemple, les gens s'améliorent en jouant plus de jeux).

Une manière bayésienne plus réfléchie de le voir: Alternativement, si vous êtes intéressé à appliquer les connaissances antérieures que vous avez d'autres joueurs et que vous pensez que le nouveau joueur est essentiellement un nouvel échantillon de cette même population, vous devriez y penser en bayésien termes .

Estimer une répartition préalable des joueurs. Pour ce faire, vous devez regarder vos 1000 points de données - les 1000 joueurs qui ont déjà été observés, pour chacun desquels vous avez une estimation de leur probabilité de coup. Chacun de ces 1000 points ne peut prendre qu'une seule des 21 valeurs (de zéro à vingt coups sur vingt) et vous verrez une distribution sur tout le champ. Si vous convertissez ces scores en proportions (c.-à-d. Entre zéro et un), cette distribution peut probablement être approximée raisonnablement bien par une distribution de probabilité d'une variable aléatoire avec une distribution bêta. Une distribution bêta est entièrement caractérisée par seulement deux paramètres - disons a et b - mais parce que ces paramètres ne sont pas vraiment liés à la distribution que vous nous avez interrogée (la probabilité d'un joueur de frapper) mais à une distribution de niveau supérieur, nous appelez-les hyperparamètres. Vous pouvez développer des estimations de ces hyperparamètres à partir de vos 1 000 points de données de plusieurs manières qui ne sont pas vraiment pertinentes par rapport au point principal de votre question.

Avant d'avoir des informations sur votre joueur, votre meilleure estimation de sa proportion de score de frappe (appelons-le p) serait juste la valeur la plus probable de p de la distribution bêta que nous venons d'ajuster.

Cependant, nous avons des données sur notre propre joueur, pas seulement sur la population générale! En Dieu, nous avons confiance, tous les autres doivent apporter des données (j'attribuerais cette citation si je pouvais me rappeler où je les ai trouvées, désolé). Chaque fois que nous observons notre joueur jouer à un jeu et obtenir une frappe ou non, nous avons une nouvelle information pour préciser notre estimation de sa proportion.

L'une des choses intéressantes à propos de la distribution bêta en tant que distribution de probabilité pour une proportion est que lorsque nous recueillons de nouvelles informations à partir des données et créons une nouvelle estimation améliorée de la proportion, la théorie des probabilités peut montrer que la nouvelle estimation améliorée est également une version bêta. distribution - juste une version plus concentrée. En effet, la distribution bêta est ce que l'on appelle un conjugué avant d' essayer de faire des estimations sur un modèle binomial.

Autrement dit, si nous observons z sur n événements réussis (jeux avec grèves dans ce cas); et la distribution précédente était bêta (a, b); la distribution postérieure (est une estimation de la distribution de probabilité de p compte tenu des 1000 points de données d'origine et constitue une nouvelle observation de dix jeux) est bêta (a + z, b + nz) ou (dans notre cas) bêta (a + 3, b + 7). Comme vous pouvez le voir, plus vous obtenez de données, moins a et b sont importants. Les mathématiques de cela sont assez simples et dans de nombreux textes, mais pas si intéressantes (pour moi, en tout cas).

Si vous avez R, vous pouvez voir un exemple en exécutant le code ci-dessous (et si vous n'avez pas R, vous devriez l'obtenir - c'est gratuit et c'est génial pour aider à réfléchir à ce genre de problème). Cela suppose que la distribution antérieure des joueurs peut être modélisée par la version bêta (2,5) - je viens de l'inventer. En réalité, il y a des façons d'estimer mieux les chiffres pour a et b que de simplement faire 2 et 5 parce que je pense que la courbe semble correcte.

Comme vous le verrez si vous exécutez cet exemple stylisé, l'estimation ponctuelle de la probabilité du joueur de marquer un coup, compte tenu d'une distribution antérieure de bêta (2,5), est de 0,29 au lieu de 0,30. En outre, nous pouvons créer un intervalle de crédibilité, qui est franchement plus intuitif et plus facile à expliquer qu'un intervalle de confiance (voir de nombreuses questions et discussions sur Internet de la différence entre les deux, y compris sur CrossValidated).

plot(0:100/100,dbeta(0:100/100,2,5), type="l", ylim=c(0,4), bty="l")
lines(0:100/100,dbeta(0:100/100,2+3,5+7), type="l", lty=2)
legend(0.6,3.5,c("Posterior distribution", "Prior distribution"), 
    lty=2:1, bty="n")
qbeta(c(0.025, 0.975), 2, 5) # credibility interval prior to any new data
qbeta(c(0.025, 0.975), 2+3, 5+7) # credibility interval posterior to data
qbeta(0.5, 2+3, 5+7) # point estimate of p, posterior to data

Observez ensuite votre nouveau joueur; et calculer une nouvelle distribution postérieure pour le nouveau joueur. En effet, cela signifie "compte tenu de ce que nous venons d'observer, où dans la distribution des joueurs pensons-nous que cette personne est le plus susceptible d'être?"