Vous observez k têtes sur n lancers. La pièce est-elle juste?

On m'a posé cette question avec dans une interview. Y a-t-il une réponse «correcte»?$(n, k) = (400, 220)$

Supposons que les lancers soient iid et que la probabilité des têtes soit . La distribution du nombre de têtes en 400 lancers devrait alors être proche de la normale (200, 10 ^ 2), de sorte que 220 têtes soit à 2 écarts-types de la moyenne. La probabilité d'observer un tel résultat (c'est-à-dire plus de 2 écart-type par rapport à la moyenne dans les deux sens) est légèrement inférieure à 5%.$p=0.5$

L'enquêteur m'a dit, essentiellement, "si j'observe quelque chose> = 2 écart-type à partir de la moyenne, je conclus qu'il se passe autre chose. Je parierais que la pièce est juste." C'est raisonnable - après tout, c'est ce que font la plupart des tests d'hypothèse. Mais est-ce la fin de l'histoire? Pour l'intervieweur, cela semblait être la «bonne» réponse. Ce que je demande ici, c'est si une nuance est justifiée.

Je n'ai pas pu m'empêcher de souligner que décider que la pièce n'est pas juste est une conclusion bizarre dans ce contexte de lancer de pièces. Ai-je raison de dire cela? Je vais essayer d'expliquer ci-dessous.

Tout d'abord, j'ai - et je suppose que la plupart des gens aussi - ont une forte priorité sur les pièces: elles sont très susceptibles d'être justes. Bien sûr, cela dépend de ce que nous entendons par juste - une possibilité serait de définir «juste» comme «ayant une probabilité de têtes« proches »de 0,5, disons entre 0,49 et 0,51».

(Vous pouvez également définir « juste » comme signifiant que la probabilité de tête est exactement 0,50, auquel cas ayant une pièce parfaitement juste semble maintenant plutôt un probable.)

Votre prieur pourrait dépendre non seulement de vos croyances générales sur les pièces mais aussi du contexte. Si vous sortez la pièce de votre poche, vous pouvez être pratiquement certain qu'elle est juste; si votre ami magicien l'a sorti du sien, votre prieur pourrait mettre plus de poids sur les pièces à deux têtes.

Dans tous les cas, il est facile de trouver des priors raisonnables qui (i) mettent une grande probabilité sur la pièce juste et (ii) conduisent votre postérieur à être assez similaire, même après avoir observé 220 têtes. Vous concluriez alors que la pièce était très probablement juste, malgré l'observation d'un résultat 2 SDs de la moyenne.

En fait, vous pouvez également construire des exemples où l'observation de 220 têtes en 400 lancers fait que votre postérieur donne plus de poids à la pièce étant juste, par exemple si toutes les pièces déloyales ont une probabilité de têtes en .$\{0, 1\}$

Quelqu'un peut-il faire la lumière sur ce pour moi?

Après avoir écrit cette question, je me suis souvenu que j'avais déjà entendu parler de cette situation générale - n'est-ce pas le «paradoxe» de Lindley ?

Whuber a mis un lien très intéressant dans les commentaires: vous pouvez charger un dé, mais vous ne pouvez pas biaiser une pièce . De la page 3:

Cela n'a pas de sens de dire que la pièce a une probabilité p de têtes, car elle peut être complètement déterminée par la manière dont elle est lancée - à moins qu'elle ne soit lancée haut dans les airs avec un tour rapide et attrapée en l'air avec pas de rebond, auquel cas p = 1/2.

Plutôt cool! Cela rejoint ma question d'une manière intéressante: supposons que nous sachions que la pièce est "lancée haut dans les airs avec un tour rapide et prise dans les airs sans rebondir". Ensuite, nous ne devons certainement pas rejeter l'hypothèse selon laquelle la pièce est juste (où "juste" signifie maintenant "avoir p = 1/2 lorsqu'elle est lancée de la manière décrite ci-dessus"), car nous avons effectivement un a priori qui met toute probabilité sur la pièce étant juste. Peut-être que cela justifie dans une certaine mesure pourquoi je suis mal à l'aise de rejeter le nul après avoir observé 220 têtes.

La manière bayésienne standard de résoudre ce problème (sans approximations normales) consiste à énoncer explicitement votre précédent, à le combiner avec votre probabilité, qui est distribuée en bêta. Intégrez ensuite votre postérieur à environ 50%, disons deux écarts-types ou de 49% à 51% ou ce que vous voulez.

Si votre croyance antérieure est continue sur [0,1] - par exemple Beta (100,100) (celui-ci met beaucoup de masse sur des pièces à peu près équitables) - alors la probabilité que la pièce soit juste est nulle puisque la probabilité est également continue [0 , 1].

Même si la probabilité que la pièce soit juste est nulle, vous pouvez généralement répondre à la question à laquelle vous alliez répondre avec le postérieur sur le biais. Par exemple, quel est l'avantage du casino étant donné la distribution postérieure sur les probabilités de pièces.

Disons pour la distribution Bernoulli, dans ce cas le tirage au sort.

Il s'agit clairement d'une distribution binomiale , et elle est en effet proche de .$B(n=400,p=0.5)$$N(\mu=200,\sigma^2=100)$

De toute évidence, l'intervieweur demande le résultat de avec un intervalle de confiance à avec , ou la valeur de .$k$$95\%$$B(n=400,p=0.5)$$p$$B(n=400,p=0.5,k=220)$

Dans l'approche bayésienne, votre a priori est que au lieu de et$p=0.5$$\pi(p=0.5)=0.5$$\pi(p\neq0.5)=0.5$

Utilisons un autre plus juste avant que et . Nous supposons que a une distribution uniforme dans chaque intervalle.$\pi(0.49\leq p\leq0.51)=0.9$$\pi(p<0.49 \cup p>0.51)=0.1$$p$

On peut alors calculer le postérieur .$P(0.49\leq p\leq0.51|k=220)$

Ou très probablement l'a priori est une distribution normale ~ , ou nous pouvons supposer une variance beaucoup plus petite telle que .$p$$N(\mu=0.5,\sigma^2=0.25)$$\sigma^2=0.1$

Ensuite, nous calculons la distribution postérieure de comme .$p$$f(p|k=220)$

Ma réputation ne me suffit pas pour écrire un commentaire sous la question. Au lieu de cela, je vais écrire quelque chose ici concernant You Can't Bias a Coin . @Adrian

Voici ce que nous avons

1. Le résultat de l'expérience$B(n=400,k=220,p=\theta)$
2. L'étude théorique et expérimentale You Can't Bias a Coin

Voici notre hypothèse

$H_0:$ La pièce est juste, ou$\hat\theta=0.5$

$H_1$ : les données du test sont enregistrées de manière incorrecte

Voici notre résultat

1. Sur la base du document Vous pouvez charger un dé, mais vous ne pouvez pas biaiser une pièce , nous acceptons l'hypothèse .$H_0$
2. Sur la base du résultat de l'expérience selon lequel la différence est deux fois l'écart-type, nous avons approximativement un niveau de confiance de 95% pour accepter l'hypothèse , selon laquelle l'étude expérimentale est incorrectement enregistrée.$H_1$

Étant donné que la valeur de pour le test d'hypothèse pour rejeter ou est à peu près inférieure à 5%, nous devons les accepter tous les deux. Ou nous devons les rejeter tous les deux.$p$$H_0$$H_1$

Sinon, nous créons ici un double standard pour les tests d'hypothèses. Nous ne pouvons accepter l'hypothèse selon laquelle le tirage au sort est juste et les données de l'expérience sont correctement enregistrées .

Cela n'a pas de sens de dire que la pièce a une probabilité p de têtes

Nous avons des résultats d'expérience pour étayer cette hypothèse.

Si l'expérience est répétée n fois, est-il possible que nous ayons l'a priori de pour le tirage au sort comme lorsque n est considérablement grand?$p$$N(\mu=0.5,\sigma^2)$

Si cela est acceptable, nous pouvons alors estimer les avec un IC à 95% basé sur la méthode du maximum de vraisemblance.$\sigma^s$