Exemples d’approches bayésienne et fréquentiste donnant des réponses différentes

54

Remarque: je suis conscient des différences philosophiques entre les statistiques bayésiennes et fréquentistes.

Par exemple, "quelle est la probabilité que la pièce de monnaie sur la table soit une tête" n'a pas de sens dans les statistiques fréquentistes, puisqu'elle a déjà atterri têtes ou têtes - il n'y a rien de probabiliste à ce sujet. Donc, la question n'a pas de réponse en termes fréquentistes.

Mais une telle différence n'est précisément pas le type de différence que je demande.

J'aimerais plutôt savoir en quoi leurs prédictions concernant des questions bien formées diffèrent réellement dans le monde réel, en excluant toute différence théorique / philosophique telle que l'exemple que j'ai mentionné ci-dessus.

Donc en d'autres termes:

Qu'est-ce qu'un exemple de question, répondant à la fois aux statistiques fréquentiste et bayésienne, dont la réponse est différente entre les deux?

(Par exemple, l'un d'eux répond "1/2" à une question particulière et l'autre répond "2/3".)

Existe-t-il de telles différences?

  • Si oui, quels sont quelques exemples?

  • Sinon, à quel moment cela peut-il réellement faire la différence si j'utilise des statistiques bayésiennes ou fréquentistes pour résoudre un problème particulier?
    Pourquoi devrais-je éviter l'un en faveur de l'autre?

Mehrdad
la source
8
John Kruschke vient de produire deux vidéos dans lesquelles il compare les méthodes statistiques bayésiennes et standard. Il a beaucoup d'exemples où la méthode bayésienne rejette mais pas la méthode standard. Peut-être pas exactement ce que vous cherchiez, mais de toute façon ... youtu.be/YyohWpjl6KU et youtu.be/IhlSD-lIQ_Y .
Rasmus Bååth
4
La distribution binomiale fournit un autre exemple où l'inférence fréquentiste (basée sur la vraisemblance) et l'inférence bayésienne diffèrent dans certains cas. La probabilité de profil du paramètre ne décroît pas à sous la forme ( voir ) pour certains échantillons. Cela implique que certains intervalles de probabilité-confiance ont une longueur infinie. D'autre part, la distribution marginale postérieure de décroît toujours à tant que étant donné qu'elle est intégrable. N0NN0N
@Procrastinator: Merci, je regarde les diapositives mentionnées en ce moment. Cela semble un peu plus intense que mes connaissances en mathématiques, mais j'espère en tirer quelque chose. :)
Mehrdad
2
Vous voudrez peut-être jeter un coup d'œil à l'exemple de Stone. Je l'explique sur mon blog ici: normaldeviate.wordpress.com/2012/12/08/…
Larry Wasserman
1
@mbq: Je me demandais simplement pourquoi ce wiki de communauté avait été créé.
Mehrdad

Réponses:

9

Cet exemple est pris d' ici . (Je pense même que j'ai obtenu ce lien de SO, mais que je ne le trouve plus.)

Une pièce de monnaie a été lancée fois, remontant la tête fois. Si vous voulez le lancer deux fois plus, pariez-vous sur deux têtes? Supposons que vous ne voyez pas le résultat du premier lancer avant le deuxième lancer (et aussi indépendamment de ), de sorte que vous ne pouvez pas mettre à jour votre opinion sur entre les deux lancers.n=14k=10θθ

Par indépendance, Ensuite, la distribution prédictive étant donnée un -prior, devient

f(yf,1=heads,yf,2=heads|θ)=f(yf,1=heads)f(yf,2=heads|θ)=θ2.
Beta(α0,β0) Beta(1,1)(dix/quatorze)20,51
f(yf,1=heads,yf,2=heads|y)=f(yf,1=heads,yf,2=heads|θ)π(θ|y)dθ=Γ(α0+β0+n)Γ(α0+k)Γ(β0+nk)θ2θα0+k1(1θ)β0+nk1dθ=Γ(α0+β0+n)Γ(α0+k)Γ(β0+nk)Γ(α0+k+2)Γ(β0+nk)Γ(α0+β0+n+2)=(α0+k)(α0+k+1)(α0+β0+n)(α0+β0+n+1)
Pour un précédent uniforme ( unBeta(1,1)-prior), cela donne environ .485. Par conséquent, vous ne parieriez probablement pas. Sur la base du MLE 10/14, vous calculeriez une probabilité de deux têtes de , de sorte que les paris auraient un sens.(10/14)2.51
Christoph Hanck
la source
+1 exactement le genre de réponse que je cherchais, merci.
Mehrdad
5
Il y avait en fait une mise à jour du message mentionné dans la réponse ... Bien qu'il l'ait laissé, "au lieu d'utiliser la distribution uniforme comme précédent, nous pouvons être encore plus agnostiques. Dans ce cas, nous pouvons utiliser la version bêta ( 0,0) distribution en tant qu'antérieur. Une telle distribution correspond au cas où n'importe quelle moyenne de la distribution est également probable. Dans ce cas, les deux approches, bayésienne et fréquentiste, donnent les mêmes résultats. " !!! Nous avons donc encore besoin d'un exemple pour répondre à cette question! D'où +1 à la réponse ci-dessous comme la vraie réponse à cette question.
user1745038
10

Voir ma question ici , qui mentionne un article d’Edwin Jaynes qui donne un exemple d’intervalle de confiance fréquentiste correctement construit, où l’échantillon contient suffisamment d’informations pour savoir avec certitude que la véritable valeur de la statistique ne se trouve nulle part dans l’intervalle de confiance ( et donc l'intervalle de confiance est différent de l'intervalle crédible bayésien).

Cependant, la raison en est la différence entre la définition d’un intervalle de confiance et celle d’un intervalle crédible, conséquence directe de la différence entre les définitions de probabilité fréquentistes et bayésiennes. Si vous demandez à un bayésien de produire un intervalle de confiance bayésien (plutôt que crédible), je suspecte qu'il y aura toujours un précédent pour lequel les intervalles seront les mêmes, de sorte que les différences dépendent du choix du précédent.

Que les méthodes fréquentistes ou bayésiennes soient appropriées dépend de la question que vous souhaitez poser et, en fin de compte, ce sont les différences de philosophie qui déterminent la réponse (à condition que l'effort de calcul et d'analyse requis ne soit pas pris en compte).

On pourrait faire valoir qu’une fréquence à long terme est un moyen parfaitement raisonnable de déterminer la plausibilité relative d’une proposition. Dans ce cas, les statistiques fréquentistes constituent un sous-ensemble légèrement étrange du bayésianisme subjectif. un subjectiviste bayésien peut également répondre de la même manière, ou de toute autre manière s’ils choisissent des a priori différents. ; o)

Dikran Marsupial
la source
4
L'utilisation de "subjectif bayésien" est un peu un auto-sabotage ( voir ). La modélisation en général est pleine de subjectivisme, le choix d'une distribution pour modéliser un échantillon est également subjectif. Même le choix d'un test de qualité de l'ajustement pour vérifier si un certain modèle est raisonnable est subjectif.
2
Je ne suis pas vraiment d'accord avec ça, si quelqu'un considère que le «subjectif» est parjoratif, c'est leur erreur. Parfois, lorsque nous parlons de probabilité, nous entendons en réalité une croyance personnelle subjective - je ne vois aucune raison de ne pas appeler cela cela si c'est ce que l'on entend réellement (choisir de n'accepter que les fréquences à long terme comme définition de la probabilité est un choix purement subjectif).
Dikran Marsupial
1
+1 merci pour le lien, c'est très instructif. Et aussi pour la note sur la différence entre la confiance et les intervalles crédibles.
Mehrdad
8

Je crois que ce document donne une idée plus précise des compromis dans les applications réelles entre les deux. Cela peut être en partie dû à ma préférence pour les intervalles plutôt que pour les tests.

Gustafson, P. et Groenland, S. (2009). Estimation d'intervalle pour les données d'observation désordonnées . Science statistique 24: 328–342.

En ce qui concerne les intervalles, il peut être utile de garder à l’esprit que les intervalles de confiance fréquentistes exigent / exigent une couverture uniforme (exactement ou au moins supérieure à x% pour chaque valeur de paramètre qui n’a pas de probabilité zéro) et s’ils ne le font pas. ont cela - ils ne sont pas vraiment des intervalles de confiance. (Certains iraient plus loin et diraient qu'ils doivent également exclure les sous-ensembles pertinents qui modifient la couverture.)

On définit généralement la couverture bayésienne en ramenant celle-ci à "couverture moyenne", étant donné que les antécédents présumés s'avèrent tout à fait corrects. Gustafson et Greenland (2009) appellent ces a priori omnipotents et envisagent des faillibles pour fournir une meilleure évaluation.

phaneron
la source
1
+1 Je n'ai jamais entendu parler de cette différence de restriction, merci de le signaler.
Mehrdad
3

Si quelqu'un pose une question qui a à la fois une réponse fréquentiste et bayésienne, je soupçonne que quelqu'un d'autre pourrait identifier une ambiguïté dans la question, la rendant ainsi non "bien formée".

En d'autres termes, si vous avez besoin d'une réponse fréquentiste, utilisez des méthodes fréquentistes. Si vous avez besoin d'une réponse bayésienne, utilisez des méthodes bayésiennes. Si vous ne savez pas de quoi vous avez besoin, vous n'avez peut-être pas défini la question sans ambiguïté.

Cependant, dans le monde réel, il existe souvent plusieurs façons différentes de définir un problème ou de poser une question. Parfois, on ne sait pas lequel de ces moyens est préférable. Ceci est particulièrement courant lorsque le client est statistiquement naïf. D'autres fois, il est beaucoup plus difficile de répondre à une question qu'à une autre. Dans ces cas, on choisit souvent le plus facile en essayant de s’assurer que ses clients sont exactement d’accord avec la question posée ou le problème qu’il résout.

Emil Friedman
la source
3

Je recommande de regarder l'exercice 3.15 du manuel disponible gratuitement intitulé Algorithmes de théorie de l'information, d'inférence et d'apprentissage de MacKay.

Lorsqu'elle a été tournée 250 fois, une pièce belge d'un euro a été interprétée 140 fois et 110 fois. «Cela me semble très méfiant», a déclaré Barry Blight, conférencier en statistiques à la London School of Economics. "Si la pièce était impartiale, les chances d'obtenir un résultat aussi extrême que cela serait inférieur à 7%". Mais ces données prouvent-elles que la pièce est biaisée plutôt que juste?

L'exemple est détaillé dans les pages 63 à 64 du manuel. La conclusion est que la valeur est , mais l'approche bayésienne donne différents niveaux de soutien pour l'une ou l'autre hypothèse, en fonction de la priorité. Cela va d'une recommandation recommandée d'absence de preuve que la pièce de monnaie est biaisée (lorsqu'un précédent plat est utilisé) à une réponse de maximum contre l'hypothèse nulle d'impartialité, dans le cas où un précédent artificiel extrême est utilisé.0,07 6 : 1p0.076:1

Flet
la source