Sommes-nous des fréquentistes vraiment juste des Bayésiens implicites / involontaires?

15

Pour un problème d'inférence donné, nous savons qu'une approche bayésienne diffère généralement à la fois dans sa forme et résulte d'une approche féquentiste. Les Frequentists (qui m'incluent généralement) soulignent souvent que leurs méthodes ne nécessitent pas de priorité et sont donc plus "pilotées par les données" que "pilotées par le jugement". Bien sûr, le bayésien peut pointer vers des prieurs non informatifs, ou, étant pragmatique, utiliser simplement un prieur vraiment diffus.

Ma préoccupation, surtout après avoir ressenti un soupçon de suffisance face à mon objectivité féquentiste, est que mes méthodes prétendument «objectives» puissent être formulées dans un cadre bayésien, bien qu'avec un modèle de données et un modèle de données inhabituel. Dans ce cas, suis-je simplement parfaitement ignorant du prieur absurde et du modèle que ma méthode fréquentiste implique ?

Si un Bayésien a souligné une telle formulation, je pense que ma première réaction serait de dire "Eh bien, c'est bien que vous puissiez faire ça, mais ce n'est pas ainsi que je pense au problème!". Cependant, peu importe comment j'en pense ou comment je le formule. Si ma procédure est statistiquement / mathématiquement équivalente à un modèle bayésien, je fais implicitement ( sans le savoir !) Une inférence bayésienne.

Question réelle ci-dessous

Cette prise de conscience a considérablement ébranlé toute tentation d'être suffisant. Cependant, je ne sais pas si c'est vrai que le paradigme bayésien peut accueillir toutes les procédures fréquentistes (encore une fois, à condition que le bayésien choisisse un avant et une probabilité appropriés) . Je sais que l'inverse est faux.

Je pose cette question parce que j'ai récemment posté une question sur l'inférence conditionnelle, ce qui m'a conduit à l'article suivant: ici (voir 3.9.5,3.9.6)

Ils soulignent le résultat bien connu de Basu selon lequel il peut y avoir plus d'une statistique auxiliaire, ce qui soulève la question de savoir quel "sous-ensemble pertinent" est le plus pertinent. Pire encore, ils montrent deux exemples où, même si vous avez une statistique auxiliaire unique, cela n'élimine pas la présence d'autres sous-ensembles pertinents.

Ils concluent ensuite que seules les méthodes bayésiennes (ou des méthodes équivalentes) peuvent éviter ce problème, permettant une inférence conditionnelle sans problème.


Il se peut que ce ne soit pas le cas des Statistiques Bayésiennes Statistiques Féquentistes - c'est ma question à ce groupe ici. Mais il semble qu'un choix fondamental entre les deux paradigmes réside moins dans la philosophie que dans les objectifs: avez-vous besoin d'une grande précision conditionnelle ou d'une faible erreur inconditionnelle :

  • Une grande précision conditionnelle semble applicable lorsque nous devons analyser une instance singulière - nous voulons avoir raison pour CETTE inférence particulière, malgré le fait que cette méthode peut ne pas être appropriée ou précise pour le prochain ensemble de données (hyper-conditionnalité / spécialisation).

  • Une faible erreur inconditionnelle est appropriée lorsque, si nous sommes disposés à faire des inférences conditionnellement incorrectes dans certains cas, tant que notre erreur à long terme est minimisée ou contrôlée. Honnêtement, après avoir écrit ceci, je ne sais pas pourquoi je voudrais cela à moins d'être à court de temps et de ne pas pouvoir faire une analyse bayésienne ... hmmm.

J'ai tendance à privilégier l'inférence fequentiste basée sur la vraisemblance, car j'obtiens une certaine conditionnalité (asymptotique / approximative) de la fonction de vraisemblance, mais je n'ai pas besoin de tripoter un a priori - cependant, je suis de plus en plus à l'aise avec l'inférence bayésienne, surtout si Je vois le terme de régularisation aa antérieur pour une inférence de petit échantillon.

Désolé pour le côté. Toute aide pour mon problème principal est appréciée.


la source
1
une modification du message semble avoir gâché le lien, mais il n'y a pas assez d'informations pour que je puisse le corriger.
Dikran Marsupial
@DikranMarsupial merci de l'avoir remarqué. J'ai rajouté dans le lien.

Réponses:

3

Je dirais que les fréquentistes sont en effet souvent des «bayésiens implicites / involontaires», car dans la pratique, nous voulons souvent effectuer un raisonnement probabiliste sur des choses qui n'ont pas une fréquence à long terme. L'exemple classique étant le test statistique d'hypothèse nulle (NHST), où ce que nous voulons vraiment savoir, c'est la probabilité relative que les hypothèses nulles et de recherche soient vraies, mais nous ne pouvons pas le faire dans un cadre fréquentiste car la vérité d'une hypothèse particulière n'a pas Fréquence à long terme (non triviale) - elle est vraie ou non. Les NHST fréquentistes contournent cela en substituant une question différente, "quelle est la probabilité d'observer un résultat au moins aussi extrême sous l'hypothèse nulle", puis de le comparer à un seuil prédéterminé. Cependant , cette procédure ne fonctionne pas logiquement nous permettent de conclure quoi que ce soit à savoir si H0 ou H1 est vrai, et ce faisant, nous sortons en fait d'un cadre fréquentiste dans un cadre bayésien (généralement subjectif), où nous concluons que la probabilité d'observer une telle valeur extrême sous H0 est si bas, que nous ne pouvons plus croire que H0 est vraisemblablement vrai (notez que cela attribue implicitement une probabilité à une hypothèse particulière).

αp(H0)p(H1)

entrez la description de l'image ici

α

On peut dire que les intervalles de confiance sont souvent utilisés (et interprétés comme) un intervalle dans lequel nous pouvons nous attendre à voir les observations avec une probabilité donnée, ce qui est encore une interprétation bayésienne.

Idéalement, les statisticiens devraient être conscients des avantages et des inconvénients des deux approches et être prêts à utiliser le bon cadre pour l'application en question. Fondamentalement, nous devrions viser à utiliser l'analyse qui fournit la réponse la plus directe à la question à laquelle nous voulons réellement répondre (et non pas en substituer tranquillement une autre), donc une approche fréquentiste est probablement plus efficace là où nous sommes réellement intéressés par les fréquences à long terme et Méthodes bayésiennes où ce n'est pas le cas.

H0

Dikran Marsupial
la source
2
p<0,05
3
Je pense que cela fonctionne comme une critique des statistiques "null ritual", où les NHST sont utilisées comme recette du livre de cuisine des statistiques sans penser / comprendre la procédure (probablement en m'incluant quand j'ai commencé; o).
Dikran Marsupial
2
Je pense qu'un gros problème avec NHST est moins le p ritualisé p <0,05 et plus qu'il restreint artificiellement l'espace des hypothèses. Je veux dire, ils ne considèrent pas (comme hypothèses) les nombreuses autres raisons pour lesquelles il ferait sombre autre que "le soleil a explosé". C'est ce que je n'aime pas vraiment à propos de NHST ... c'est tellement conservateur envers le nul. Aussi, je me demande quelle serait la puissance de ce test?
1
H0
@DikranMarsupial est d'accord! Fisher les a imaginés aider à des expériences agricoles, d'où la valeur p est venue. L'évaluation des pesticides et des engrais n'a rien à voir avec l'évaluation de questions existentielles non reproductibles ... mauvais outil pour le travail.
4

Les Bayésiens et les Frequentistes ne diffèrent pas seulement dans la façon dont ils obtiennent des inférences, ou dans quelle mesure ces inférences similaires ou différentes peuvent être incertaines dans certains choix antérieurs. La principale différence est la façon dont ils interprètent la probabilité:

Probabilité bayésienne :

La probabilité bayésienne est une interprétation du concept de probabilité. Contrairement à l'interprétation de la probabilité comme la fréquence ou la propension d'un phénomène, la probabilité bayésienne est une quantité qui est assignée pour représenter un état de connaissance ou un état de croyance.

Probabilité fréquentiste :

La probabilité fréquentiste ou fréquentisme est une interprétation standard de la probabilité; il définit la probabilité d'un événement comme la limite de sa fréquence relative dans un grand nombre d'essais. Cette interprétation répond aux besoins statistiques des scientifiques expérimentaux et des sondeurs; les probabilités peuvent être trouvées (en principe) par un processus objectif reproductible (et sont donc idéalement dépourvues d'opinion). Il ne répond pas à tous les besoins; les joueurs ont généralement besoin d'estimations des cotes sans expérimentations.

Ces deux définitions représentent deux approches inconciliables pour définir le concept de probabilité (du moins jusqu'à présent). Ainsi, il existe des différences plus fondamentales entre ces deux domaines que de savoir si vous pouvez obtenir des estimateurs similaires ou les mêmes conclusions dans certains modèles paramétriques ou non paramétriques.

Pollo Anabolico
la source
1
Je ne pense pas qu'ils soient complètement inconciliables, une fréquence à long terme est une base parfaitement raisonnable pour un état de connaissance ou de croyance.
Dikran Marsupial
@DikranMarsupial Il s'agit en fait d'un problème ouvert en philosophie des sciences. Je vois votre point, mais la réconciliation n'est pas si simple.
Pollo Anabolico
Functjeonunelly
sûrement fréquentiste serait fonctionnellement équivalent s'il y avait aussi un analogue fréquentiste pour chaque procédure bayésienne, ce qui ne peut pas être vrai car les Bayésiens peuvent parler de probabilités pour des choses sans fréquences à long terme, mais pas les fréquentistes.
Dikran Marsupial
@DikranMarsupial oui, c'est pourquoi j'ai demandé si les fequentistes sont un sous-ensemble du bayésien (j'ai reconnu que l'inverse est connu pour être faux).