Quels sont / sont les prieurs implicites dans les statistiques fréquentistes?

20

J'ai entendu dire que Jaynes prétend que les fréquentistes opèrent avec un "a priori implicite".

Quels sont ou sont ces prieurs implicites? Cela signifie-t-il que les modèles fréquentistes sont tous des cas particuliers de modèles bayésiens à découvrir?

Bayesquest
la source
Le prior implicite est une distribution dégénérée qui met la masse de probabilité entière à , le paramètre que le fréquentateur bayésien essaie d'estimer. θ
Dilip Sarwate
3
Pour autant que je sache, il n'y a pas de modèle fréquentiste ou bayésien, il n'y a que des modèles et des approches différentes.
Andrey Kolyadin
3
@DilipSarwate: Je ne suis pas d'accord avec cette affirmation. L'utilisation d'une masse de Dirac comme préalable n'induit pas de procédures fréquentistes. Et le paradigme bayésien ne permet pas de prieurs avec des paramètres inconnus, sauf lors de la définition d'un autre préalable sur ces paramètres.
Xi'an
2
Il y a toujours un préalable quoi qu'il arrive. Malheureusement, toutes les procédures statistiques nécessitent un point de départ ad hoc, ce qui les rend très arbitraires. La bonne chose est de disposer de suffisamment de données et d'une méthodologie correcte pour vous rapprocher de votre destination. La mauvaise chose est à quelle distance vous vous retrouvez de la destination dépend de l'endroit où vous commencez et de la quantité de données dont vous disposez.
Cagdas Ozgenc
2
@Cagdas Ozgenc: Non, il y a toujours des hypothèses , mais elles n'ont pas besoin de prendre la forme de distributions antérieures.
kjetil b halvorsen

Réponses:

17

Dans la théorie de la décision fréquentiste, il existe des résultats de classe complets qui caractérisent les procédures admissibles comme des procédures Bayes ou comme des limites des procédures Bayes. Par exemple, Stein condition nécessaire et suffisante (Stein. 1955; Farrell, 1968b) déclare que, selon les hypothèses suivantes

  1. la densité d'échantillonnage f(x|θ) est continue dans θ et strictement positive sur Θ ; et
  2. LEΘ
    limδ+infθEL(θ,δ)=+.

un estimateur est admissible si, et seulement si, il existeδ

  • une séquence d'ensembles compacts croissants tels que ,Θ = n F n(Fn)Θ=nFn
  • une séquence de mesures finies avec support , etF n(πn)Fn
  • une séquence d'estimateurs bayésiens associée à telle queπ n(δn)πn

    1. il existe un ensemble compact tel queinf n π n ( E 0 ) 1E0Θinfnπn(E0)1
    2. si est compact,sup nEΘsupnπn(E)<+
    3. limnr(πn,δ)r(πn)=0 et
    4. limnR(θ,δn)=R(θ,δ) .

[reproduit de mon livre, Bayesian Choice , Theorem 8.3.0, p.407]

Dans ce sens restreint, la propriété fréquentiste de l'admissibilité est dotée d'un arrière-plan bayésien, associant ainsi un a priori implicite (ou une séquence de ceux-ci) à chaque estimateur admissible.

Sidenote: Dans une triste coïncidence, Charles Stein est décédé le 25 novembre à Palo Alto, en Californie. Il avait 96 ans.

Il existe un résultat similaire (s'il est mathématiquement impliqué) pour une estimation invariante ou équivariante, à savoir que le meilleur estimateur équivariant est un estimateur de Bayes pour chaque groupe transitif agissant sur un modèle statistique, associé à la bonne mesure de Haar, , induite sur ΘπΘ par ce groupe et la perte invariante correspondante. Voir Pitman (1939), Stein (1964) ou Zidek (1969) pour les détails impliqués. C'est très probablement ce que Jaynes avait en tête, alors qu'il argumentait avec force sur la résolution des paradoxes de marginalisation par les principes d'invariance .

En outre, comme détaillé dans réponse de civilstat , une autre notion fréquentiste d'optimalité, à savoir la minimaxité, est également liée aux procédures bayésiennes en ce que la procédure minimax qui minimise l'erreur maximale (sur l'espace des paramètres) est souvent la procédure maximin qui maximise l'erreur minimale ( sur toutes les distributions antérieures), est donc une Bayes ou limite de procédure (s) de Bayes.

Q .: Existe-t-il un plat à emporter que je puisse utiliser pour transférer mon intuition bayésienne à des modèles fréquentistes?

Premièrement, j'éviterais d'utiliser le terme "modèle fréquentiste" car il existe des modèles d'échantillonnage (les données sont une réalisation de pour une valeur de paramètre.X f ( x | θ ) θ xXf(x|θ)θ )95 95 et des procédures fréquentistes (meilleur estimateur sans biais, minimum intervalle de confiance de la variance, & tc.)Deuxièmement, je ne vois pas de raison méthodologique ou théorique convaincante pour considérer les méthodes fréquentistes comme des méthodes bayésiennes limites ou limitatives. La justification d'une procédure fréquentiste, lorsqu'elle existe, est de satisfaire une propriété d'optimalité dans l'espace d'échantillonnage, c'est-à-dire lors de la répétition des observations. La justification principale des procédures bayésiennes est d'être optimale [selon un critère spécifique ou une fonction de perte] compte tenu d'une distribution préalable et d'une réalisation à partir du modèle d'échantillonnage. Parfois, la procédure résultante satisfait une propriété fréquentiste (la95% région crédible est une région de confiance à %)95 , mais cela se produit par le fait que cette optimalité ne se transfère pas à toutes les procédures associées au modèle bayésien.

Xi'an
la source
1
Merci beaucoup. En tant que novice, y a-t-il un plat à emporter que je puisse utiliser pour transférer mon intuition bayésienne à des modèles fréquentistes? ie (ce GLM est similaire à x avec y prior, ou ce lasso est comme xyz bayésien).
Bayesquest
1
En outre, pourriez-vous jeter un œil à mon autre question ici: stats.stackexchange.com/questions/247850/… Je sais que vous avez proposé des solutions au problème de fragilité bayésienne ... mais j'ai le sentiment que les solutions ne sont pas robustes ou facile à manier pour un spécialiste des sciences sociales.
Bayesquest
1
Pour le premier commentaire, voici quelques exemples de ce dont je parlais: - Réseaux neuronaux et généralistes - stats.stackexchange.com/questions/71782/… - sumsar.net/blog/2015/04/… - [Un bayésien non paramétrique (npB) point de vue permet d'interpréter les forêts en tant qu'échantillon à partir d'un arbre postérieur sur les arbres] ( arxiv.org/pdf/1502.02312.pdf )
Bayesquest
Nous avons travaillé sur l'inférence bayésienne approximative avec des forêts aléatoires et avons constaté que la variabilité résultant de cet outil était plutôt sans rapport avec le postérieur d'origine. Bien sûr, cela ne signifie pas qu'il ne permet pas une interprétation bayésienne mais néanmoins ...
Xi'an
12

La réponse de @ Xi'an est plus complète. Mais puisque vous avez également demandé un plat à emporter, en voici un. (Les concepts que je mentionne ne sont pas exactement les mêmes que les critères d'admissibilité ci-dessus.)

Les fréquents aiment souvent (mais pas toujours) utiliser des estimateurs qui sont "minimax": si je veux estimer , le risque le plus défavorable de mon estimateur devrait être meilleur que le risque le plus défavorable de tout autre estimateur . Il s'avère que les MLE sont souvent (approximativement) minimax. Voir les détails par exemple ici ou ici .& thetavθθ^

Afin de trouver l'estimateur minimax pour un problème, une façon est de penser bayésien un instant et de trouver le " le moins favorable" . Il s'agit de l'a priori dont l'estimateur de Bayes présente un risque moyen plus élevé que tout autre estimateur de Bayes antérieur. Si vous pouvez le trouver, alors il s'avère que l' estimateur de Bayes de est minimax.πππ

En ce sens, vous pourriez dire avec concision: Un Frequentist (utilisant minimax) est comme un Bayésien qui a choisi (l'estimation ponctuelle basée sur) un a priori le moins favorable.

Peut-être pourriez-vous étirer ceci pour dire: un tel Frequentist est un bayésien conservateur, choisissant non pas des priors subjectifs ou même des prieurs non informatifs mais (dans ce sens spécifique) des priors du pire des cas.

Enfin, comme d'autres l'ont dit, il est difficile de comparer les Frequentistes et les Bayésiens de cette manière. Être un Frequentist n'implique pas nécessairement que vous utilisez un certain estimateur. Cela signifie simplement que vous posez des questions sur les propriétés d'échantillonnage de votre estimateur, alors que ces questions ne sont pas la priorité absolue des bayésiens. (Ainsi, tout bayésien qui espère de bonnes propriétés d'échantillonnage, par exemple "Bayes calibrées", est également un Frequentist.)
Même si vous définissez un Frequentist comme celui dont les estimateurs ont toujours des propriétés d'échantillonnage optimales , il existe de nombreuses propriétés de ce type et vous ne pouvez pas toujours les rencontrer tous à la fois. Il est donc difficile de parler de manière générale de «tous les modèles Frequentist».

civilstat
la source
4
Je pensais qu'un a priori implicite pour l'analyse fréquentiste serait un a priori uniforme.
Michael R. Chernick
5
Ça peut être, parfois. Vous pourriez penser à un MLE comme l'estimation MAP en utilisant un a priori uniforme. Mais les MLE ne sont pas le seul outil utilisé par les Frequentistes.
civilstat
1-α1-α