Un prieur vague est-il le même qu'un prieur non informatif?

27

C'est une question de terminologie. Un «vague a priori» est-il le même qu'un a priori non informatif, ou y a-t-il une différence entre les deux? Mon impression est qu'ils sont identiques (en recherchant ensemble des informations vagues et non informatives), mais je ne peux pas en être certain.

bayésien
la source
1
Vaguement: oui. Non informatif: Non.
cardinal

Réponses:

18

Gelman et al. (2003) disent:

il existe depuis longtemps un désir de distributions antérieures qui peuvent être garanties de jouer un rôle minimal dans la distribution postérieure. Ces distributions sont parfois appelées «distributions a priori de référence» et la densité a priori est décrite comme vague, plate ou non informative . [Souligné dans le texte original]

Sur la base de ma lecture de la discussion du prieur de Jeffreys dans Gelman et al. (2003, p.62ff, il n'y a pas de consensus sur l'existence d'un a priori vraiment non informatif, et que des prieurs suffisamment vagues / plats / diffus sont suffisants.

Certains des points qu'ils font valoir:

  1. Tout antécédent contient des informations, y compris des informations antérieures qui indiquent qu'aucune information n'est connue.
    • Par exemple, si nous savons que nous ne savons rien du paramètre en question, nous en savons quelque chose.
  2. Dans la plupart des contextes appliqués, il n'y a pas d'avantage clair pour un prieur véritablement non informatif lorsque des priors suffisamment vagues suffisent, et dans de nombreux cas, il y a des avantages - comme la recherche d'un a priori approprié - à utiliser un paramétrage vague d'un a priori conjugué.
  3. Le principe de Jeffreys peut être utile pour construire des a priori qui minimisent le contenu de l'information de Fisher dans les modèles univariés, mais il n'y a pas d'analogue pour le cas multivarié
  4. Lors de la comparaison des modèles, l'a priori des Jeffreys variera en fonction de la distribution de la probabilité, de sorte que les prieurs devraient également changer
  5. il y a généralement eu beaucoup de débats pour savoir si un prieur non informatif existe même (à cause de 1, mais voir aussi la discussion et les références à la p.66 dans Gelman et al. pour l'historique de ce débat).

notez que c'est un wiki communautaire - La théorie sous-jacente est aux limites de ma compréhension, et j'apprécierais des contributions à cette réponse.

Gelman et al. 2003 Analyse des données bayésiennes, Chapman et Hall / CRC

David
la source
1
Gelman lui-même est allé au-delà des prieurs "non informatifs", voir par exemple stat.columbia.edu/~cook/movabletype/archives/2007/07/… et le document auquel je fais référence dans ma réponse, et d'autres de ses travaux. Cette attitude semble de plus en plus répandue chez les statisticiens appliqués.
JMS
@JMS Gelman et. Al. 2003 a fait valoir ce point, et j'ai essayé de le résumer, ils semblent considérer les priors non informatifs à des fins de fond / théoriques / heuristiques
David LeBauer
Oui, un manuel sur les statistiques bayésiennes ne peut certainement pas les ignorer. Je voulais seulement ajouter que la tendance des statistiques appliquées depuis lors a été de s'éloigner de ces choix traditionnels, bien que le travail se poursuive sur "objectif Bayes"
JMS
Je pense que les gens ont tendance à utiliser l'information de deux manières lors de la description des antérieurs, dans un sens informel et dans un sens théorique de l'information. Ainsi, vous pouvez utiliser une entropie maximale avant qui contient le moins d'informations possible, au sens théorique de l'information. En utilisant cette distribution, vous pourriez (signalez) que "vous ne savez rien du paramètre", cela pourrait être assez informatif dans un sens plus informel ...
Rasmus Bååth
9

Certainement pas, bien qu'ils soient fréquemment utilisés de manière interchangeable. Un a priori vague (relativement mal informé, ne favorisant pas vraiment certaines valeurs sur d'autres) sur un paramètre peut en fait induire un prior très informatif sur une autre transformation . C'est au moins une partie de la motivation du prieur de Jeffreys, qui a été initialement conçu pour être aussi informatif que possible.f ( θ )θf(θ)

Les prieurs vagues peuvent également faire des choses assez misérables à votre modèle. L'exemple désormais classique utilise comme priors sur les composantes de la variance dans un modèle hiérarchique.ϵ 0InverseGamma(ϵ,ϵ)ϵ0

L'antériorité de limitation incorrecte donne un postérieur incorrect dans ce cas. Une alternative populaire consistait à prendre comme étant vraiment petit, ce qui donne un a priori qui semble presque uniforme sur . Mais il en résulte également un postérieur qui est presque incorrect, et l'ajustement et les inférences du modèle ont souffert. Voir les distributions antérieures de Gelman pour les paramètres de variance dans les modèles hiérarchiques pour une exposition complète.R +ϵR+

Edit: @csgillespie (à juste titre!) Souligne que je n'ai pas complètement répondu à votre question. À mon avis, un a priori non informatif est vague dans le sens où il ne favorise pas particulièrement une zone de l'espace des paramètres par rapport à une autre, mais ce faisant, il ne devrait pas induire de priorités informatives sur d'autres paramètres. Un prieur non informatif est donc vague mais un prieur vague n'est pas nécessairement non informatif. Un exemple où cela entre en jeu est la sélection des variables bayésiennes; un a priori «vague» sur les probabilités d'inclusion de variables peut en fait induire un a priori assez informatif sur le nombre total de variables incluses dans le modèle!

Il me semble que la recherche de prieurs véritablement non informatifs est un jeu de hasard (bien que beaucoup seraient en désaccord); il vaut mieux utiliser des prieurs informatifs dits "faiblement" (qui, je suppose, sont généralement vagues dans un certain sens). Vraiment, à quelle fréquence ne savons-nous rien du paramètre en question?

JMS
la source
Votre réponse est très agréable, mais vous n'indiquez pas réellement ce qu'est un "prior non informatif" et en quoi il diffère d'un "vague avant";)
csgillespie
@cgillespie: Vous avez raison, édité :)
JMS
à la suite de votre dernier paragraphe et soutenant la nature quixotique de la recherche: si nous savons que nous ne savons rien du paramètre en question, alors nous en savons quelque chose .
David LeBauer
Assez! La grande ironie est que beaucoup de ceux qui dépensent autant d'énergie à tordre la main sur leur choix de priorité ne réfléchissent pas à deux fois avant de rejeter la probabilité. Une probabilité mal spécifiée est beaucoup plus susceptible de causer des problèmes, en général. Mais c'est une autre question entièrement ...
JMS
5

Lambert et al (2005) posent la question "Comment Vague est Vague? Une étude de simulation de l'impact de l'utilisation de distributions antérieures vagues dans MCMC utilisant WinBUGS ". Ils écrivent: "Nous ne préconisons pas l'utilisation du terme distribution préalable non informative car nous considérons que tous les prieurs apportent des informations". J'ai tendance à être d'accord, mais je ne suis certainement pas un expert en statistiques bayésiennes.

Bernd Weiss
la source
2
Cela correspond à ma conviction préalable subjective qu'il n'y a rien de tel qu'un prieur non informatif.
onestop
@onestop veuillez envisager de contribuer à ma réponse CW
David LeBauer
C'est précisément le problème abordé dans le document que j'ai inclus dans ma réponse ( avec La documentation WinBUGS les a utilisés longtemps après que ces priors ont été discrédités.ϵ 0IG(ϵ,ϵ)ϵ0
JMS
3

Je soupçonne que "vague a priori" est utilisé pour signifier un a priori connu pour encoder une petite quantité de connaissances, mais non nulle, concernant la valeur réelle d'un paramètre, alors qu'un "a priori non informatif" serait utilisé pour signifier l'ignorance complète concernant la valeur de ce paramètre. Elle servirait peut-être à montrer que l'analyse n'était pas complètement objective.

Par exemple, un gaussien très large pourrait être un vague a priori pour un paramètre où un a priori non informatif serait uniforme. Le gaussien serait presque plat sur l'échelle d'intérêt, mais favoriserait néanmoins une valeur particulière un peu plus que toute autre (mais cela pourrait rendre le problème plus mathématiquement traitable).

Dikran Marsupial
la source
cela soulève la question de savoir si l'uniforme serait vraiment non informatif? quels seraient les max et min de l'uniforme non informatif? Le prieur serait-il non informatif après sa transformation à une autre échelle?
David LeBauer
1
Les prieurs uniformes ne sont pas nécessairement non informatifs et vice versa, cela dépend de la nature du problème. Je pense que l'idée d'un a priori minimalement informatif est souvent plus réaliste, en utilisant MAXENT et des groupes de transformation pour décider d'une distribution antérieure qui transmet la quantité minimale d'informations constituée de contraintes connues (par exemple, que l'a priori soit invariant à l'échelle). Pour de nombreux problèmes, les antérieurs inadéquats fonctionnent bien, il n'est donc pas nécessairement nécessaire qu'il y ait un minimum et un maximum bien définis.
Dikran Marsupial
2

Les prieurs non informatifs ont différentes formes. Ces formes incluent des antécédents vagues et des antécédents incorrects. Un prieur si vague fait partie des prieurs non informatifs.

user26652
la source