Avoir un conjugué avant: propriété profonde ou accident mathématique?

Certaines distributions ont des prieurs conjugués et d'autres non. Cette distinction n'est-elle qu'un accident? Autrement dit, vous faites le calcul, et cela fonctionne d'une manière ou d'une autre, mais cela ne vous dit vraiment rien d'important sur la distribution, sauf pour le fait lui-même?

Ou la présence ou l'absence d'un a priori conjugué reflète-t-elle une propriété plus profonde d'une distribution? Les distributions avec des antérieurs conjugués partagent-elles d'autres propriétés intéressantes ou des propriétés qui manquent à d'autres distributions et qui obligent ces distributions, et non les autres, à avoir un conjugué avant?

bayesian mathematical-statistics conjugate-prior andrewH
la source

Eh bien, vous devez savoir que toute distribution qui peut être écrite en tant que membre de la famille exponentielle régulière doit avoir un conjugué préalable.

Connaissons-nous une classe intéressante de distributions dont il a été clairement démontré qu'elles n'ont pas de prieurs conjugués? Je connais très peu de distributions avec 3 paramètres ou plus qui ont connu des CP, mais je ne sais pas si nous savons que celles-ci n'existent pas, ou si nous savons simplement que nous ne les avons pas trouvées.

andrewH

Intéressant. Il pourrait être considéré comme une propriété de l'opérateur transportant l'avant avant le postérieur, dans la même famille paramétrique. Plus intéressant peut-être, il pourrait être considéré comme une propriété de fermeture du triplet (distribution antérieure, distribution d'échantillonnage, opérateur de mise à jour de Bayes).

JohnRos

@JohnRos. J'aime ta façon de penser.

andrewH

Concernant votre déclaration d'ouverture, soyez prudent avec le cas trivial des a priori qui mettent toute la masse dans une seule valeur de l'espace des paramètres (pas vraiment utile pour faire de l'inférence, hein?). Le théorème de Bayes montre que ce sont des a priori conjugués pour chaque modèle. Bien sûr, ils représentent la connaissance préalable de quelqu'un avec des "idées fixes".

Zen

Réponses:

Ce n'est pas par accident. Ici vous trouverez un bref avis très agréable sur prieurs conjugué. Concrètement, il mentionne que s'il existe un ensemble de statistiques suffisantes de dimension fi xe pour la fonction de vraisemblance donnée, alors vous pouvez construire un conjugué préalable pour cela. Le fait d'avoir un ensemble de statistiques suffisantes signifie que vous pouvez factoriser la probabilité sous une forme qui vous permet d'estimer les paramètres de manière efficace sur le plan du calcul.

En plus de cela, avoir des antérieurs conjugués n'est pas seulement pratique sur le plan du calcul. Il fournit également un lissage et permet de travailler avec très peu d'échantillons ou sans échantillons précédents, ce qui est nécessaire pour des problèmes tels que la prise de décision, dans les cas où vous avez très peu de preuves.

jpmuc
la source

Je suis très nouveau dans les statistiques bayésiennes, mais il me semble que toutes ces distributions (et sinon toutes, du moins celles qui sont utiles) partagent la propriété d'être décrites par une métrique limitée sur les observations qui les définissent. . C'est-à-dire que pour une distribution normale, vous n'avez pas besoin de connaître chaque détail de chaque observation, juste leur nombre total et leur somme.

En d'autres termes, en supposant que vous connaissez déjà la classe / famille de distribution, la distribution a une entropie d'informations strictement inférieure aux observations qui en ont résulté.

Est-ce que cela semble anodin ou est-ce un peu ce que vous recherchez?

Fabio Beltramini
la source

Quelles propriétés sont "profondes" est une question très subjective! donc la réponse dépend de votre concept de "profond". Mais, si avoir des prieurs conjugués est une propriété "profonde", dans un certain sens, alors ce sens est mathématique et non statistique. La seule raison pour laquelle (certains) statisticiens s'intéressent aux a priori conjugués est qu'ils simplifient certains calculs. Mais c'est moins important pour chaque jour qui passe!

 EDIT

$h$ $[0,1]$ $f(p;\alpha,\beta)$ $h(p)f(p;\alpha,\beta)$

E {E (θ ∣ X = X)} = une X + b

$\DeclareMathOperator{\E}{\mathbb{E}} \E \left\{ \E (\theta \mid X=x)\right\} = ax+b$

a, b

$a,b$

$\text{prior}\times\text{likelihood}$ interprétations des données antérieures aux paramètres des familles conjuguées (habituelles) répertoriées.

Donc, en résumé, les familes conjuguées habituelles dans les familles exponentielles peuvent être justifiées comme des prieurs menant à des méthodes linéaires, ou comme des priors provenant de la représentation de données antérieures. J'espère que cette réponse étendue vous aidera!

kjetil b halvorsen
la source

C'est vraiment un commentaire, pas une réponse, @kjetil. Il doit être élaboré en réponse ou converti en commentaire.

gung - Rétablir Monica

@gung J'hésite à convertir cette réponse en commentaire car il semble qu'elle puisse être interprétée comme une réponse: elle affirme que l'existence d'un a priori conjugué est de peu d'importance en dehors de la simplification des calculs. (Je pense qu'il peut y avoir des raisons de contester la validité de cette affirmation, mais être incorrect n'est pas la même chose que de ne pas répondre!)

whuber

@whuber: à quelles raisons à part la simplicité de calcul pensez-vous? Je vais essayer de m'étendre sur l'anserv ...

kjetil b halvorsen

Parce qu'une formulation mathématique explicite d'une relation est quelque chose qui peut être analysée et comprise, alors qu'un simple résultat de calcul n'est que cela - un résultat, n'offrant généralement aucune vision généralisable. C'est comme la différence entre avoir une carte d'un pays que vous pouvez étudier et apprendre, par rapport à avoir un appareil GPS uniquement vocal qui donnera des itinéraires. Les deux vous amèneront d'un point à un autre, mais le premier vous en dira beaucoup plus sur l'espace que vous traversez.

whuber