Comment un mauvais passé peut-il conduire à une bonne distribution postérieure?

Nous savons que dans le cas d'une distribution préalable correcte,

$P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)}$

$\propto P(X \mid \theta)P(\theta)$ .

La justification habituelle de cette étape est que la distribution marginale de , , est constante par rapport à et peut donc être ignorée lors de la dérivation de la distribution postérieure.$X$$P(X)$$\theta$

Cependant, dans le cas d'un a priori incorrect, comment savez-vous que la distribution postérieure existe réellement? Il semble qu'il manque quelque chose dans cet argument apparemment circulaire. En d'autres termes, si je suppose que le postérieur existe, je comprends la mécanique de la façon de dériver le postérieur, mais il me semble manquer la justification théorique pour expliquer pourquoi il existe même.

PS Je reconnais également qu'il existe des cas dans lesquels un mauvais avant conduit à un mauvais postérieur.

Nous acceptons généralement les postérieurs de prieurs impropres si existe et est une distribution de probabilité valide (c'est-à-dire, il intègre exactement à 1 sur le support). Cela se résume essentiellement à \ pi (X) = \ int \ pi (X \ mid \ theta) \ pi (\ theta) \, d \ theta étant fini. Si tel est le cas, alors nous appelons cette quantité \ pi (\ theta \ mid X) et l' acceptons comme la distribution postérieure que nous voulons. Cependant, il est important de noter qu'il ne s'agit PAS d'une distribution postérieure, ni d'une distribution de probabilité conditionnelle (ces deux termes sont synonymes dans le contexte ici).$\pi(\theta)$ π(X)=∫π(X∣θ)π(θ

Maintenant, j'ai dit que nous acceptons les distributions «postérieures» de prieurs incorrects étant donné ce qui précède. La raison pour laquelle ils sont acceptés est que les antérieurs nous donneront toujours des «scores» relatifs sur l'espace des paramètres; c'est-à-dire que le rapport sens à notre analyse. Dans certains cas, la signification que nous obtenons des prieurs incorrects peut ne pas être disponible dans les priors appropriés. C'est une justification potentielle pour les utiliser. Voir la réponse de Sergio pour un examen plus approfondi de la motivation pratique des prieurs impropres.π ( θ 1$\pi(\theta)$$\frac{\pi(\theta_1)}{\pi(\theta_2)}$

Il convient de noter que cette quantité a également des propriétés théoriques souhaitables, Degroot & Schervish :$\pi(\theta \mid X)$

Les a priori incorrects ne sont pas de vraies distributions de probabilité, mais si nous prétendons qu'ils le sont, nous calculerons des distributions a posteriori qui se rapprochent des a posterioris que nous aurions obtenus en utilisant des a priori conjugués appropriés avec des valeurs extrêmes des hyperparamètres antérieurs.

Il existe une réponse "théorique" et une réponse "pragmatique".

D'un point de vue théorique, lorsqu'un a priori est incorrect, le postérieur n'existe pas (enfin, regardez la réponse de Matthew pour une déclaration plus solide), mais peut être approximé par une forme limitative.

Si les données comprennent un échantillon conditionnellement iid de la distribution de Bernoulli avec le paramètre , et a la distribution beta avec les paramètres et , la distribution postérieure de est la distribution beta avec les paramètres ( observations, succès) et sa moyenne est . Si nous utilisons la distribution bêta incorrecte (et irréelle) avant avec les hypeparamètres précédents , et que nous prétendons queθ α β θ α + s , β + n - s n s ( α + s ) / ( α + β $\theta$$\theta$$\alpha$$\beta$$\theta$$\alpha + s, \beta+n-s$$n$$s$α = β = 0 π ( θ ) ∝ θ - 1 ( 1 - θ ) - 1 θ s - 1 ( 1 - θ ) n - $(\alpha+s)/(\alpha+\beta+n)$$\alpha=\beta=0$$\pi(\theta)\propto\theta^{-1}(1-\theta)^{-1}$, on obtient un postérieur propre proportionnel à , ie le pdf de la distribution beta avec les paramètres et exception d'un facteur constant. Il s'agit de la forme limitative du postérieur pour un a priori bêta avec les paramètres et (Degroot & Schervish, exemple 7.3.13). sn-sα→0β→$\theta^{s-1}(1-\theta)^{n-s-1}$$s$$n-s$$\alpha\to 0$$\beta\to 0$

Dans un modèle normal avec moyenne , variance connue , et une distribution antérieure pour , si la précision antérieure, , est petite par rapport à la précision des données, , alors la distribution postérieure est approximativement comme si : c'est-à-dire que la distribution postérieure est approximativement celle qui résulterait de l'hypothèse que est proportionnelle à une constante pourσ 2 N ( μ 0 , τ 2 0 ) θ 1 / τ 2 0 n / σ 2 τ 2 0 = ∞ p ( θ ∣ x ) ≈ N ( $\theta$$\sigma^2$$\mathcal{N}(\mu_0,\tau^2_0)$$\theta$$1/\tau^2_0$$n/\sigma^2$$\tau^2_0=\infty$p ( θ ) θ ∈ ( - ∞ , ∞ ) τ 2

D'un point de vue "pragmatique", lorsque quel que soit , donc si dans , puis . Des antérieurs incorrects peuvent être utilisés pour représenter le comportement local de la distribution antérieure dans la région où la probabilité est appréciable, par exemple . En supposant que pour une approximation suffisante, un a priori suit des formes telles que ou uniquement surp ( x ∣ θ ) = 0 p ( θ ) p ( x ∣ θ ) ≠ 0 ( a , b ) ∫ ∞ - ∞ p ( x ∣ θ ) p ( θ ) d θ = ∫ b a p ( x $p(x\mid\theta)p(\theta)=0$$p(x\mid\theta)=0$$p(\theta)$$p(x\mid\theta)\ne 0$$(a,b)$( a , b ) f ( x ) = k , x ∈ ( - ∞ , ∞ ) $\int_{-\infty}^{\infty}p(x\mid\theta)p(\theta)d\theta=\int_a^b p(x\mid\theta)p(\theta)d\theta$$(a,b)$$f(x)=k, x\in(-\infty,\infty)$( a , b ) θ U ( - ∞ , ∞ ) ( a $f(x)=kx^{-1}, x\in(0,\infty)$$(a,b)$, qu'il arrive à zéro en dehors de cette plage, nous nous assurons que les priors réellement utilisés sont corrects ( Box et Tiao , p. 21). Donc, si la distribution précédente de est mais est bornée, c'est comme si , c'est-à-dire . Pour un exemple concret, c'est ce qui se passe dans Stan : si aucun a priori n'est spécifié pour un paramètre, il reçoit implicitement un a priori uniforme sur son support et cela est traité comme une multiplication de la vraisemblance par une constante.$\theta$$\mathcal{U}(-\infty,\infty)$θ ∼ U ( a , b ) p ( x ∣ θ ) p ( θ ) = p ( x ∣ θ ) k ∝ p ( x ∣ θ $(a,b)$$\theta\sim\mathcal{U}(a,b)$$p(x\mid\theta)p(\theta)=p(x\mid\theta)k\propto p(x\mid\theta)$

Cependant, dans le cas d'un a priori incorrect, comment savez-vous que la distribution postérieure existe réellement?

La partie postérieure pourrait ne pas convenir non plus. Si le prieur est incorrect et que la probabilité est plate (car il n'y a pas d'observations significatives), le postérieur est égal au prieur et est également incorrect.

Habituellement, vous avez quelques observations, et généralement la probabilité n'est pas plate, donc le postérieur est approprié.