Les conditions complètes peuvent-elles déterminer la distribution conjointe?

Cette question apparemment simple est plus profonde qu'elle n'y paraît, nous conduisant jusqu'au théorème de Hammersley-Clifford. Le fait que nous pouvons récupérer la distribution conjointe à partir des conditions complètes est ce qui rend possible l'échantillonneur Gibbs. Cela peut être considéré comme un résultat surprenant, si l'on se souvient que les marginaux ne déterminent pas la distribution conjointe.

Voyons ce qui se passe si nous calculons formellement avec les définitions bien connues des densités conjointe, conditionnelle et marginale. Puisque nous avons

F_{X, Oui} (X, y) = F_{X ∣ Oui} (X ∣ y) F_{Oui} (y) = F_{Oui ∣ X} (y ∣ X) F_{X} (X),

$f_{X,Y}(x,y)=f_{X\mid Y}(x\mid y)\,f_Y(y)=f_{Y\mid X}(y\mid x)\,f_X(x) \, ,$

et nous pouvons récupérer formellement la densité articulaire à partir des conditions complètes faisant

\int \frac{F_{Oui ∣ X} (y ∣ X)}{F_{X ∣ Oui} (X ∣ y)} ré y = \int \frac{F_{Oui} (y)}{F_{X} (X)} ré y = \frac{1}{F_{X} (X)},

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy = \int \frac{f_Y(y)}{f_X(x)}dy = \frac{1}{f_X(x)} \, ,$

F_{X, Oui} (X, y) = \frac{F_{Oui ∣ X} (y ∣ X)}{\int F_{Oui ∣ X} (y ∣ X) / F_{X ∣ Oui} (X ∣ y) ré y} . (*)

$f_{X,Y}(x,y) = \frac{f_{Y\mid X}(y\mid x)}{\int f_{Y\mid X}(y\mid x)/f_{X\mid Y}(x\mid y)\,dy} \, . \qquad (*)$

Le problème avec ce calcul formel est qu'il suppose que tous les objets impliqués existent.

Par exemple, considérons ce qui se passe si on nous donne Il s'ensuit que , et l'intégrale dans le dénominateur de diverge.

X ∣ Y = y \sim Exp (y) and Y ∣ X = x \sim Exp (x) .

$X\mid Y=y\sim\text{Exp}(y) \qquad \text{and} \qquad Y\mid X=x\sim\text{Exp}(x) \, .$

f_{Y ∣ X} (y ∣ x) / f_{X ∣ Y} (x ∣ y) = x / y

$f_{Y\mid X}(y\mid x)/f_{X\mid Y}(x\mid y) = x /y$

(*)

$(*)$

Pour garantir que nous pouvons récupérer la densité du joint à partir des conditions complètes à l'aide de nous avons besoin des conditions de compatibilité discutées dans cet article: $(*)$

"Compatible Conditional Distributions", Barry C. Arnold et S. James Press, Journal of the American Statistical Association, Vol. 84, n ° 405 (1989), pp. 152-156.

Enfin, lisez la discussion sur le théorème de Hammersley-Clifford dans le livre de Robert et Casella

Zen
la source

\int \frac{f_{Y ∣ X} (y ∣ x)}{f_{X ∣ Y} (x ∣ y)} d y

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy$

\frac{1}{f_{X} (x)}

$\frac{1}{f_X(x)}$

X

$X$

Y

$Y$

\int \frac{F_{Oui ∣ X} (y ∣ X)}{F_{X ∣ Oui} (X ∣ y)} ré y

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy$

\frac{1}{f_{X} (x)}

$\frac{1}{f_X(x)}$

f_{Y}

$f_Y$

f_{X | Y}

$f_{X|Y}$

f_{X, Y}

$f_{X,Y}$

f_{Y | X}

$f_{Y|X}$

f_{X | Y}

$f_{X|Y}$

f_{X, Y}

$f_{X,Y}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$

f_{X | Y}

$f_{X|Y}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$

f_{X | Y}

$f_{X|Y}$

f_{X, Y}

$f_{X,Y}$

f_{Y}

$f_Y$

Y

$Y$

f_{Y ∣ X}

$f_{Y\mid X}$

Y

$Y$

X

$X$

f_{X ∣ Y}

$f_{X\mid Y}$

f_{Y ∣ X}

$f_{Y\mid X}$

f_{X, Y}

$f_{X,Y}$

(*)

$(*)$

Je suis actuellement aux prises avec le même problème. Je suis un peu confus par le besoin de distributions conditionnelles compatibles, car elles ne sont jamais mentionnées dans les introductions (du moins celles que j'ai lues) à Gibbs Sampling. Ou le besoin de distributions conditionnelles compatibles ne tient-il que si l'on essaie de récupérer formellement les distributions conjointes, par exemple par (*). -> ne pas approcher la distribution conjointe par Gibbs Sampling?

sklingel

Dans un cadre d'échantillonnage de Gibbs régulier appliqué à un problème statistique, vous supposez que la distribution de probabilité conjointe (postérieure) existe, donc que les conditions complètes dérivées de cette distribution conjointe sont compatibles. En dehors de ce cas, l'échantillonnage de Gibbs n'a aucun sens.

Xi'an

Les conditions complètes peuvent-elles déterminer la distribution conjointe?

Réponses: