Pourquoi l'échangeabilité des variables aléatoires est essentielle dans les modèles bayésiens hiérarchiques?

Pourquoi l'échangeabilité des variables aléatoires est essentielle pour la modélisation bayésienne hiérarchique?

L'échangeabilité n'est pas une caractéristique essentielle d'un modèle hiérarchique (du moins pas au niveau observationnel). Il s'agit essentiellement d'un analogue bayésien de "indépendant et identique distribué" de la littérature standard. C'est simplement une façon de décrire ce que vous savez de la situation actuelle. C'est à dire que le "shuffling" ne modifie pas votre problème. Une façon dont j'aime penser à cela est de considérer le cas où on vous a donné mais on ne vous a pas dit la valeur de . Si apprendre que vous amène à suspecter des valeurs particulières de plus que d'autres, alors la séquence n'est pas échangeable. Si ça ne vous dit rien sur$x_{j}=5$$j$$x_{j}=5$$j$$j$, alors la séquence est échangeable. Notez que l'exchangeabilité est "dans l'information" plutôt que "dans la réalité" - cela dépend de ce que vous savez.

Bien que l'interchangeabilité ne soit pas essentielle en termes de variables observées, il serait probablement assez difficile d'adapter n'importe quel modèle sans une certaine notion d'échangeabilité, car sans échangeabilité, vous n'avez fondamentalement aucune justification pour regrouper les observations ensemble. Donc, je suppose que vos déductions seront beaucoup plus faibles si vous n'avez pas d'échangeabilité quelque part dans le modèle. Par exemple, considérons pour . Si sont complètement échangeables, cela signifie et . Si sont échangeables conditionnellement étant donné alors cela signifie$x_{i}\sim N(\mu_{i},\sigma_{i})$$i=1,\dots,N$$x_{i}$$\mu_{i}=\mu$$\sigma_{i}=\sigma$$x_{i}$$\mu_{i}$$\sigma_{i}=\sigma$. Si sont conditionnellement échangeables étant donné alors cela signifie . Mais notez que dans l'un ou l'autre de ces deux cas "conditionnellement échangeables", la qualité de l'inférence est réduite par rapport au premier, car il y a un paramètre supplémentaire qui est introduit dans le problème. Si nous n'avons aucune interchangeabilité, alors nous avons fondamentalement problèmes non liés.$x_{i}$$\sigma_{i}$$\mu_{i}=\mu$$N$$N$

Fondamentalement, l'interchangeabilité signifie que nous pouvons faire l'inférence pour tout et qui sont partiellement échangeables$x_{i}\to \text{parameters}\to x_{j}$$i$$j$

"Essentiel" est trop vague. Mais surpressant les détails techniques, si la séquence est échangeable, les sont conditionnellement indépendants étant donné certains paramètres non observés avec une distribution de probabilité . Autrement dit, . n'a pas besoin d'être unidimensionnel ou même de dimension finie et peut être représenté en tant que mélange, etc.X i Θ π p ( X ) = ∫ p ( X i | Θ ) d π ( Θ ) $X=\{X_i\}$$X_i$$\Theta$$\pi$$p(X) = \int p(X_i|\Theta)d\pi(\Theta)$$\Theta$

L'échangeabilité est essentielle dans le sens où ces relations d'indépendance conditionnelle nous permettent d'adapter des modèles que nous ne pourrions certainement pas faire autrement.

Ça ne l'est pas! Je ne suis pas un expert ici, mais je vais donner mes deux cents. En général, lorsque vous avez un modèle hiérarchique, dites

$y|\Theta_{1} \sim \text{N}(X\Theta_{1},\sigma^2)$

$\Theta_{1}|\Theta_{2} \sim\text{N}(W\Theta_{2},\sigma^2)$

Nous faisons des hypothèses d'indépendance conditionnelle, c'est-à-dire conditionnelles à , les sont échangeables. Si le deuxième niveau n'est pas échangeable, vous pouvez inclure un autre niveau qui le rend échangeable. Mais même dans le cas où vous ne pouvez pas faire d'hypothèse d'exchaganbelité, le modèle peut toujours être un bon ajustement à vos données au premier niveau. Θ $\Theta_{2}$$\Theta_{1}$

Dernier point, mais non le moindre, l'interchangeabilité n'est importante que si vous voulez penser en termes de théorème de représentation de De Finetti. Vous pourriez penser que les priors sont des outils de régularisation qui vous aident à adapter votre modèle. Dans ce cas, l'hypothèse d'échangeabilité est aussi bonne que votre modèle est adapté aux données. En d'autres termes, si vous considérez le modèle hiérarchique bayésien comme un moyen de mieux adapter vos données, alors l'interchangeabilité n'est en aucun cas essentielle.