Pourquoi l'échangeabilité des variables aléatoires est essentielle dans les modèles bayésiens hiérarchiques?

Réponses:

8

L'échangeabilité n'est pas une caractéristique essentielle d'un modèle hiérarchique (du moins pas au niveau observationnel). Il s'agit essentiellement d'un analogue bayésien de "indépendant et identique distribué" de la littérature standard. C'est simplement une façon de décrire ce que vous savez de la situation actuelle. C'est à dire que le "shuffling" ne modifie pas votre problème. Une façon dont j'aime penser à cela est de considérer le cas où on vous a donné mais on ne vous a pas dit la valeur de . Si apprendre que vous amène à suspecter des valeurs particulières de plus que d'autres, alors la séquence n'est pas échangeable. Si ça ne vous dit rien surxj=5jxj=5jj, alors la séquence est échangeable. Notez que l'exchangeabilité est "dans l'information" plutôt que "dans la réalité" - cela dépend de ce que vous savez.

Bien que l'interchangeabilité ne soit pas essentielle en termes de variables observées, il serait probablement assez difficile d'adapter n'importe quel modèle sans une certaine notion d'échangeabilité, car sans échangeabilité, vous n'avez fondamentalement aucune justification pour regrouper les observations ensemble. Donc, je suppose que vos déductions seront beaucoup plus faibles si vous n'avez pas d'échangeabilité quelque part dans le modèle. Par exemple, considérons pour . Si sont complètement échangeables, cela signifie et . Si sont échangeables conditionnellement étant donné alors cela signifiexiN(μi,σi)i=1,,Nxiμi=μσi=σxiμiσi=σ. Si sont conditionnellement échangeables étant donné alors cela signifie . Mais notez que dans l'un ou l'autre de ces deux cas "conditionnellement échangeables", la qualité de l'inférence est réduite par rapport au premier, car il y a un paramètre supplémentaire qui est introduit dans le problème. Si nous n'avons aucune interchangeabilité, alors nous avons fondamentalement problèmes non liés.xiσiμi=μNN

Fondamentalement, l'interchangeabilité signifie que nous pouvons faire l'inférence pour tout et qui sont partiellement échangeablesxiparametersxjij

probabilitéislogique
la source
4

"Essentiel" est trop vague. Mais surpressant les détails techniques, si la séquence est échangeable, les sont conditionnellement indépendants étant donné certains paramètres non observés avec une distribution de probabilité . Autrement dit, . n'a pas besoin d'être unidimensionnel ou même de dimension finie et peut être représenté en tant que mélange, etc.X i Θ π p ( X ) = p ( X i | Θ ) d π ( Θ ) ΘX={Xi}XiΘπp(X)=p(Xi|Θ)dπ(Θ)Θ

L'échangeabilité est essentielle dans le sens où ces relations d'indépendance conditionnelle nous permettent d'adapter des modèles que nous ne pourrions certainement pas faire autrement.

JMS
la source
1

Ça ne l'est pas! Je ne suis pas un expert ici, mais je vais donner mes deux cents. En général, lorsque vous avez un modèle hiérarchique, dites

y|Θ1N(XΘ1,σ2)

Θ1|Θ2N(WΘ2,σ2)

Nous faisons des hypothèses d'indépendance conditionnelle, c'est-à-dire conditionnelles à , les sont échangeables. Si le deuxième niveau n'est pas échangeable, vous pouvez inclure un autre niveau qui le rend échangeable. Mais même dans le cas où vous ne pouvez pas faire d'hypothèse d'exchaganbelité, le modèle peut toujours être un bon ajustement à vos données au premier niveau. Θ 1Θ2Θ1

Dernier point, mais non le moindre, l'interchangeabilité n'est importante que si vous voulez penser en termes de théorème de représentation de De Finetti. Vous pourriez penser que les priors sont des outils de régularisation qui vous aident à adapter votre modèle. Dans ce cas, l'hypothèse d'échangeabilité est aussi bonne que votre modèle est adapté aux données. En d'autres termes, si vous considérez le modèle hiérarchique bayésien comme un moyen de mieux adapter vos données, alors l'interchangeabilité n'est en aucun cas essentielle.

Manoel Galdino
la source
@Mancel Ne pas mettre en retrait vos formules; sinon, ils seront rendus textuellement ( <pre>...</pre>en HTML). Voir ici pour plus d'informations sur le formatage Markdown.
chl