Ma question de base est: comment échantillonner à partir d'une distribution incorrecte? Est-il même judicieux d'échantillonner à partir d'une distribution incorrecte?
Le commentaire de Xi'an ici répond en quelque sorte à la question, mais je cherchais plus de détails à ce sujet.
Plus spécifique à MCMC:
En parlant de MCMC et de lecture d'articles, les auteurs insistent sur l'obtention de distributions postérieures appropriées. Il y a le fameux article de Geyer (1992) où l'auteur a oublié de vérifier si leur postérieur était correct (sinon un excellent article).
Mais, supposons que nous avons une vraisemblance et une distribution a priori incorrecte sur θ de telle sorte que le postérieur résultant soit également impropre, et MCMC est utilisé pour échantillonner à partir de la distribution. Dans ce cas, qu'est-ce que l'échantillon indique? Y a-t-il des informations utiles dans cet exemple? Je suis conscient que la chaîne de Markov ici est alors soit transitoire soit nulle récurrente. Y a-t-il des points positifs à retenir si elle est nulle et récurrente ?
Enfin, dans la réponse de Neil G ici , il mentionne
vous pouvez généralement échantillonner (en utilisant MCMC) à partir de la partie postérieure, même si elle est incorrecte.
Il mentionne qu'un tel échantillonnage est courant dans l'apprentissage profond. Si cela est vrai, comment cela a-t-il un sens?
la source
Réponses:
L'échantillonnage à partir d'un mauvais postérieur (densité) n'a pas de sens d'un point de vue probabiliste / théorique. La raison en est que la fonction f n'a pas d'intégrale finie sur l'espace des paramètres et, par conséquent, ne peut pas être liée à un modèle de probabilité ( mesure finie) ( Ω , σ , P ) (espace, algèbre sigma, mesure de probabilité ).F F ( Ω , σ, P )
Si vous avez un modèle avec un mauvais avant qui conduit à un mauvais postérieur, dans de nombreux cas, vous pouvez toujours en échantillonner à l'aide de MCMC, par exemple Metropolis-Hastings, et les "échantillons postérieurs" peuvent sembler raisonnables. Cela semble intrigant et paradoxal à première vue. Cependant, la raison en est que les méthodes MCMC sont limitées aux limitations numériques des ordinateurs dans la pratique, et par conséquent, tous les supports sont limités (et discrets!) Pour un ordinateur. Ensuite, sous ces restrictions (délimitation et caractère discret), le postérieur est en fait approprié dans la plupart des cas.
Il y a une grande référence par Hobert et Casella qui présente un exemple (de nature légèrement différente) où vous pouvez construire un échantillonneur Gibbs pour un postérieur, les échantillons postérieurs semblent parfaitement raisonnables, mais le postérieur est incorrect!
http://www.jstor.org/stable/2291572
Un exemple similaire est récemment apparu ici . En fait, Hobert et Casella avertissent le lecteur que les méthodes MCMC ne peuvent pas être utilisées pour détecter une irrégularité de la partie postérieure et que cela doit être vérifié séparément avant de mettre en œuvre des méthodes MCMC. En résumé:
PS (un peu ironique): Ne croyez pas toujours ce que les gens font en Machine Learning. Comme l'a déclaré le professeur Brian Ripley: "l'apprentissage automatique est une statistique moins toute vérification des modèles et des hypothèses".
la source
Donner une alternative, plus appliquée, vue de l'excellente réponse de Rod ci-dessus -
Donc, en principe, je serais tout à fait d'accord avec l'utilisation d'un échantillon généré par MCMC à partir d'une distribution incorrecte dans le travail appliqué, mais je ferais beaucoup attention à la façon dont cette irrégularité s'est produite et à la façon dont l'échantillon aléatoire en sera affecté. . Idéalement, l'échantillon aléatoire ne serait pas affecté par celui-ci, comme dans mon exemple de hot-dog, où dans un monde raisonnable, vous ne généreriez jamais réellement un nombre aléatoire supérieur au nombre de personnes à San Francisco ...
Vous devez également être conscient du fait que vos résultats peuvent être assez sensibles à la caractéristique du postérieur qui l'a rendu incorrect, même si vous le tronquez ultérieurement en grand nombre (ou toute autre modification appropriée pour votre modèle). ) Vous souhaitez que vos résultats soient robustes à de légers changements qui font passer votre postérieur d'un mauvais à un bon. Cela peut être plus difficile à garantir, mais cela fait partie du problème plus large de s'assurer que vos résultats sont robustes à vos hypothèses, en particulier celles qui sont faites pour plus de commodité.
la source