J'ai besoin "d'apprendre" la distribution d'un gaussien bivarié avec peu d'échantillons, mais une bonne hypothèse sur la distribution précédente, donc je voudrais utiliser l'approche bayésienne.
J'ai défini mon avant:
Et ma distribution étant donnée l'hypothèse
Maintenant je sais grâce à ici que pour estimer la moyenne étant donné les données
Je peux calculer:
Vient maintenant la question, peut-être que je me trompe, mais il me semble que n'est que la matrice de covariance pour le paramètre estimé \ mathbf {\ mu_n} , et non la covariance estimée de mes données. Ce que je voudrais serait de calculer aussiμ n
afin d'avoir une distribution entièrement spécifiée tirée de mes données.
Est-ce possible? Est-il déjà résolu par le calcul de et est-il simplement exprimé de manière erronée la formule ci-dessus (ou je me contente de l'interpréter)? Des références seraient appréciées. Merci beaucoup.
ÉDITER
D'après les commentaires, il est apparu que mon approche était "fausse", dans le sens où je supposais une covariance constante, définie par . Ce dont j'ai besoin serait de mettre aussi un prior dessus, , mais je ne sais pas quelle distribution je dois utiliser, et par la suite quelle est la procédure pour la mettre à jour.P ( Σ )
la source
Réponses:
Vous pouvez effectuer une mise à jour bayésienne pour la structure de covariance dans le même esprit que vous avez mis à jour la moyenne. Le conjugué a priori pour la matrice de covariance de la normale multivariée est la distribution inverse-Wishart, il est donc logique de commencer par là,
Ensuite, lorsque vous obtenez votre échantillon de longueur vous pouvez calculer l'estimation de covariance de l'échantillon n Σ X = 1X n ΣX=1n(X−μ)⊤(X−μ)
Cela peut ensuite être utilisé pour mettre à jour votre estimation de la matrice de covariance
Vous pouvez choisir d'utiliser la moyenne de cette valeur comme estimation ponctuelle de la covariance (Estimateur moyen postérieur)
ou vous pouvez choisir d'utiliser le mode (Maximum A Posteriori Estimator)
la source
Ok, j'ai trouvé la vraie solution à mon problème. Je le poste même si la bonne réponse à ma question (mal placée) est celle choisie.
Fondamentalement, ma question explique comment estimer la moyenne en connaissant la covariance, et la réponse comment estimer la covariance en connaissant la moyenne. Mais mon problème réel était d'estimer avec les deux paramètres inconnus.
J'ai trouvé la réponse sur Wikipedia avec la dérivation expliquée ici . L'ancien conjugué de la normale multivariée est le normal-inverse-Wishart, qui est essentiellement une distribution sur des normales multivariées.
Les paramètres antérieurs qui doivent être spécifiés sont pour définir la moyenne, pour définir la covariance, et deux valeurs scalaires et qui, je dirais, définissent notre confiance sur l'estimation des deux premiers paramètres respectivement.Ψ κ 0 ν 0μ0 Ψ κ0 ν0
La distribution mise à jour après avoir observé échantillons d'une normale à variables a la formepn p
où
donc mes paramètres estimés souhaités sont
la source