L'algorithme EM estime-t-il de manière cohérente les paramètres du modèle de mélange gaussien?

9

J'étudie le modèle du mélange gaussien et je pose cette question moi-même.

Supposons que les données sous-jacentes soient générées à partir d'un mélange de distribution gaussienne et que chacune d'elles ait un vecteur moyen μ kR p , où 1 k K et chacune d'elles ait la même matrice de co-variance Σ et supposons que Σ est une matrice diagonale. Et supposons que le rapport de mélange soit de 1 / K , c'est-à-dire que chaque grappe a le même poids.KμkRp1kKΣΣ1/K

Donc, dans cet exemple idéal, la seule tâche consiste à estimer les vecteurs moyens μ kR p , où 1 k K et la matrice de co-variance Σ .KμkRp1kKΣ

Ma question est la suivante: si nous utilisons l'algorithme EM, serons-nous en mesure d'estimer de manière cohérente et Σ , c'est-à-dire, lorsque la taille de l'échantillon n , l'estimateur produit par l'algorithme EM atteindra-t-il la vraie valeur de μ k et Σ ?μkΣnμkΣ

KevinKim
la source

Réponses:

1

μk

1/KΣk

procureur
la source
J'ai expérimenté numériquement, au moins pour 2 classes indépendantes de distribution normale, l'EM produit un estimateur cohérent de la moyenne de classe. Cependant, K signifie que je ne peux pas faire ça, je l'ai prouvé mathématiquement
KevinKim
1
Pourriez-vous donner plus de détails s'il vous plaît? Par exemple, quelles données vous utilisiez, comment vous avez initialisé les paramètres, etc.
dcorney
D'accord avec @dcorney. Cela dépend vraiment des valeurs initiales que vous choisirez. Au moins dans la pratique, un mauvais choix des valeurs initiales conduit à une estimation non cohérente (j'utilise le package mixtools R)
Allemand Demidov