Supposons que nous ayons un échantillon aléatoire d'une distribution normale bivariée qui a des zéros comme moyennes et des uns comme des variances, donc le seul paramètre inconnu est la covariance. Quel est le MLE de la covariance? Je sais que cela devrait être quelque chose comme mais comment savons-nous cela?
10
Réponses:
L'estimateur du coefficient de corrélation (qui dans le cas d'une norme bivariée normale est égal à la covariance)
est l'estimateur de la méthode des moments, la covariance de l'échantillon. Voyons s'il coïncide avec l'estimateur du maximum de vraisemblance, .ρ^
La densité conjointe d'une normale standard bivariée avec coefficient de corrélation estρ
et donc la log-vraisemblance d'un échantillon iid de taille estn
(ici l'hypothèse iid concerne bien sûr chaque tirage de la population bidimensionnelle)
Prendre la dérivée par rapport à et la mettre à zéro donne un polynôme à 3 degrés dans :ρρ ρ
Que les calculs soient corrects peut être vérifié si l'on prend la valeur attendue de la dérivée évaluée au vrai coefficient -it sera égal à zéro.ρ
Pour la compacité, écriture , qui est la somme de l' échantillon variances de et . Si nous divisons l'expression de dérivée première par l'estimateur MoM apparaîtra, en particulier X Y n( 1 / n ) ∑ni = 1( x2je+ y2je) = ( 1 / n ) S2 X Oui n
En faisant l'algèbre, il n'est pas difficile de conclure que nous obtiendrons si, et seulement si, , c'est-à-dire seulement s'il arrive que la somme des variances d'échantillon soit égale à la somme des vrais écarts. Donc en général (1/n)S2=2ρ^= r~ ( 1 / n ) S2= 2
Alors qu'est-ce qui se passe ici? Quelqu'un de plus sage l'expliquera, pour le moment, essayons une simulation: j'ai généré un échantillon iid de deux normales standard avec un coefficient de corrélation . La taille de l'échantillon était . Les valeurs de l'échantillon étaientn = 1 000ρ = 0,6 n = 1.000
L'estimateur de la méthode des moments nous donne
Que se passe-t-il avec la probabilité de journal? Visuellement, nous avons
Numériquement, nous avons
et nous voyons que la log-vraisemblance a un maximum un peu avant où également la dérivée première devient nulle . Pas de surprise pour les valeurs de non affichées. De plus, le premier dérivé n'a pas d'autre racine.( ρ = 0,558985 ) ρρ = 0,56 ( ρ^= 0,558985 ) ρ
Cette simulation concorde donc avec le résultat selon lequel l'estimateur du maximum de vraisemblance n'est pas égal à l'estimateur de la méthode des moments (qui est la covariance de l'échantillon entre les deux RV).
Mais il semble que "tout le monde" dit que cela devrait ... alors quelqu'un devrait trouver une explication.
METTRE À JOUR
Une référence qui prouve que le MLE est l'estimateur de la méthode des moments: Anderson, TW et Olkin, I. (1985). Estimation du maximum de vraisemblance des paramètres d'une distribution normale multivariée. Algèbre linéaire et ses applications, 70, 147-171.
Est-il important qu'ici tous les moyens et toutes les variations soient libres de varier et non fixes?
... Probablement oui, car le commentaire de @ guy dans une autre réponse (maintenant supprimée) dit que, avec des paramètres de moyenne et de variance donnés , la normale bivariée devient un membre de la famille exponentielle courbe (et donc certains résultats et propriétés changent) ... ce qui semble être le seul moyen de concilier les deux résultats.
la source
Dans les conditions énoncées ( et ), la fonction de vraisemblance pour un échantillon aléatoire de taille estμX=μY=0 σX=σY=1 n
Trouvez maintenant la log-vraisemblance et prenez la dérivée par rapport à . Ensuite, définissez-le égal à 0, en résolvant pour . Vous devriez bien sûr faire un test approprié pour montrer que ce que vous avez trouvé est en fait un maximum global.pρ ρ^
la source