Pourquoi la matrice d'information de Fisher est-elle semi-définie positive?

18

Soit . La matrice d'informations de Fisher est définie comme suit:θRn

I(θ)i,j=E[2log(f(X|θ))θiθj|θ]

Comment puis-je prouver que la matrice d'informations de Fisher est semi-définie positive?

madprob
la source
7
N'est-ce pas la valeur attendue d'un produit extérieur de la partition avec lui-même?
Neil G

Réponses:

19

Vérifiez ceci: http://en.wikipedia.org/wiki/Fisher_information#Matrix_form

D'après la définition, nous avons

Iij=Eθ[(ilogfXΘ(Xθ))(jlogfXΘ(Xθ))],
pour , dans lequel . Votre expression pour découle de celle-ci dans des conditions de régularité.i,j=1,,ki=/θiIij

Pour un vecteur non nul , il résulte de la linéarité de l'attente que u=(u1,,uk)Rn

i,j=1kuiIijuj=i,j=1k(uiEθ[(ilogfXΘ(Xθ))(jlogfXΘ(Xθ))]uj)=Eθ[(i=1kuiilogfXΘ(Xθ))(j=1kujjlogfXΘ(Xθ))]=Eθ[(i=1kuiilogfXΘ(Xθ))2]0.

Si cette notation au niveau des composants est trop laide, notez que la matrice d'informations Fisher peut être écrite comme , dans laquelle le vecteur de scores est défini comme H=(Iij)H=Eθ[SS]S

S=(1logfXΘ(Xθ),,klogfXΘ(Xθ)).

Par conséquent, nous avons la ligne unique

uHu=uEθ[SS]u=Eθ[uSSu]=Eθ[||Su||2]0.

Zen
la source
3
(+1) Bonne réponse et bon retour, Zen. Je commençais à craindre que nous ne vous ayons perdu de façon permanente compte tenu de la durée de votre interruption. Cela aurait été vraiment dommage!
Cardinal
5

ATTENTION: pas une réponse générale!

Si correspond à une famille exponentielle de rang complet, alors la Hesse négative de la log-vraisemblance est la matrice de covariance de la statistique suffisante. Les matrices de covariance sont toujours semi-définies positives. Étant donné que les informations de Fisher sont une combinaison convexe de matrices semi-définies positives, elles doivent donc également être semi-définies positives.f(X|θ)

gusl
la source