Soit . La matrice d'informations de Fisher est définie comme suit:
Comment puis-je prouver que la matrice d'informations de Fisher est semi-définie positive?
Soit . La matrice d'informations de Fisher est définie comme suit:
Comment puis-je prouver que la matrice d'informations de Fisher est semi-définie positive?
Réponses:
Vérifiez ceci: http://en.wikipedia.org/wiki/Fisher_information#Matrix_form
D'après la définition, nous avons
Pour un vecteur non nul , il résulte de la linéarité de l'attente queu = ( u1, … , Uk)⊤∈ Rn ∑i , j = 1kujejeje juj= ∑i , j = 1k( ujeEθ[ ( ∂jeJournalFX∣ Θ( X∣ θ ) ) ( ∂jJournalFX∣ Θ( X∣ θ ) ) ] uj)= Eθ[ ( ∑i = 1kuje∂jeJournalFX∣ Θ( X∣ θ ) ) ( ∑j = 1kuj∂jJournalFX∣ Θ( X∣ θ ) ) ]= Eθ⎡⎣( ∑i = 1kuje∂jeJournalFX∣ Θ( X∣ θ ) )2⎤⎦≥ 0.
Si cette notation au niveau des composants est trop laide, notez que la matrice d'informations Fisher peut être écrite comme , dans laquelle le vecteur de scores est défini commeH= ( Ije j) H= Eθ[ SS⊤] S S=(∂1logfX∣Θ(X∣θ),…,∂klogfX∣Θ(X∣θ))⊤.
Par conséquent, nous avons la ligne uniqueu⊤Hu=u⊤Eθ[SS⊤]u=Eθ[u⊤SS⊤u]=Eθ[||S⊤u||2]≥0.
la source
ATTENTION: pas une réponse générale!
Si correspond à une famille exponentielle de rang complet, alors la Hesse négative de la log-vraisemblance est la matrice de covariance de la statistique suffisante. Les matrices de covariance sont toujours semi-définies positives. Étant donné que les informations de Fisher sont une combinaison convexe de matrices semi-définies positives, elles doivent donc également être semi-définies positives.f(X|θ)
la source