Relation entre la matrice de Hesse et la matrice de covariance

Pendant que j'étudie l'estimation du maximum de vraisemblance, pour faire l'inférence dans l'estimation du maximum de vraisemblance, nous devons connaître la variance. Pour connaître la variance, j'ai besoin de connaître la limite inférieure de Rram de Cramer, qui ressemble à une matrice de Hesse avec une deuxième dérivation sur la courbure. Je suis un peu mélangé pour définir la relation entre la matrice de covariance et la matrice de Hesse. J'espère entendre quelques explications sur la question. Un exemple simple sera apprécié.

Vous devez d'abord consulter cette question de base sur la matrice d'informations de Fisher et sa relation avec la Hesse et les erreurs standard

Supposons que nous ayons un modèle statistique (famille de distributions) . Dans le cas le plus général, nous avons d i m ( Θ ) = d , donc cette famille est paramétrée par θ = ( θ 1 , … , θ d ) $\{f_{\theta}: \theta \in \Theta\}$$dim(\Theta) = d$$\theta = (\theta_1, \dots, \theta_d)^T$ . Sous certaines conditions de régularité, nous avons

$$I_{i,j}(\theta) = -E_{\theta}\Big[\frac{\partial^2 l(X; \theta)}{\partial\theta_i\partial\theta_j}\Big] = -E_\theta\Big[H_{i,j}(l(X;\theta))\Big]$$

où est une matrice d'informations de Fisher (en fonction de θ ) et X est la valeur observée (échantillon)$I_{i,j}$$\theta$$X$

$$l(X; \theta) = ln(f_{\theta}(X)),\text{ for some } \theta \in \Theta$$

Ainsi, la matrice d'informations de Fisher est une valeur attendue négative de Hesian de la probabilité logarithmique sous un certain $\theta$

Supposons maintenant que nous voulons estimer une fonction vectorielle du paramètre inconnu . On souhaite généralement que l'estimateur T ( X ) = ( T 1 ( X ) , … , T d ( X ) ) soit sans biais, c'est-à-dire$\psi(\theta)$$T(X) = (T_1(X), \dots, T_d(X))$

$$\forall_{\theta \in \Theta}\ E_{\theta}[T(X)] = \psi(\theta)$$

Cramer Rao Lower Bound déclare que pour tout T ( X ) non biaisé, le c o v θ ( T ( X ) )$T(X)$$cov_{\theta}(T(X))$ satisfait

$$cov_{\theta}(T(X)) \ge \frac{\partial\psi(\theta)}{\partial\theta}I^{-1}(\theta)\Big(\frac{\partial\psi(\theta)}{\partial\theta}\Big)^T = B(\theta)$$

$A \ge B$$A - B$$\frac{\partial\psi(\theta)}{\partial\theta}$$J_{i,j}(\psi)$$\theta$$\psi(\theta) = \theta$

$$cov_{\theta}(T(X)) \ge I^{-1}(\theta)$$

Mais qu'est-ce que cela nous dit vraiment? Par exemple, rappelez-vous que

$$var_{\theta}(T_i(X)) = [cov_{\theta}(T(X))]_{i,i}$$

$A$ diagonale les éléments diagonaux sont non négatifs

$$\forall_i\ A_{i,i} \ge 0$$

$B(\theta)$

$$\forall_i\ var_{\theta}(T_i(X)) \ge [B(\theta)]_{i,i}$$

Le CRLB ne nous dit donc pas la variance de notre estimateur, mais plus ou moins notre estimateur est optimal , c'est-à-dire s'il a la covariance la plus faible parmi tous les estimateurs sans biais.