Déterminant de la matrice d'information de Fisher pour un modèle sur-paramétré

Considérons une variable aléatoire de Bernoulli avec le paramètre (probabilité de succès). La fonction de vraisemblance et les informations de Fisher (une matrice ) sont:θ 1 × $X\in\{0,1\}$$\theta$$1 \times 1$

$$\begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align}$$

Considérons maintenant une version "sur-paramétrisée" avec deux paramètres: la probabilité de réussite $\theta_1$ et la probabilité d'échec $\theta_0$ . (Notez que $\theta_1+\theta_0=1$ , et cette contrainte implique que l'un des paramètres est redondant.) Dans ce cas, la fonction de vraisemblance et la matrice d'informations de Fisher (FIM) sont:

$$\begin{align} \mathcal{L}_2(\theta_1,\theta_0;X) &= p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X} \\ \mathcal{I}_2(\theta_1,\theta_0) &= \left( \begin{matrix} \frac{1}{\theta_1} & 0 \\ 0 & \frac{1}{\theta_0} \end{matrix} \right) \\ \det \mathcal{I}_2(\theta) &= \frac{1}{\theta_1 \theta_0} = \frac{1}{\theta_1 (1-\theta_1)} \end{align}$$

Notez que les déterminants de ces deux FIM sont identiques. De plus, cette propriété s'étend au cas plus général des modèles catégoriels (c'est-à-dire plus de deux états). Il semble également s'étendre aux modèles log-linéaires avec divers sous-ensembles de paramètres contraints à zéro; dans ce cas, le paramètre extra "redondant" correspond à la fonction de partition logarithmique, et l'équivalence des deux déterminants FIM peut être montrée sur la base du complément Schur du FIM plus grand. (En fait, pour les modèles log-linéaires, le FIM plus petit n'est que le complément Schur du FIM plus grand.)

Quelqu'un peut-il expliquer si cette propriété s'étend à un plus grand ensemble de modèles paramétriques (par exemple à toutes les familles exponentielles), permettant la possibilité de dériver les déterminants FIM sur la base d'un tel ensemble de paramètres "étendu"? C'est-à-dire que tout modèle statistique donné avec paramètres se trouve sur une variété à dimensions incorporée dans un espace à dimensions. Maintenant, si nous étendons l'ensemble de paramètres pour inclure une dimension de plus (qui est totalement contrainte en fonction des autres) et calculons le FIM en fonction de ces paramètres , obtiendrons-nous toujours le même déterminant que celui basé sur l'original paramètres (indépendants)? Aussi, comment ces deux FIM sont-elles liées?$n$$n$$(n+1)$$(n+1)$$n$

La raison pour laquelle je pose cette question est que le FIM avec le paramètre supplémentaire semble souvent plus simple. Ma première pensée est que cela ne devrait pas fonctionner en général. Le FIM consiste à calculer des dérivées partielles de la vraisemblance logarithmique de chaque paramètre. Ces dérivées partielles supposent que, tandis que le paramètre en question change, tous les autres paramètres restent constants, ce qui n'est pas vrai une fois que nous impliquons le paramètre supplémentaire (contraint). Dans ce cas, il me semble que les dérivées partielles ne sont plus valables car on ne peut pas supposer que les autres paramètres sont constants; cependant, je n'ai pas encore trouvé de preuve qu'il s'agit en fait d'un problème. (Si les dérivées partielles sont problématiques dans les cas avec des paramètres dépendants, les dérivées totales sont-elles$(n+1) \times (n+1)$besoin à la place? Je n'ai pas encore vu d'exemple de calcul de la FIM avec des dérivées totales, mais c'est peut-être la solution ...)

Le seul exemple que j'ai pu trouver en ligne qui calcule la FIM sur la base d'un ensemble de paramètres "étendu" est le suivant: ces notes contiennent un exemple pour la distribution catégorielle, calculant les dérivées partielles requises comme d'habitude (c'est-à-dire comme si chaque paramètre est indépendant , même si une contrainte est présente parmi les paramètres).

Pour normal , la matrice d'informations est Pour la courbe normaleDonc, votre observation selon laquelle les déterminants sont égaux n'est pas universelle, mais ce n'est pas toute l'histoire.$X\sim N(\mu,\sigma^2)$

$$\mathcal{I}_1 = \left( \begin{matrix} \frac{1}{\sigma^2} & 0 \\ 0 & \frac{1}{2\sigma^4} \end{matrix} \right)$$ $X\sim N(\mu,\mu^2)$ $$\mathcal{I}_2=\frac{3}{\mu^2}.$$

Généralement, si est la matrice d'information sous la reparamétrisation alors, il n'est pas difficile de voir que la matrice d'information pour les paramètres d'origine est où est le jacobien de la transformation .$\mathcal{I}_g$

$$g(\theta)=(g_1(\theta),...,g_k(\theta))',$$ $$I(\theta)=G'I_g(g(\theta))G$$ $G$$g=g(\theta)$

Pour l'exemple de Bernoulli et . Ainsi, le jacobien est et donc $(\theta_0,\theta_1)=(p,1-p)$$g(p)=(p,1-p)$$(1,-1)'$

$$\mathcal{I}(p) = \left( \begin{matrix} 1& -1 \end{matrix} \right)\left( \begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1-p} \end{matrix} \right) \left( \begin{matrix} 1 \\ -1 \end{matrix} \right)=\frac{1}{p(1-p)}$$

Pour un exemple normal courbe,

$$\mathcal{I}_2 = \left( \begin{matrix} 1& 2\mu \end{matrix} \right)\left( \begin{matrix} \frac{1}{\mu^2} & 0 \\ 0 & \frac{1}{2\mu^4} \end{matrix} \right) \left( \begin{matrix} 1 \\ 2\mu \end{matrix} \right)=\frac{3}{\mu^2}.$$

Je pense que vous pouvez maintenant facilement relier les déterminants.

Suivi après le commentaire

Si je vous ai bien compris, la FIM est valable tant que vous étendez les paramètres de manière significative: la probabilité sous une nouvelle paramétrisation devrait être une densité valide. Par conséquent, j'ai qualifié l'exemple de Bernoulli de regrettable.

Je pense que le lien que vous avez fourni présente un grave défaut dans la dérivation de la FIM pour les variables catégorielles, car nous avons et . L'attente de la Hesse négative donne , mais pas pour la covariance des vecteurs de score. Si vous négligez les contraintes, l'égalité de la matrice d'informations ne tient pas. $E(x_i^2)=\theta_i(1-\theta_i)\neq \theta_i$$E(x_ix_j)=\theta_i\theta_j\neq 0$$\mathrm{diag}\{1/\theta_i\}$

Il semble que le résultat soit valable pour un type spécifique de relation entre les paramètres.

Sans prétendre à la généralité complète des résultats ci-dessous, je m'en tiens au cas des «un à deux paramètres». Notons l'équation implicite qui exprime la relation qui doit tenir entre les deux paramètres. Ensuite, le log-vraisemblance "correct étendu", "à deux paramètres" (pas ce que l'OP calcule - nous y arriverons)$g(\theta_0,\theta_1) =0$

$$L^e=L^*(\theta_0,\theta_1) +\lambda g(\theta_0,\theta_1)$$ est équivalent à la vraie vraisemblance , car , ( est un multiplicateur) et nous pouvons traiter les deux paramètres comme indépendants, tandis que nous différencions.$L$$g(\theta_0,\theta_1)=0$$\lambda$

En utilisant les indices pour désigner les dérivées par rapport aux paramètres (un dérivé premier indice, deux dérivées deuxième indice), le déterminant de la Hesse de la log-vraisemblance étendue correcte sera

$$D_H(L^e) = [L^*_{00}+\lambda g_{00}][L^*_{11}+\lambda g_{11}] - [L^*_{01}+\lambda g_{01}]^2 = D_H(L) \tag{1}$$

Que fait l'OP à la place?

Il considère que la mauvaise probabilité "ignore" la relation entre les deux paramètres, et sans tenir compte de la contrainte . Il procède ensuite à la différenciation et obtient$L^*(\theta_0,\theta_1)$$g(\theta_0,\theta_1)$

$$D_H(L^*) = L^*_{00}L^*_{11} - [L^*_{01}]^2 \tag{2}$$

Il est évident que n'est pas en général égal à .$(2)$$(1)$

Mais si , alors$g_{00}=g_{11}=g_{00}=0$

$$(1) \rightarrow D_H(L^e) = L^*_{00}L^*_{11} - [L^*_{01}]^2 = D_H(L^*) = D_H(L)$$

Donc, si la relation entre le paramètre réel et le paramètre redondant est telle que les deuxièmes dérivées partielles de la fonction implicite qui les relie sont toutes nulles , l'approche qui est fondamentalement erronée finit par être "correcte".

Pour l'affaire Bernoulli, nous avons en effet

$$g(\theta_0,\theta_1) = \theta_0 + \theta_1 -1 \Rightarrow g_{00}=g_{11}=g_{01}=0$$

ADDENDUM
Pour répondre à la question @Khashaa et montrer la mécanique ici, nous considérons une vraisemblance spécifiée avec un paramètre redondant, mais également sous une contrainte qui relie le paramètre redondant au vrai. Ce que nous faisons avec les log-vraisemblances, c'est de les maximiser - nous avons donc ici un cas de maximisation contrainte. Supposons un échantillon de taille ,:$n$

$$\max L_n^*(\theta_0, \theta_1) = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1,\;\; s.t. \;\; \theta_1 = 1-\theta_0$$

Ce problème a un Langrangean (ce que j'ai appelé officieusement "vraisemblance étendue correcte" ci-dessus),

$$L^e = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1 + \lambda(\theta_1 - 1+\theta_0)$$

Les conditions de premier ordre pour un maximum sont

$$\frac {\sum_{i=1}^nx_i}{\theta_0} + \lambda = 0,\;\;\; \frac {n-\sum_{i=1}^nx_i}{\theta_1} +\lambda_0 =0$$

pour laquelle on obtient la relation

$$\frac {\sum_{i=1}^nx_i}{\theta_0} = \frac {n-\sum_{i=1}^nx_i}{\theta_1} \Rightarrow \theta_1\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$$

en utilisant la contrainte sous laquelle ce qui précède est valide, on obtient$\theta_1 = 1-\theta_0$

$$(1-\theta_0)\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$$

$$\Rightarrow \sum_{i=1}^nx_i = n\theta_0 \Rightarrow \hat \theta_0 = \frac 1n\sum_{i=1}^nx_i$$

comme il se doit.

De plus, la contrainte étant linéaire dans tous les paramètres, ses dérivées secondes seront nulles. Cela se reflète dans le fait que dans les dérivées premières de la lagrangienne, le multiplicateur "reste seul" et il sera éliminé lorsque nous prendrons les dérivées secondes de la lagrangienne. Ce qui à son tour nous conduira à une Hesse dont le déterminant sera égal à la dérivée seconde (unidimensionnelle) de la vraisemblance logarithmique à un paramètre d'origine, après avoir également imposé la contrainte (ce que fait l'OP). Prendre ensuite le négatif de la valeur attendue dans les deux cas, ne change pas cette équivalence mathématique, et on arrive à la relation "Information Fisher unidimensionnelle = déterminant de l'information Fisher bidimensionnelle". Maintenant$\lambda$étant donné que la contrainte est linéaire dans tous les paramètres, l'OP obtient le même résultat (au niveau de la dérivée seconde) sans introduire la contrainte avec un multiplicateur dans la fonction à maximiser, car au deuxième niveau dérivé, la présence / l'effet du la contrainte disparaît dans un tel cas.

Tout cela a à voir avec le calcul, pas avec des concepts statistiques.