Quel type d'information est l'information Fisher?

Supposons que nous ayons une variable aléatoire . Si était le vrai paramètre, la fonction de vraisemblance devrait être maximisée et la dérivée égale à zéro. C'est le principe de base de l'estimateur du maximum de vraisemblance. $X \sim f(x|\theta)$ $\theta_0$

Si je comprends bien, les informations Fisher sont définies comme

I (θ) = E [{(\frac{\partial}{\partial θ} f (X | θ))}^{2}]

$I(\theta) = \Bbb E \Bigg[\left(\frac{\partial}{\partial \theta}f(X|\theta)\right)^2\Bigg ]$

Ainsi, si est le vrai paramètre, . Mais si ce n'est pas le vrai paramètre, alors nous aurons une plus grande quantité d'informations Fisher. $\theta_0$ $I(\theta) = 0$ $\theta_0$

mes questions

Les informations de Fisher mesurent-elles l '"erreur" d'un MLE donné? En d'autres termes, l'existence d'informations positives de Fisher n'implique-t-elle pas que mon MLE ne peut pas être idéal?
En quoi cette définition de «l'information» diffère-t-elle de celle utilisée par Shannon? Pourquoi appelons-nous cela des informations?

bayesian maximum-likelihood likelihood intuition fisher-information Stan Shunpike
la source

Pourquoi l'écris-tu ? L'attente est supérieure aux valeurs de distribuées comme si elles provenaient de votre distribution avec le paramètre .

E_{θ}

$E_\theta$

X

$X$

θ

$\theta$

Neil G

De plus, n'est pas nul au vrai paramètre.

I (θ)

$I(\theta)$

Neil G

L'E (S) est nul (c'est-à-dire: l'attente de la fonction de score), mais comme l'écrit Neil G - les informations sur le pêcheur (V (S)) ne sont pas (généralement) nulles.

Tal Galili

Réponses:

Essayer de compléter les autres réponses ... Quel type d'information est l'information Fisher? Commencez avec la fonction loglikelihood en fonction de pour , l'espace des paramètres. En supposant que certaines conditions de régularité ne sont pas ici, nous avons (nous écrirons les dérivées par rapport au paramètre sous forme de points comme ici). La variance est l'information de Fisher

ℓ (θ) = \log f (x; θ)

$\ell (\theta) = \log f(x;\theta)$

θ

$\theta$

θ \in Θ

$\theta \in \Theta$

E \frac{\partial}{\partial θ} ℓ (θ) = E_{θ} \dot{ℓ} (θ) = 0

$\DeclareMathOperator{\E}{\mathbb{E}} \E \frac{\partial}{\partial \theta} \ell (\theta) = \E_\theta \dot{\ell}(\theta) = 0$

I (θ) = E_{θ} (\dot{ℓ} (θ))^{2} = - E_{θ} \ddot{ℓ} (θ)

$I(\theta) = \E_\theta ( \dot{\ell}(\theta) )^2= -\E_\theta \ddot{\ell}(\theta)$ la dernière formule montrant qu'il s'agit de la courbure (négative) de la fonction loglik vraisemblance. On trouve souvent l'estimateur du maximum de vraisemblance (mle) de en résolvant l'équation de vraisemblance lorsque l'information de Fisher est la variance du score est grand, alors la solution de cette équation sera très sensible aux données, donnant un espoir de haute précision du mle. Cela est confirmé au moins asymptotiquement, la variance asymptotique du mle étant l'inverse des informations de Fisher.

θ

$\theta$

\dot{ℓ} (θ) = 0

$\dot{\ell}(\theta)=0$

\dot{ℓ} (θ)

$\dot{\ell}(\theta)$

Comment pouvons-nous interpréter cela? est l'information de vraisemblance sur le paramètre de l'échantillon. Cela ne peut vraiment être interprété que dans un sens relatif, comme lorsque nous l'utilisons pour comparer les plausibilités de deux valeurs de paramètres possibles distinctes via le test du rapport de vraisemblance . Le taux de variation de la loglik vraisemblance est la fonction de score nous indique à quelle vitesse la vraisemblance change, et sa variance combien cela varie d'un échantillon à l'autre, à un paramètre donné valeur, par exemple . L'équation (ce qui est vraiment surprenant!) $\ell(\theta)$ $\theta$ $\ell(\theta_0) - \ell(\theta_1)$ $\dot{\ell}(\theta)$ $I(\theta)$ $\theta_0$

I (θ) = - E_{θ} \ddot{ℓ} (θ)

$I(\theta) = - \E_\theta \ddot{\ell}(\theta)$ nous indique qu'il existe une relation (égalité) entre la variabilité des informations (vraisemblance) pour une valeur de paramètre donnée, , et la courbure de la fonction de vraisemblance pour cette valeur de paramètre. Il s'agit d'une relation surprenante entre la variabilité (variance) de cette statistique et le changement attendu de similitude lorsque nous modifions le paramètre dans un intervalle autour de (pour les mêmes données). C'est vraiment à la fois étrange, surprenant et puissant!

θ_{0}

$\theta_0$

\dot{ℓ} (θ) ∣_{θ = θ_{0}}

$\dot{\ell}(\theta) \mid_{\theta=\theta_0}$

θ

$\theta$

θ_{0}

$\theta_0$

Quelle est donc la fonction de vraisemblance? Nous considérons généralement le modèle statistique comme une famille de distributions de probabilité pour les données , indexées par le paramètre un élément de l'espace des paramètres . Nous pensons que ce modèle est vrai s'il existe une valeur telle que les données ont en fait la distribution de probabilité . Nous obtenons donc un modèle statistique en imbriquant la vraie distribution de probabilité de génération de données $\{ f(x;\theta), \theta \in \Theta \}$ $x$ $\theta$ $\Theta$ $\theta_0 \in \Theta$ $x$ $f(x;\theta_0)$ $f(x;\theta_0)$ dans une famille de distributions de probabilité. Mais, il est clair qu'une telle imbriquage peut se faire de nombreuses manières différentes, et chacune de ces imbriquations sera un "vrai" modèle, et elles donneront différentes fonctions de vraisemblance. Et, sans un tel encastrement, il n'y a pas de fonction de vraisemblance. Il semble que nous ayons vraiment besoin d'aide, de principes sur la façon de choisir judicieusement un enrobage!

Qu'est-ce que cela signifie? Cela signifie que le choix de la fonction de vraisemblance nous dit comment nous nous attendrions à ce que les données changent, si la vérité changeait un peu. Mais cela ne peut pas vraiment être vérifié par les données, car les données ne donnent que des informations sur la véritable fonction du modèle qui a réellement généré les données, et pas rien sur tous les autres éléments du modèle choisi. De cette façon, nous voyons que le choix de la fonction de vraisemblance est similaire au choix d'un a priori dans l'analyse bayésienne, il injecte des informations non-données dans l'analyse. Examinons cela dans un exemple simple (quelque peu artificiel) et examinons l'effet de l'imbrication de dans un modèle de différentes manières. $f(x;\theta_0)$ $f(x;\theta_0)$

Supposons que sont iid comme . Donc, c'est la vraie distribution génératrice de données. Maintenant, intégrons ceci dans un modèle de deux manières différentes, modèle A et modèle B. vous pouvez vérifier que cela coïncide pour . $X_1, \dotsc, X_n$ $N(\mu=10, \sigma^2=1)$

A : X_{1}, \dots, X_{n} iid N (μ, σ^{2} = 1), μ \in R B : X_{1}, \dots, X_{n} iid N (μ, μ / 10), μ > 0

$A \colon X_1, \dotsc, X_n ~\text{iid}~N(\mu, \sigma^2=1),\mu \in \mathbb{R} \\ B \colon X_1, \dotsc, X_n ~\text{iid}~N(\mu, \mu/10), \mu>0$

μ = 10

$\mu=10$

Les fonctions de loglikelihood deviennent

ℓ_{A} (μ) = - \frac{n}{2} \log (2 π) - \frac{1}{2} \sum_{i} (x_{i} - μ)^{2} ℓ_{B} (μ) = - \frac{n}{2} \log (2 π) - \frac{n}{2} \log (μ / 10) - \frac{10}{2} \sum_{i} \frac{(x_{i} - μ)^{2}}{μ}

$\ell_A(\mu) = -\frac{n}{2} \log (2\pi) -\frac12\sum_i (x_i-\mu)^2 \\ \ell_B(\mu) = -\frac{n}{2} \log (2\pi) - \frac{n}{2}\log(\mu/10) - \frac{10}{2}\sum_i \frac{(x_i-\mu)^2}{\mu}$

Les fonctions de score: (dérivées loglikelihood): et les courbures donc, les informations Fisher dépendent vraiment de l'imbedding. Maintenant, nous calculons les informations de Fisher à la vraie valeur , donc les informations de Fisher sur le paramètre sont un peu plus grandes dans le modèle B.

{\dot{ℓ}}_{A} (μ) = n (\bar{x} - μ) {\dot{ℓ}}_{B} (μ) = - \frac{n}{2 μ} - \frac{10}{2} \sum_{i} (\frac{x_{i}}{μ})^{2} - 15 n

$\dot{\ell}_A(\mu) = n (\bar{x}-\mu) \\ \dot{\ell}_B(\mu) = -\frac{n}{2\mu}- \frac{10}{2}\sum_i (\frac{x_i}{\mu})^2 - 15 n$

{\ddot{ℓ}}_{A} (μ) = - n {\ddot{ℓ}}_{B} (μ) = \frac{n}{2 μ^{2}} + \frac{10}{2} \sum_{i} \frac{2 x_{i}^{2}}{μ^{3}}

$\ddot{\ell}_A(\mu) = -n \\ \ddot{\ell}_B(\mu) = \frac{n}{2\mu^2} + \frac{10}{2}\sum_i \frac{2 x_i^2}{\mu^3}$

μ = 10

$\mu=10$

I_{A} (μ = 10) = n, I_{B} (μ = 10) = n \cdot (\frac{1}{200} + \frac{2020}{2000}) > n

$I_A(\mu=10) = n, \\ I_B(\mu=10) = n \cdot (\frac1{200}+\frac{2020}{2000}) > n$

Cela illustre que, dans un certain sens, les informations de Fisher nous indiquent à quelle vitesse les informations des données sur le paramètre auraient changé si le paramètre directeur avait changé de la manière postulée par l'imbedding dans une famille de modèles . L'explication d'informations plus élevées dans le modèle B est que notre famille de modèles B postule que si l'espérance aurait augmenté, la variance aurait également augmenté . De sorte que, sous le modèle B, la variance de l'échantillon contiendra également des informations sur , ce qu'elle ne fera pas sous le modèle A. $\mu$

De plus, cet exemple montre que nous avons vraiment besoin d'une théorie pour nous aider à construire des familles de modèles.

kjetil b halvorsen
la source

grande explication. Pourquoi dites-vous ? c'est une fonction de - n'est-ce pas 0 seulement lorsqu'il est évalué au vrai paramètre ?

\E_{θ} \dot{ℓ} (θ) = 0

$\E_\theta \dot{\ell}(\theta) =0$

θ

$\theta$

θ_{0}

$\theta_0$

ihadanny

Oui, ce que vous dites est vrai, @idadanny Il est nul lorsqu'il est évalué à la valeur réelle du paramètre.

kjetil b halvorsen

Merci encore @kjetil - donc juste une autre question: la relation surprenante entre la variance du score et la courbure de la probabilité est-elle vraie pour chaque ? ou seulement au voisinage du vrai paramètre ?

θ

$\theta$

θ_{0}

$\theta_0$

ihadanny

Encore une fois, cette relation est vraie pour la vraie valeur du paramètre. Mais pour que cela soit d'une grande aide, il doit y avoir une continuité, de sorte qu'elle soit approximativement vraie dans certains quartiers, car nous l'utilisons à la valeur estimée , pas seulement à la vraie valeur (inconnue).

\hat{θ}

$\hat{\theta}$

kjetil b halvorsen

donc, la relation est vraie pour le vrai paramètre , elle vaut presque pour puisque nous supposons que c'est dans le voisinage de , mais pour un général cela ne tient pas, non?

θ_{0}

$\theta_0$

θ_{m l e}

$\theta_{mle}$

θ_{0}

$\theta_0$

θ_{1}

$\theta_1$

ihadanny

Pensons à la fonction de log-vraisemblance négative . Le score négatif est son gradient par rapport à la valeur du paramètre. Au vrai paramètre, le score est nul. Sinon, il donne la direction vers le minimum (ou dans le cas d'un non convexe , un point de selle ou un minimum ou maximum local). $\ell$ $\ell$ $\ell$

Les informations de Fisher mesurent la courbure de autour de si les données suivent . En d'autres termes, il vous indique dans quelle mesure le fait de modifier le paramètre affecterait votre probabilité de journalisation. $\ell$ $\theta$ $\theta$

Considérez que vous aviez un gros modèle avec des millions de paramètres. Et vous aviez une petite clé USB sur laquelle stocker votre modèle. Comment devez-vous hiérarchiser le nombre de bits de chaque paramètre à stocker? La bonne réponse est d'allouer des bits en fonction des informations de Fisher (Rissanen a écrit à ce sujet). Si les informations Fisher d'un paramètre sont nulles, ce paramètre n'a pas d'importance.

Nous l'appelons «informations» car les informations de Fisher mesurent ce que ce paramètre nous apprend sur les données.

Une manière familière d'y penser est la suivante: supposons que les paramètres conduisent une voiture et que les données soient sur le siège arrière corrigeant le conducteur. L'ennui des données est l'information de Fisher. Si les données permettent au conducteur de conduire, les informations Fisher sont nulles; si les données font constamment des corrections, c'est gros. En ce sens, les informations de Fisher sont la quantité d'informations allant des données aux paramètres.

Considérez ce qui se passe si vous rendez le volant plus sensible. Cela équivaut à une reparamétrisation. Dans ce cas, les données ne veulent pas être si bruyantes de peur du survirage de la voiture. Ce type de reparamétrisation diminue les informations de Fisher.

Neil G
la source

En complément de la belle réponse de @ NeilG (+1) et pour répondre à vos questions spécifiques:

Je dirais qu'il compte la "précision" plutôt que "l'erreur" elle-même.

N'oubliez pas que la Hesse de la log-vraisemblance évaluée aux estimations ML est l'information Fisher observée. Les erreurs types estimées sont les racines carrées des éléments diagonaux de l'inverse de la matrice d'information de Fisher observée. Dérivé de cela, l'information Fisher est la trace de la matrice d'information Fisher. Étant donné que la matrice d'information de Fisher est une matrice matricielle semi-définie hermitienne, ses entrées diagonales sont réelles et non négatives; en conséquence directe, la trace doit être positive. Cela signifie que vous ne pouvez avoir que des estimateurs «non idéaux» selon votre affirmation. Donc non, une information Fisher positive n'est pas liée à l'idéal de votre MLE. $I$ $I_{j,j}$ $tr(I)$

La définition diffère dans la façon dont nous interprétons la notion d'information dans les deux cas. Cela dit, les deux mesures sont étroitement liées.

L'inverse de l'information de Fisher est la variance minimale d'un estimateur non biaisé ( lié à Cramér – Rao ). En ce sens, la matrice d'informations indique la quantité d'informations sur les coefficients estimés contenues dans les données. Au contraire, l'entropie de Shannon a été empruntée à la thermodynamique. Il relie le contenu informationnel d'une valeur particulière d'une variable comme où est la probabilité que la variable prenne la valeur. Les deux sont des mesures de la valeur «informative» d'une variable. Dans le premier cas, vous jugez ces informations en termes de précision tandis que dans le second cas en termes de désordre; différents côtés, même pièce! :RÉ $–p·log_2(p)$ $p$

Pour récapituler: L'inverse de la matrice d'information de Fisher évaluée aux valeurs de l'estimateur ML est la matrice de covariance asymptotique ou approximative. Comme ces valeurs d'estimateur ML se trouvent graphiquement dans un minimum local, les informations de Fisher montrent la profondeur de ce minimum et la marge de manœuvre que vous avez autour de lui. J'ai trouvé cet article de Lutwak et al. sur les extensions des informations de Fisher et l'inégalité de Stam une lecture informative à ce sujet. Les articles de Wikipédia sur la métrique d'information de Fisher et sur la divergence Jensen – Shannon sont également utiles pour vous aider à démarrer. $I$

usεr11852 dit Reinstate Monic
la source